KR102553889B1 - Field environment video learning type risk recognition system, and method thereof - Google Patents
Field environment video learning type risk recognition system, and method thereof Download PDFInfo
- Publication number
- KR102553889B1 KR102553889B1 KR1020210078285A KR20210078285A KR102553889B1 KR 102553889 B1 KR102553889 B1 KR 102553889B1 KR 1020210078285 A KR1020210078285 A KR 1020210078285A KR 20210078285 A KR20210078285 A KR 20210078285A KR 102553889 B1 KR102553889 B1 KR 102553889B1
- Authority
- KR
- South Korea
- Prior art keywords
- fire
- data
- learning
- field
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title abstract description 65
- 230000003416 augmentation Effects 0.000 claims abstract description 70
- 230000003190 augmentative effect Effects 0.000 claims abstract description 25
- 238000013480 data collection Methods 0.000 claims abstract description 22
- 238000013135 deep learning Methods 0.000 claims abstract description 22
- 239000013598 vector Substances 0.000 claims description 46
- 238000013136 deep learning model Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000003703 image analysis method Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000009434 installation Methods 0.000 abstract description 6
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 6
- 239000000779 smoke Substances 0.000 description 5
- 238000007792 addition Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013434 data augmentation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/14—Central alarm receiver or annunciator arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Emergency Management (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Alarm Systems (AREA)
Abstract
본 발명은 화재 오탐율 최소화를 위한 현장 설치용 CCTV를 통해 화재 현장의 영상을 획득하고, 획득한 영상을 활용하여 현장 맞춤형 화재 데이터를 생성해 학습을 통하여 화재 오차를 최소화 할 수 있도록 하는, 현장 환경 영상 학습형 위험 인지 시스템 및 그 방법이 개시된다.
개시된 현장 환경 영상 학습형 위험 인지 시스템은, 사진 및 동영상을 입력 받아 화재 데이터를 수집하는 화재 데이터 수집부; 상기 화재 데이터 수집부를 통하여 수집된 영상에서 범용 화재 데이터를 분류하고, 분류된 범용 화재 데이터를 GAN을 이용하여 화재 데이터를 증강하고 학습하여 1차 화재 데이터를 생성하는 1차 화재 데이터 생성 증강 학습부; 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 획득하는 CCTV 현장영상 수집부; 상기 CCTV 현장영상 수집부로부터 획득된 현장 데이터를 활용하여 현장 맞춤형 화재 데이터를 OpenCV를 통하여 증강하고 학습하여 2차 화재 데이터를 생성하는 2차 화재 데이터 생성 증강 학습부; 및 상기 현장 맞춤형 화재 데이터의 딥러닝 학습 결과에 따른 상기 2차 화재 데이터에 근거하여 화재 유무를 판단하는 화재 추론부를 포함할 수 있다.The present invention acquires images of fire sites through CCTVs for field installation to minimize false positive fire detection rates, and creates field-customized fire data using the acquired images to minimize fire errors through learning. A learning type risk recognition system and method are disclosed.
The disclosed field environment image learning type risk recognition system includes a fire data collection unit that collects fire data by receiving photos and videos; A primary fire data generation augmentation learning unit that classifies general-purpose fire data from the images collected through the fire data collection unit, and augments and learns the classified general-purpose fire data using GAN to generate primary fire data; CCTV field image collection unit for acquiring field data according to the real environment through cameras and CCTVs installed in the field; A secondary fire data generation augmentation learning unit that generates secondary fire data by augmenting and learning field-customized fire data through OpenCV using the field data obtained from the CCTV field image collection unit; And it may include a fire reasoning unit for determining the presence or absence of a fire based on the secondary fire data according to the deep learning learning result of the site-customized fire data.
Description
본 발명은 현장 환경 영상 학습형 위험 인지 시스템 및 그 방법에 관한 것으로서, 더욱 자세하게는 화재 오탐율 최소화를 위한 현장 설치용 CCTV를 통해 화재 현장의 영상을 획득하고, 획득한 영상을 활용하여 현장 맞춤형 화재 데이터를 생성해 학습을 통하여 화재 오차를 최소화 할 수 있도록 하는, 현장 환경 영상 학습형 위험 인지 시스템 및 그 방법에 관한 것이다.The present invention relates to a field environment image learning type risk recognition system and method thereof, and more particularly, to obtain a fire site image through a CCTV for field installation to minimize false positive fire detection rates, and to use the obtained image to obtain field customized fire data. It relates to a field environment image learning type risk recognition system and method for minimizing fire errors through learning by generating
영상 처리 기술은 다양한 방면에 활용되고 있다. 특히 CCTV를 범죄와 사건사고의 예방과 확인 및 재난 분야(화재, 산사태, 홍수 등) 그리고 자율 주행차 분야 등 다양한 분야에서 각광받고 있는 기술이다.Image processing technology is used in various fields. In particular, CCTV is a technology that is in the spotlight in various fields such as prevention and confirmation of crimes and incidents, disaster fields (fire, landslide, flood, etc.), and autonomous vehicle fields.
하지만 화재와 같이 영상 데이터 신호가 적은 분야에서는 학습을 위한 데이터가 많이 부족하고, 설령 데이터가 있어도 대형 화재에 관한 뉴스 동영상이나 사진이 전부인 경우가 많다.However, in areas where video data signals are low, such as fire, there is a lack of data for learning, and even if there is data, there are many cases where news videos or photos about large-scale fires are all.
이러한 종래 기술은, 소규모 화재 데이터를 이용한 다량 화재 데이터 생성 및 학습에 불과하다. 따라서, 화재 현장과 다른 환경에서 화재 영상처리를 통한 다량 화재 데이터 생성 및 학습하는 현장 데이터를 이용한 데이터의 생성 기술이 필요하다.This prior art is merely generating and learning large-scale fire data using small-scale fire data. Therefore, there is a need for a data generation technique using field data that generates and learns a large amount of fire data through fire image processing in a fire site and other environments.
현장 데이터를 확보하여도 실제 카메라가 바라보는 방향과 일치하지 않고, 일치하여도 시간이 지나면서 주위 환경이 변경되어 인식율 저하의 원인이 되고 있다.Even if the field data is secured, it does not match the direction the camera is looking at, and even if it matches, the surrounding environment changes over time, causing a decrease in the recognition rate.
이로 인하여 실제 화재의 초기단계에서는 여전히 IoT 센서에 의존하고 있다. 즉, 대부분 IoT를 활용한 화재 센서를 통한 화재 인식을 메인으로 활용하고 있으며, CCTV를 통한 화재인식은 오탐율 최소화를 위해 병행하여 사용하는 수준에 불과하다. 따라서 CCTV를 활용한 화재 인식율이 낮아 개선이 요구되고 있다.Because of this, the initial stage of a real fire still relies on IoT sensors. In other words, fire recognition through fire sensors using IoT is mainly used, and fire recognition through CCTV is only used in parallel to minimize false positives. Therefore, the fire recognition rate using CCTV is low, and improvement is required.
또한, IoT 센서도 화재가 발생하고 5~7초 후 화재를 인식하므로, 초기 대응이 부족하여 초기 확산을 방지하기 위한 방법에는 적합하지 않을 수 있다. 따라서, 일정 시간이 경과 된 후에는 자동으로 주위 환경에 맞는 데이터를 생성하는 기술이 필요하다. In addition, since the IoT sensor also recognizes a fire 5 to 7 seconds after a fire occurs, it may not be suitable for a method to prevent the initial spread due to a lack of initial response. Therefore, there is a need for a technique for automatically generating data suitable for the surrounding environment after a certain period of time has elapsed.
그리고, 화재 현장에 맞는 화재 데이터의 생성, 증강 및 학습이 요구되고 있다.In addition, generation, augmentation, and learning of fire data suitable for a fire scene are required.
이를 해결하기 위해, 최근에 화재 데이터 증강 기술을 활용하여 부족한 화재 데이터를 생성하는 기술이 논문이나, 특허로 출원되고 있다.In order to solve this problem, recently, a technique for generating insufficient fire data using a fire data augmentation technique has been applied for a paper or a patent.
데이터 증강 방식은 화재 데이터의 다량의 학습 데이터 생성에는 많은 기여를 하였고 기존에 비해 상당히 개선된 결과를 얻었다. 하지만 CCTV 설치 현장과 학습 데이터의 차이로 인하여 화재 인식율이 낮아지는 경우가 있어 이를 개선하기 위한 새로운 방법이 요구되고 있다.The data augmentation method contributed a lot to the creation of a large amount of fire data and obtained significantly improved results compared to the existing ones. However, there is a case where the fire recognition rate is lowered due to the difference between the CCTV installation site and the learning data, so a new method to improve this is required.
전술한 문제점을 해결하기 위한 본 발명의 목적은, 화재 오탐율 최소화를 위한 현장 설치용 CCTV를 통해 화재 현장의 영상을 획득하고, 획득한 영상을 활용하여 현장 맞춤형 화재 데이터를 생성해 학습을 통하여 화재 오차를 최소화 할 수 있도록 하는, 현장 환경 영상 학습형 위험 인지 시스템 및 그 방법을 제공함에 있다.The purpose of the present invention for solving the above-described problems is to acquire images of a fire site through a CCTV for field installation to minimize false positive fire rates, and use the acquired images to create field-customized fire data and learn fire errors through learning. It is to provide a field environment image learning type risk recognition system and method that can minimize
즉, 기존의 화재 데이터 증강 방식은 일반적 환경에서 데이터를 증가하고 이를 이용하여 학습을 진행한 방식이라면 본 발명에 따른 실시예들은 현장에 설치된 CCTV를 활용하여 생성된 영상을 기준으로 화재 데이터의 생성, 증강 및 학습이 가능하게 되는 방법 및 시스템을 제공하는 것이다.That is, if the existing fire data augmentation method is a method in which data is increased in a general environment and learning is performed using this method, embodiments according to the present invention generate fire data based on images generated using CCTVs installed in the field, It is to provide methods and systems that enable augmentation and learning.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 현장 환경 영상 학습형 위험 인지 시스템은, 사진 및 동영상을 입력받아 화재 데이터를 수집하는 범용화재 데이터 수집부; 상기 범용화재 데이터 수집부를 통하여 수집된 영상에서 범용 화재 데이터를 분류하고, 분류된 범용 화재 데이터를 증강하고 학습하여 1차 화재 학습 데이터를 생성하는 1차 화재 데이터 생성 증강부; 상기 1차 화재 데이터 생성 증강부를 통하여 학습된 1차 화재 학습 데이터를 활용하여 딥러닝 한 결과를 도출하는 1차 화재 학습부; 상기 1차 화재 학습부에서 학습된 결과를 활용하여 추론을 진행하는 1차 화재 추론부; 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 획득하는 CCTV 현장영상 수집부; 상기 CCTV 현장영상 수집부로부터 획득된 현장 데이터를 활용하여 현장 맞춤형 화재 데이터를 생성하고 증강하여 2차 화재 데이터를 생성하는 2차 화재 데이터 생성 증강부; 상기 2차 화재 데이터 생성 증강부를 통하여 생성된 2차 화재 데이터에 대하여 딥러닝 모델을 통한 현장 맞춤형 화재 데이터의 딥러닝 학습 결과를 도출하는 2차 화재 학습부; 및 상기 2차 화재 학습부에서 학습된 결과와 상기 1차 화재 추론부에서 추론된 결과를 합한 것에 근거하여 화재 유무를 추론하는 2차 화재 추론부를 포함할 수 있다.A field environment image learning type risk recognition system according to an embodiment of the present invention for achieving the above object includes a general fire data collection unit for collecting fire data by receiving photos and videos; A primary fire data generation augmentation unit that classifies general-purpose fire data from the images collected through the general-purpose fire data collection unit, augments and learns the classified general-purpose fire data, and generates primary fire learning data; A primary fire learning unit that derives a result of deep learning by utilizing the primary fire learning data learned through the primary fire data generation augmentation unit; A primary fire inference unit that proceeds with inference by using the result learned from the primary fire learning unit; CCTV field image collection unit for acquiring field data according to the real environment through cameras and CCTVs installed in the field; Secondary fire data generation augmentation unit for generating secondary fire data by generating and augmenting site-customized fire data by utilizing the field data obtained from the CCTV field image collection unit; A secondary fire learning unit for deriving a deep learning learning result of site-customized fire data through a deep learning model with respect to the secondary fire data generated through the secondary fire data generation augmentation unit; And it may include a secondary fire reasoning unit for inferring the presence or absence of a fire based on the sum of the result learned from the secondary fire learning unit and the result inferred from the primary fire reasoning unit.
또한, 상기 범용화재 데이터 수집부를 통하여 수집된 일반 화재 데이터를 저장하거나, 상기 CCTV 현장영상 수집부로부터 획득된 실제 환경에 따른 현장 데이터를 저장하는 화재 데이터베이스; 및 화재 요인 데이터를 저장하는 화재요인 데이터베이스를 더 포함할 수 있다.In addition, a fire database for storing general fire data collected through the general fire data collection unit or storing field data according to the actual environment obtained from the CCTV field image collection unit; And it may further include a fire factor database for storing fire factor data.
상기 1차 화재 데이터 생성 증강 학습부는, 상기 범용 화재 데이터를 GAN(Generative Adversarial Networks) 방식을 통하여 화재 데이터를 증강하고 딥러닝 학습하여 1차 화재 데이터를 생성할 수 있다.The primary fire data generation augmentation learning unit may generate primary fire data by augmenting and deep learning the general fire data through a Generative Adversarial Networks (GAN) method.
상기 2차 화재 데이터 생성 증강부는, 현장에 설치된 상기 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 수집하고, 현장에서 가공하여 현장 맞춤형 화재 데이터를 생성하고, 생성된 현장 맞춤형 화재 데이터를 영상분석 방식을 통하여 증강하고 딥러닝 학습하여 2차 화재 데이터를 생성할 수 있다.The secondary fire data generation and augmentation unit collects field data according to the actual environment through the camera and CCTV installed in the field, processes it in the field to generate field-customized fire data, and converts the generated field-customized fire data into an image analysis method. Through augmentation and deep learning learning, secondary fire data can be generated.
상기 2차 화재 데이터 생성 증강부는, 상기 2차 화재 데이터의 생성, 학습 외에도 일정 시간이 경과된 후 자동으로 현장에 설치된 상기 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 추가 수집하고, 수집된 현장 데이터를 가공 및 학습하여 3차 화재 데이터를 계속 생성할 수 있다.In addition to the generation and learning of the secondary fire data, the secondary fire data generation augmentation unit additionally collects field data according to the actual environment through the camera and CCTV installed in the field automatically after a certain period of time has elapsed, and collects the collected field data. Third fire data can be continuously generated by processing and learning the data.
상기 2차 화재 추론부가 상기 현장 맞춤형 화재 데이터의 학습 결과에 따른 2차 화재 데이터에 근거하여 불꽃, 연기, 스파크를 포함하는 초기 화재를 감지한 이후에도 상기 2차 화재 데이터 생성 증강부는 상기 2차 화재 데이터를 생성하여 학습하는 것을 일정 주기로 계속 진행할 수 있다.Even after the secondary fire inference unit detects an initial fire including flame, smoke, and sparks based on the secondary fire data according to the learning result of the field-customized fire data, the secondary fire data generation augmentation unit generates the secondary fire data. Creating and learning can continue at regular intervals.
상기 CCTV 현장영상 수집부는, 적어도 하나 이상의 카메라 및 CCTV가 인터넷(ONVIF/RTSP)을 통하여 상기 2차 화재 추론부와 연결되거나 연동할 수 있다.The CCTV field image collection unit, at least one camera and CCTV can be connected or interlocked with the secondary fire inference unit through the Internet (ONVIF / RTSP).
상기 2차 화재 추론부는, 상기 CCTV 현장영상 수집부의 적어도 하나 이상의 카메라 및 CCTV와 연동하기 위한 영상 수집 및 학습을 위한 기능을 구비할 수 있다.The secondary fire inference unit may have a function for image collection and learning for interworking with at least one camera and CCTV of the CCTV field image collection unit.
상기 2차 화재 추론부는, 상기 현장 맞춤형 화재 데이터의 학습 결과에 따른 상기 2차 화재 데이터에 근거하여 화재 유무를 판단하고, 일정 시간이 경과되면 자동으로 상기 CCTV 현장영상 수집부로부터 현장 데이터를 수신하고, 현장 영상을 활용한 3차 화재 데이터 생성 및 학습을 실행하되, 상기 CCTV 현장영상 수집부의 적어도 하나 이상의 카메라 및 CCTV에 대하여 순서에 준하여 실행할 수 있다.The secondary fire inference unit determines whether or not there is a fire based on the secondary fire data according to the learning result of the site-customized fire data, and automatically receives field data from the CCTV field image collection unit when a certain time elapses, , However, the tertiary fire data generation and learning using the field image may be executed, but may be executed according to the sequence for at least one camera and CCTV of the CCTV field image collection unit.
상기 2차 화재 데이터 생성 증강부 또는 상기 2차 화재 추론부와 유선 또는 무선으로 통신하여 화재 관련 데이터를 송수신하는 중앙 관제 서버를 더 포함할 수 있다.A central control server configured to communicate with the secondary fire data generation augmentation unit or the secondary fire inference unit by wire or wirelessly to transmit and receive fire-related data may be further included.
상기 2차 화재 데이터 생성 증강부는 3차 화재 데이터를 생성하기 전에 상기 중앙 관제 서버로 화재 감시 사실을 통보하며, 상기 3차 화재 데이터의 생성을 진행한 후에는 학습 결과 및 인식률에 대한 결과를 상기 중앙 관제 서버로 송신할 수 있다.The secondary fire data generation augmentation unit notifies the central control server of the fire monitoring fact before generating the tertiary fire data, and after generating the tertiary fire data, the learning result and the result of the recognition rate are transmitted to the central control server. It can be sent to the control server.
또한, 전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 현장 환경 영상 학습형 위험 인지 시스템은, 사진 및 동영상을 입력받아 화재 데이터를 수집하는 범용화재 데이터 수집부; 상기 범용화재 데이터 수집부를 통하여 수집된 영상에서 범용 화재 데이터를 분류하고, 분류된 범용 화재 데이터를 증강하고 학습하여 1차 화재 학습 데이터를 생성하는 1차 화재 데이터 생성 증강부; 상기 1차 화재 데이터 생성 증강부를 통하여 학습된 1차 화재 학습 데이터를 활용하여 딥러닝 한 결과를 도출하는 1차 화재 학습부; 상기 1차 화재 학습부에서 학습된 결과를 활용하여 추론을 진행하는 1차 화재 추론부; 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 획득하는 CCTV 현장영상 수집부; 상기 CCTV 현장영상 수집부로부터 획득된 현장 데이터를 활용하여 현장 맞춤형 화재 데이터를 생성하고 증강하여 2차 화재 데이터를 생성하는 2차 화재 데이터 생성 증강부; 상기 2차 화재 데이터 생성 증강부를 통하여 생성된 2차 화재 데이터에 대하여 딥러닝 모델을 통한 현장 맞춤형 화재 데이터의 딥러닝 학습 결과를 도출하는 2차 화재 학습부; 및 상기 2차 화재 학습부에서 학습된 결과와 상기 1차 화재 추론부에서 추론된 결과를 합한 것에 근거하여 화재 유무를 추론하는 2차 화재 추론부; 상기 2차 화재 데이터 생성 증강부 또는 상기 2차 화재 추론부와 유선 또는 무선으로 통신하여 화재 관련 데이터를 송수신하는 중앙 관제 서버; 및 화재 대피용 비상 앱이 설치되고, 화재 발생 시 상기 중앙 관제 서버로부터 화재 발생 데이터를 수신하면, 상기 화재 대피용 비상 앱을 통해 현재 위치에서 비상구까지의 최단 경로 및 비상 탈출 경로를 맵(map) 상에 안내하는 사용자 단말기를 포함할 수 있다.In addition, the field environment video learning type risk recognition system according to an embodiment of the present invention for achieving the above object includes a general fire data collection unit for collecting fire data by receiving photos and videos; A primary fire data generation augmentation unit that classifies general-purpose fire data from the images collected through the general-purpose fire data collection unit, augments and learns the classified general-purpose fire data, and generates primary fire learning data; A primary fire learning unit that derives a result of deep learning by utilizing the primary fire learning data learned through the primary fire data generation augmentation unit; A primary fire inference unit that proceeds with inference by using the result learned from the primary fire learning unit; CCTV field image collection unit for acquiring field data according to the real environment through cameras and CCTVs installed in the field; Secondary fire data generation augmentation unit for generating secondary fire data by generating and augmenting site-customized fire data by utilizing the field data obtained from the CCTV field image collection unit; A secondary fire learning unit for deriving a deep learning learning result of site-customized fire data through a deep learning model with respect to the secondary fire data generated through the secondary fire data generation augmentation unit; And a secondary fire reasoning unit for inferring whether or not there is a fire based on the sum of the result learned from the secondary fire learning unit and the result inferred from the primary fire reasoning unit; A central control server for transmitting and receiving fire-related data by communicating with the secondary fire data generation augmentation unit or the secondary fire inference unit by wire or wirelessly; And when an emergency app for fire evacuation is installed and fire occurrence data is received from the central control server in the event of a fire, the shortest path from the current location to the emergency exit and an emergency escape route are mapped through the emergency app for fire evacuation. It may include a user terminal for guiding on the image.
상기 중앙 관제 서버는, 상기 2차 화재 데이터 생성 증강부로부터 상기 2차 화재 데이터를 수신하여 디코딩해 영상 프레임을 생성하고, 상기 영상 프레임으로부터 동(動) 벡터를 추출하되 상기 동 벡터가 추출된 부분의 각 블록을 복수 개로 나눈 후 상기 각 블록을 일정 크기의 도형으로 그룹화하여 동벡터 그룹으로 정의하고, 상기 동벡터 그룹 각각에 대하여 기계학습 알고리즘을 적용하여 실동 벡터(기준 크기보다 큰 벡터) 및 비동 벡터(기준 크기보다 작은 벡터)를 추출하고, 추출된 상기 실동 벡터의 벡터 값이 기준 동 벡터 값 미만이고 상기 비동 벡터의 벡터 값이 상기 기준 동 벡터 값 이상인 경우, 상기 영상 프레임을 분석이 필요로 하지 않은 영상 프레임으로 판별하여 상기 영상 프레임에 대한 분석을 실행하지 않을 수 있다.The central control server receives and decodes the secondary fire data from the secondary fire data generation and augmentation unit to generate a video frame, extracts a motion vector from the video frame, and extracts a part from which the vector is extracted. After dividing each block into a plurality of pieces, each block is grouped into a figure of a certain size to define a moving vector group, and a machine learning algorithm is applied to each of the moving vector groups to obtain real vectors (vectors larger than the standard size) and non-synchronous vectors. A vector (a vector smaller than a reference size) is extracted, and if the vector value of the extracted real motion vector is less than the reference motion vector value and the vector value of the non-motion vector is greater than or equal to the reference motion vector value, the video frame needs to be analyzed Analysis of the image frame may not be performed by determining the image frame as an image frame that has not been analyzed.
한편, 전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 현장 환경 영상 학습형 위험 인지 방법은, (a) 범용화재 데이터 수집부가 사진 및 동영상을 입력받아 화재 데이터를 수집하는 단계; (b) 1차 화재 데이터 생성 증강 학습부가 상기 범용화재 데이터 수집부를 통하여 수집된 영상에서 범용 화재 데이터를 분류하고, 분류된 범용 화재 데이터를 증강하고 학습하여 1차 화재 데이터를 생성하는 단계; (c) CCTV 현장 영상 수집부가 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 획득하는 단계; (d) 2차 화재 데이터 생성 증강 학습부가 상기 CCTV 현장 영상 수집부로부터 획득된 현장 데이터를 활용하여 현장 맞춤형 화재 데이터를 생성하고 학습하여 2차 화재 데이터를 생성하는 단계; (e) 화재 추론부가 상기 현장 맞춤형 화재 데이터의 딥러닝 학습 결과에 따른 상기 2차 화재 데이터에 근거하여 화재 유무를 판단하는 단계를 포함할 수 있다.On the other hand, the field environment image learning type risk recognition method according to an embodiment of the present invention for achieving the above object includes: (a) collecting fire data by receiving general fire data collection unit photos and videos; (b) generating primary fire data by classifying general-purpose fire data from images collected through the general-purpose fire data collection unit by the augmented learning unit for generating primary fire data, and augmenting and learning the classified general-purpose fire data to generate primary fire data; (c) obtaining field data according to the actual environment through a camera and CCTV installed in the field by a CCTV field image collection unit; (d) generating secondary fire data by generating and learning customized fire data using the field data obtained from the CCTV field image collection unit by the secondary fire data generation augmented learning unit; (e) a fire inference unit may include determining whether or not there is a fire based on the secondary fire data according to the deep learning learning result of the site-customized fire data.
상기 (b) 단계에서 상기 1차 화재 데이터 생성 증강 학습부는, 상기 범용 화재 데이터를 GAN(Generative Adversarial Networks) 방식을 통하여 화재 데이터를 증강하고 딥러닝 학습하여 1차 화재 데이터를 생성할 수 있다.In the step (b), the primary fire data generation augmentation learning unit may generate primary fire data by augmenting and deep learning the general fire data through a Generative Adversarial Networks (GAN) method.
상기 (d) 단계에서 상기 2차 화재 데이터 생성 증강 학습부는, 현장에 설치된 상기 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 수집하고, 현장에서 가공하여 현장 맞춤형 화재 데이터를 생성하고, 생성된 현장 맞춤형 화재 데이터를 OpenCV 방식을 통하여 증강하고 CNN을 이용하여 딥러닝 학습 후 2차 화재 데이터를 생성할 수 있다.In the step (d), the secondary fire data generation augmented learning unit collects field data according to the actual environment through the camera and CCTV installed in the field, processes it in the field, generates field-customized fire data, and generates field data. The customized fire data can be augmented through the OpenCV method and secondary fire data can be generated after learning deep learning using CNN.
상기 (d) 단계에서 상기 2차 화재 데이터 생성 증강 학습부는, 상기 2차 화재 데이터의 생성, 학습 외에도 일정 시간이 경과된 후 자동으로 현장에 설치된 상기 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 추가 수집하고, 수집된 현장 데이터를 가공 및 학습하여 3차 화재 데이터를 계속 생성할 수 있다.In step (d), in addition to generating and learning the secondary fire data, the secondary fire data generation augmentation learning unit automatically generates field data according to the actual environment through the camera and CCTV installed in the field after a certain time elapses. Third fire data can be continuously created by additionally collecting, processing and learning the collected field data.
상기 (e) 에서 상기 화재 추론부가 상기 현장 맞춤형 화재 데이터의 학습 결과에 따른 2차 화재 데이터에 근거하여 불꽃, 연기, 스파크를 포함하는 초기 화재를 감지한 이후에도 상기 2차 화재 데이터 생성 증강 학습부는 상기 2차 화재 데이터를 생성하여 학습하는 것을 일정 주기로 계속 진행할 수 있다.In (e), even after the fire inference unit detects an initial fire including flame, smoke, and sparks based on the secondary fire data according to the learning result of the site-customized fire data, the secondary fire data generation augmented learning unit Creating secondary fire data and learning can continue at regular intervals.
상기 (e) 단계에서 상기 화재 추론부는, 상기 현장 맞춤형 화재 데이터의 학습 결과에 따른 상기 2차 화재 데이터에 근거하여 화재 유무를 판단하고, 일정 시간이 경과되면 자동으로 상기 CCTV 현장영상 수집부로부터 현장 데이터를 수신하고, 현장 영상을 활용한 3차 화재 데이터 생성 및 학습을 실행하되, 상기 CCTV 현장영상 수집부의 적어도 하나 이상의 카메라 및 CCTV에 대하여 순서에 준하여 실행할 수 있다.In the step (e), the fire inference unit determines whether or not there is a fire based on the secondary fire data according to the learning result of the site-customized fire data, and when a certain time elapses, automatically from the CCTV field image collection unit to the site. Receiving the data, but executing the third fire data generation and learning using the field image, it can be executed according to the sequence for at least one camera and CCTV of the CCTV field image collection unit.
상기 (e) 단계에서 상기 화재 추론부는, 상기 2차 화재 데이터 생성 증강 학습부가 상기 3차 화재 데이터를 생성하기 전에 상기 중앙 관제 서버로 화재 감시 사실을 통보하며, 상기 3차 화재 데이터의 생성을 진행한 후에는 학습 결과 및 인식률에 대한 결과를 상기 중앙 관제 서버로 송신할 수 있다.In the step (e), the fire inference unit notifies the central control server of the fire monitoring fact before the secondary fire data generation augmented learning unit generates the tertiary fire data, and proceeds with generating the tertiary fire data. After that, the learning result and the result of the recognition rate can be transmitted to the central control server.
본 발명에 의하면, 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 수집하고, 현장에서 가공하여 현장 맞춤형 화재 데이터를 생성하고, 이를 딥러닝 학습을 통하여 2차 화재 데이터를 생성함으로써 화재 인식률 향상과 초기 화재 인지 능력을 개선할 수 있다.According to the present invention, by collecting field data according to the real environment through cameras and CCTVs installed in the field, processing it in the field to create field-customized fire data, and generating secondary fire data through deep learning learning, the fire recognition rate Improvement and early fire recognition ability can be improved.
또한, 본 발명의 실시예에 따른 현장 환경 영상 학습형 화재 위험 인지 시스템은 기존 선행 학습 방식에 비해 화재 인식률을 향상시킬 수 있으며, 초기 화재(불꽃, 연기, 스파크) 감지에도 탁월한 효과가 있다.In addition, the field environment video learning type fire risk recognition system according to an embodiment of the present invention can improve the fire recognition rate compared to the existing prior learning method, and has an excellent effect in detecting an initial fire (flame, smoke, spark).
또한, 본 발명에 의하면, 추론 PC 환경에서 일정 기간이 지나면 자동으로 화재 데이터 생성 및 학습이 가능하여 지속적으로 화재 인식률을 개선할 수 있다.In addition, according to the present invention, it is possible to automatically generate and learn fire data after a certain period of time in an inference PC environment, so that the fire recognition rate can be continuously improved.
그리고, 본 발명에 의하면, 기존의 IoT 센서와 병행 또는 단독으로 화재 대응을 할 수 있다.And, according to the present invention, it is possible to respond to a fire in parallel or alone with an existing IoT sensor.
도 1은 본 발명의 실시예에 따른 현장 환경 영상 학습형 위험 인지 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 1차 화재 데이터 생성 증강부에서 이용하는 GAN 방식을 나타내는 도면이다.
도 3은 본 발명의 실시예에 이용하는 GAN 방식에 대하여 일반 사진을 화재 영상으로 바꾼 사진을 다시 일반 사진으로 바꾸는 예를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 1차 화재 데이터 생성 증강부에서 GAN 방식을 이용하여 화재 데이터를 생성한 예들을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 2차 화재 데이터 생성 증강부에서 OpenCV 방식을 이용하여 2차 화재 데이터로 증강 생성하는 과정을 예로 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 2차 화재 데이터 생성 증강 학습부에서 영상분석 방식을 이용하여 2차 화재 데이터들을 생성한 예를 나타낸 도면이다.
도 7 및 도 8은 본 발명의 실시예에 따른 현장 환경 영상 학습형 화재 위험 인지 방법을 나타낸 흐름도이다.1 is a configuration diagram schematically showing the overall configuration of a field environment image learning type risk recognition system according to an embodiment of the present invention.
2 is a diagram showing a GAN scheme used in a primary fire data generation augmentation unit according to an embodiment of the present invention.
3 is a diagram showing an example of converting a normal photo into a fire video into a normal photo in the GAN method used in an embodiment of the present invention.
4 is a diagram showing examples of generating fire data using a GAN method in a primary fire data generation augmentation unit according to an embodiment of the present invention.
5 is a diagram showing a process of augmenting and generating secondary fire data using the OpenCV method in the secondary fire data generation augmentation unit according to an embodiment of the present invention as an example.
6 is a diagram showing an example of generating secondary fire data using an image analysis method in the secondary fire data generating augmented learning unit according to an embodiment of the present invention.
7 and 8 are flowcharts illustrating a method for recognizing on-site environment image learning-type fire risk according to an embodiment of the present invention.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may be embodied in many different forms and is not limited to the embodiments described herein.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals are assigned to the same or similar components throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우 뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to be "connected" to another part, this includes not only the case where it is "directly connected" but also the case where it is "electrically connected" with another element interposed therebetween. . In addition, when a certain component is said to "include", this means that it may further include other components without excluding other components unless otherwise stated.
어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.When a part is referred to as being “on” another part, it may be directly on top of the other part or may have other parts in between. In contrast, when a part is said to be “directly on” another part, there are no other parts in between.
제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.Terms such as first, second and third are used to describe, but are not limited to, various parts, components, regions, layers and/or sections. These terms are only used to distinguish one part, component, region, layer or section from another part, component, region, layer or section. Accordingly, a first part, component, region, layer or section described below may be referred to as a second part, component, region, layer or section without departing from the scope of the present invention.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.The terminology used herein is only for referring to specific embodiments and is not intended to limit the present invention. As used herein, the singular forms also include the plural forms unless the phrases clearly indicate the opposite. The meaning of "comprising" as used herein specifies particular characteristics, regions, integers, steps, operations, elements and/or components, and the presence or absence of other characteristics, regions, integers, steps, operations, elements and/or components. Additions are not excluded.
"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.Terms indicating relative space, such as “below” and “above,” may be used to more easily describe the relationship of one part to another shown in the drawings. These terms are intended to include other meanings or operations of the device in use with the meaning intended in the drawings. For example, if the device in the figures is turned over, certain parts described as being “below” other parts will be described as being “above” the other parts. Thus, the exemplary term "below" includes both directions above and below. The device may rotate 90 degrees or other angles, and terms denoting relative space are interpreted accordingly.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.Although not defined differently, all terms including technical terms and scientific terms used herein have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention belongs. Terms defined in commonly used dictionaries are additionally interpreted as having meanings consistent with related technical literature and currently disclosed content, and are not interpreted in ideal or very formal meanings unless defined.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. However, the present invention may be implemented in many different forms and is not limited to the embodiments described herein.
도 1은 본 발명의 실시예에 따른 현장 환경 영상 학습형 위험 인지 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.1 is a configuration diagram schematically showing the overall configuration of a field environment image learning type risk recognition system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 실시예에 따른 현장 환경 영상 학습형 위험 인지 시스템(100)은, 범용화재 데이터 수집부(110), 1차 화재 데이터 생성 및 증강부(120), 1차 화재 학습부(130), 1차 화재 추론부(140), CCTV 현장영상 수집부(150), 2차 화재 데이터 생성 및 증강부(160), 2차 화재 학습부(170), 2차 화재 추론부(180), 중앙 관제 서버(190) 등을 포함한다.Referring to FIG. 1, the field environment image learning type risk recognition system 100 according to an embodiment of the present invention includes a general-purpose fire
또한, 화재 데이터베이스(DB)(200) 및 화재요인 데이터베이스(DB)(210)를 더 포함할 수 있다.In addition, a fire database (DB) 200 and a fire factor database (DB) 210 may be further included.
범용화재 데이터 수집부(110)는 사진 및 동영상을 입력 받아 화재 데이터를 수집한다.The universal fire
1차 화재 데이터 생성 및 증강부(120)는 범용화재 데이터 수집부(110)를 통하여 수집된 영상에서 범용 화재 데이터를 분류하고, 분류된 범용 화재 데이터를 증강하고 학습하여 1차 화재 학습 데이터를 생성한다.The primary fire data generation and
1차 화재 학습부(130)는 1차 화재 데이터 생성 및 증강부(120)를 통하여 학습된 1차 화재 학습 데이터를 활용하여 딥러닝한 결과를 도출한다.The primary
1차 화재 추론부(140)는 1차 화재 학습부(130)에서 학습된 결과를 활용하여 추론을 진행한다. 그리고 이 추론은 2차 추론과 합쳐진다.The primary
CCTV 현장영상 수집부(150)는 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 획득한다.The CCTV field
2차 화재 데이터 생성 및 증강부(160)는 CCTV 현장영상 수집부(150)로부터 획득된 현장 데이터를 활용하여 현장 맞춤형 화재 데이터를 생성하고 증강하여 2차 화재 데이터를 생성한다.The secondary fire data generation and
2차 화재 학습부(170)는 2차 화재 데이터 생성 증강부를 통하여 생성된 2차 화재 데이터에 대하여 딥러닝 모델을 통한 현장 맞춤형 화재 데이터의 딥러닝 학습 결과를 도출한다. The secondary
2차 화재 추론부(180)는 2차 화재 학습부(170)에서 학습된 결과와 1차 화재 추론부(140)에서 추론된 결과를 합한 것에 근거하여 화재 유무를 추론하여 판단할 수 있다. The secondary
여기서, 1차 및 2차 화재 추론부(140, 180)는 예를 들면, 컴퓨터, 노트북 등의 형태로 구현될 수 있으며, 2 개가 아닌 하나의 PC로 구현될 수 있으며, PC 상에서 학습 결과를 합쳐서 각 CCTV에서 수집된 영상으로 화재 유무를 판단한다.Here, the primary and secondary
중앙 관제 서버(190)는 2차 화재 추론부(180)와 유선 또는 무선으로 통신하여 화재 관련 데이터를 송수신할 수 있다.The
화재 DB(200)는 범용화재 데이터 수집부(110)를 통하여 수집된 일반 화재 데이터를 저장하거나, CCTV 현장영상 수집부(150)로부터 획득된 실제 환경에 따른 현장 데이터를 저장한다. The
화재요인 DB(210)는 발화점 등 화재 요인 데이터를 저장한다.The
1차 화재 데이터 생성 및 증강부(120)는, 범용 화재 데이터를 GAN(Generative Adversarial Networks) 방식을 통하여 증강하고 딥러닝 학습하여 1차 화재 데이터를 생성할 수 있다.The primary fire data generation and
2차 화재 데이터 생성 및 증강부(160)는, 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 수집하고, 현장에서 가공하여 현장 맞춤형 화재 데이터를 생성하고, 생성된 현장 맞춤형 화재 데이터를 영상분석 방식을 통하여 증강하고 딥러닝 학습하여 2차 화재 데이터를 생성할 수 있다.The secondary fire data generation and
2차 화재 데이터 생성 및 증강부(160)는, 2차 화재 데이터의 생성, 학습 외에도 일정 시간이 경과된 후 자동으로 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 추가 수집하고, 수집된 현장 데이터를 가공 및 학습하여 3차 화재 데이터를 계속 생성할 수 있다. 시간이 지나면서 가구 위치, 책상 등의 위치 변동에 따른 추가 학습의 필요성 때문이다.Secondary fire data generation and
2차 화재 데이터 생성 및 증강부(160)는 화재 영상 생성 알고리즘 모델을 이용하여 2차 화재 데이터를 생성 및 증강할 수 있다. 화재생성 딥러닝 모델은 도시하지는 않았지만 매핑부, 생성부, 합성부 및 식별부를 포함할 수 있다. 식별부는 화재 데이터를 초기 화재와 대형 화재로 나누어 수집하고, 합성부는 입력되는 이미지 데이터에 대해서 제1 화재 생성 딥러닝 모델과 제2 화재 생성 딥러닝 모델을 통해 제1 화재 생성 데이터와 제2 화재 생성 데이터를 합성할 수 있다. 생성부는 화재 요인 객체의 위치에 해당하는 객체 이미지를 화재 발생 가능성 수치를 기반으로 분류하여 제1 화재 또는 제2 화재 적용 유무를 판단하여 가상 화재 데이터를 생성할 수 있다. 매핑부는 가상 화재 데이터와 입력된 원본 영상 데이터를 매핑하고, 생성부는 가상 화재 데이터와 원본 영상 데이터의 매핑에 따른 2차 화재 데이터를 생성할 수 있다.The secondary fire data generation and
2차 화재 학습부(170)는 2차 화재 데이터 생성 및 증강부(160)로부터 2차 화재 데이터를 수신하여 디코딩해 영상 프레임을 생성하고, 영상 프레임으로부터 동(動) 벡터를 추출하되 동 벡터가 추출된 부분의 각 블록을 복수 개로 나눈 후 각 블록을 일정 크기의 도형으로 그룹화하여 동벡터 그룹으로 정의하고, 동벡터 그룹 각각에 대하여 기계학습 알고리즘을 적용하여 실동 벡터(기준 크기보다 큰 벡터) 및 비동 벡터(기준 크기보다 작은 벡터)를 추출하고, 추출된 실동 벡터의 벡터 값이 기준 동 벡터 값 미만이고 비동 벡터의 벡터 값이 기준 동 벡터 값 이상인 경우, 영상 프레임을 분석이 필요로 하지 않은 영상 프레임으로 판별하여 영상 프레임에 대한 분석을 실행하지 않을 수 있다.The secondary
2차 화재 추론부(180)가 현장 맞춤형 화재 데이터의 학습 결과에 따른 2차 화재 데이터에 근거하여 불꽃, 연기, 스파크를 포함하는 초기 화재를 감지한 이후에도 2차 화재 데이터 생성 및 증강부(160)는 2차 화재 데이터를 생성하여 학습하는 것을 일정 주기로 계속 진행할 수 있다. 즉 일정 시간이 경과되면 자동으로 CCTV 현장영상 수집부(150)로부터 현장 데이터를 수신하고, 현장 영상을 활용한 3차 화재 데이터 생성 및 학습을 실행하되, CCTV 현장영상 수집부(150)의 적어도 하나 이상의 카메라 및 CCTV에 대하여 순서에 준하여 실행할 수 있다.Even after the secondary
CCTV 현장영상 수집부(150)는, 2차 화재 추론부(180)와 연결되거나 연동할 수 있다. 예를 들면, 사무실, 집, 복도 등에 설치되어, 인터넷 네트워크를 통하여 2차 화재 추론부(180)에 연결될 수 있다.The CCTV scene
CCTV 현장영상 수집부(150)는, 적어도 하나 이상의 카메라 및 CCTV가 인터넷(ONVIF/RTSP)을 통하여 2차 화재 추론부(180)와 연결되거나 연동할 수 있다.CCTV field
2차 화재 추론부(180)는, 현장 맞춤형 화재 데이터의 학습 결과에 따른 2차 화재 데이터에 근거하여 화재 유무를 판단하고, 2차 화재 데이터 생성 및 증강부(160)는 3차 화재 데이터를 생성하기 전에 중앙 관제 서버(190)로 화재 감시 사실을 통보하며, 3차 화재 데이터의 생성을 진행한 후에는 학습 결과 및 인식률에 대한 결과를 중앙 관제 서버(190)로 송신할 수 있다.The secondary
중앙 관제 서버(190)는 2차 화재 데이터 생성 및 증강부(160) 또는 2차 화재 추론부(180)와 유선 또는 무선으로 통신하여 화재 관련 데이터를 송수신할 수 있다.The
본 발명의 실시예에 따른 현장 환경 영상 학습형 위험 인지 시스템(100)은, 도면에 도시하지는 않았지만 중앙 관제 서버(190)와 무선 통신으로 데이터를 송수신하는 사용자 단말기를 더 포함할 수 있다.Although not shown in the drawings, the field environment image learning risk recognition system 100 according to an embodiment of the present invention may further include a user terminal that transmits and receives data with the
사용자 단말기는 화재 대피용 비상 앱이 설치되고, 화재 발생 시 중앙 관제 서버(190)로부터 화재 발생 데이터를 수신하면, 화재 대피용 비상 앱을 통해 현재 위치에서 비상구까지의 최단 경로 및 비상 탈출 경로를 맵(map) 상에 제공할 수 있다.When an emergency app for fire evacuation is installed and fire data is received from the
또한, 사용자 단말기는, 내부에 탑재된 GPS 센서를 통해 현재의 위치 정보를 취득하고, 취득한 현재 위치 정보를 이용하여 화면에 표시된 지도를 통해 현재 위치에서 비상구까지의 최단 경로를 화재 대피용 비상 앱과 연동하여 자동 설정할 수 있으며, 이를 통하여 시각적 또는 청각적으로 비상탈출 경로안내를 제공할 수 있다. 예를 들어, 사용자 단말기는 지도 상의 경로 안내 화면을 통해 시각적으로 비상탈출 경로 안내를 제공할 수 있으며, 이와 달리 경로 안내 음성을 내부 스피커로 출력하는 방식을 통해 청각적으로 비상탈출 경로안내를 제공할 수도 있다.In addition, the user terminal acquires current location information through a GPS sensor mounted inside, and uses the acquired current location information to determine the shortest path from the current location to the emergency exit through a map displayed on the screen with an emergency app for fire evacuation. It can be set automatically by interlocking, and through this, it is possible to provide emergency escape route guidance visually or audibly. For example, the user terminal may provide emergency escape route guidance visually through a route guidance screen on a map, and unlike this, the user terminal may provide emergency escape route guidance audibly through a method of outputting a route guidance voice through an internal speaker. may be
도 2는 본 발명의 실시예에 따른 1차 화재 데이터 화재 데이터 생성 증강부에서 이용하는 GAN 방식을 나타내는 도면이다.2 is a diagram showing a GAN method used in the primary fire data fire data generation augmentation unit according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 실시예에 따른 1차 화재 데이터 생성 증강(120) 에서 이용하는 GAN 방식은, 범용화재 데이터 수집부(110)에 수집된 하나의 사진(Image)을 화재 스타일로 바꾸되, 다시 원본 이미지로 복구 가능한 정도로만 바꾸는 방식이다.Referring to FIG. 2, the GAN method used in the primary fire
예를 들면, 도 3에 도시된 바와 같이, 일반 사진을 화재 사진으로 바꾸려고 한다고 할 때, 바꾼 사진을 다시 일반 사진으로 바꿀 수 있어야 한다는 의미이다. 도 3은 본 발명의 실시예에 이용하는 GAN 방식에 대하여 일반 사진(Image)을 화재 영상으로 바꾸고 바꾼 사진을 다시 일반 사진으로 바꾸는 예를 나타낸 도면이다. 이를 위해, G net을 훈련시키는 동시에, 사진을 그림으로 바꿔주는 F net을 훈련시켜야 한다. x도메인에 G를 적용하고 (G(x)), F를 적용하면(F(G(x))) input이 사진으로 갔다가 다시 그림으로 돌아온다. 돌아온 결과 값이 원래 그림과 같아야 한다는 것이 제약조건이 된다.For example, as shown in FIG. 3 , when trying to change a normal picture into a fire picture, it means that the changed picture should be able to be changed back to a normal picture. 3 is a diagram showing an example of changing a normal picture (Image) into a fire image and changing the changed picture back into a normal picture with respect to the GAN method used in the embodiment of the present invention. To do this, we need to train the G net and at the same time train the F net, which turns pictures into paintings. If G is applied to the x domain (G(x)) and F is applied (F(G(x))), the input goes to the picture and then back to the picture. The constraint is that the returned result value must be the same as the original picture.
여기서, loss function을 살펴보면, 기존 GAN loss는 유지하고, 생성한 fake 이미지와 원본 이미지 X의 loss가 최소화 되어야 한다. 이것은 pixel level difference를 추가한 것과 비슷한 개념이다. 본 발명의 실시예에 이용하는 GAN 방식을 설명하기 위한 일반 GAN의 G->F loss function을 나타낸 도면이고, GAN 방식을 설명하기 위한 일반 GAN의 F->G loss function을 나타낸다. Here, looking at the loss function, the existing GAN loss should be maintained, and the loss of the generated fake image and the original image X should be minimized. This is a similar concept with the addition of pixel level differences. It is a diagram showing the G->F loss function of general GAN for explaining the GAN method used in the embodiment of the present invention, and shows the F->G loss function of general GAN for explaining the GAN method.
이를 위한 전체 목표(Full objective)는 다음 수학식 1과 같이 나타낼 수 있다.The full objective for this can be expressed as in
수학식 1에서, λLcyc는 하이퍼 파라미터(hyper-parameter)이다. λ는 다음 수학식 2와 같이 두 오브젝티브(objective)의 상대적 중요성(relative importance)을 컨트롤한다.In
Cycle GAN 방식은 2개의 'autoencoder'를 훈련시키는 것으로 볼 수 있다. 하나의 오토 인코더 F·G : X → X와 G·F : Y → Y 가 함께 학습한다. 인코더 내부에서는 input 이미지를 다른 도메인으로 변환하는 중간 representation을 통해 이미지를 자체적으로 매핑한다. 이런 설정은 'adversarial auto-encoders'의 특별한 경우이다. 이는 임의의 target분포와 일치하도록 오토인코더의 bottleneck layer를 훈련시키기 위해 adversarial loss를 사용한다.The Cycle GAN method can be seen as training two 'autoencoders'. One autoencoder F·G : X → X and G·F : Y → Y learn together. Inside the encoder, the image is mapped by itself through an intermediate representation that transforms the input image into another domain. These settings are a special case of 'adversarial auto-encoders'. It uses adversarial loss to train the autoencoder's bottleneck layer to match an arbitrary target distribution.
여기서 X → X 자동 인코더의 대상 분포는 도메인 Y의 분포이다.Here, the target distribution of the X → X autoencoder is the distribution of domain Y.
이러한 방법은 전체 목표와 비교하였을 때 adversarial loss LGAN과 cycle consistency loss Lcyc 단독을 포함하여, 두 개의 objective가 고품질의 결과를 얻는데 중요한 역할을 했음을 결과를 통해 얻어낼 수 있다.This method can be obtained through the results that two objectives, including the adversarial loss LGAN and the cycle consistency loss Lcyc alone, played an important role in obtaining high-quality results when compared with the overall objective.
또한 only cycle loss(한 방향으로만의 사이클 로스)는 모델의 성능을 테스트했을 때, 훈련에 충분하지 않았음을 나타낸다.Also, the only cycle loss (cycle loss in one direction only) indicates that the performance of the model was not sufficient for training when tested.
도 4는 본 발명의 실시예에 따른 1차 화재 화재 데이터 생성 증강부에서 GAN 방식을 이용하여 화재 데이터를 생성한 예들을 나타낸 도면이다.4 is a diagram showing examples of generating fire data using a GAN method in a primary fire fire data generation augmentation unit according to an embodiment of the present invention.
도 4을 참조하면, 본 발명의 실시예에 따른 화재 데이터 생성 증강부(120)는 범용화재 데이터 수집부(110)에 수집된 원래의 사진이나 영상(Original)으로부터 전술한 바와 같은 GAN 방식을 이용하여 1차 화재 데이터(Translated)를 생성할 수 있다.Referring to FIG. 4, the fire data
적대적 생성 신경망(GAN:Generative Adversarial Networks)은 두 모델 간의 대립을 통해 데이터를 생성하는 최적의 모델을 만들어내는 것으로서, 트레이닝 데이터의 분포를 생성 모델이 똑같이 따라가도록 학습하는 것이다.Generative Adversarial Networks (GANs) create an optimal model that generates data through confrontation between two models, and learns to equally follow the distribution of training data.
확률변수 X에 대한 확률 밀도함수가 있을 때, 어떤 X에 대해서 함수값이 크다면 전체 분포 내에서 그 X가 차지하는 비율이 크다는 것을 의미한다. GAN에서는 이미지를 고차원 벡터로 보고, 입력 이미지 데이터들의 특징이 담긴 벡터들의 확률분포를 이용해서 이미지의 특징별로 해당하는 확률변수의 크기를 구한다. When there is a probability density function for a random variable X, if the function value is large for a certain X, it means that the proportion occupied by that X in the entire distribution is large. In GAN, the image is viewed as a high-dimensional vector, and the size of a random variable corresponding to each feature of the image is calculated using the probability distribution of the vectors containing the features of the input image data.
GAN은 분류기 모델(Discriminator Model)과 생성기 모델(Generator Model)로 구성된다. 분류기 모델은 D(x)의 함수로 나타내고, 생성기 모델은 G(z)의 함수로 나타낸다. D(x)는 이미지 x가 학습용 원본 이미지 데이터에서 나왔을 확률을 계산한다. 따라서 x에 학습용 데이터가 들어오면, D(x)는 1에 매우 가깝다. G(z)는 임의의 코드 값 z를 받아서 그에 대응하는 가짜 이미지를 만들어 낸다. 학습 초반에는 당연히 가짜 이미지가 강하게 나타나고, D(G(z))는 0에 가깝다.GAN consists of a discriminator model and a generator model. The classifier model is expressed as a function of D(x), and the generator model is expressed as a function of G(z). D(x) calculates the probability that image x comes from the original image data for training. Therefore, when training data is input to x, D(x) is very close to 1. G(z) takes an arbitrary code value z and produces a fake image corresponding to it. At the beginning of training, of course, fake images appear strongly, and D(G(z)) is close to 0.
분류기 모델은 진짜 이미지가 들어왔을 때 D(x)가 1을 출력하도록 학습하고, 가짜 이미지가 들어왔을 때 D(x)가 0을 출력하도록 학습한다. 생성기 모델은 진짜 같은 가짜 이미지를 생성하는 것이다. 따라서 생성기 모델은 코드 z를 받아서 생성한 가짜 이미지 G(z)에 대해서 D(G(z))가 1에 가까운 출력을 보이게 만들도록 학습한다.The classifier model learns to
GAN은 실제 이미지를 학습해 거짓 이미지를 만드는 것이다. 따라서, 화재의 그림처럼 만들어 주는 것도 가능하고, 저해상도 사진을 고해상도로 만드는 등 손상된 이미지를 복원할 수도 있다.GANs train real images to create false images. Therefore, it is possible to make it look like a picture of a fire, and it is possible to restore a damaged image, such as making a low-resolution picture into a high-resolution picture.
따라서, 본 발명의 실시예에 따른 1차 화재 데이터 생성 증강(120)부는 적대적 생성 신경망(GAN)을 이용하여 도 4에 도시된 바와 같이 보통의 영상(건물, 물건, 시설 등)에 화재를 합성하여 1차 화재 데이터를 생성하는 것이다.Therefore, the primary fire data
도 5는 본 발명의 실시예에 따른 2차 화재 데이터 생성 증강부에서 OpenCV 방식을 이용하여 2차 화재 데이터로 증강 생성하는 과정을 예로 나타낸 도면이다.5 is a diagram showing a process of augmenting and generating secondary fire data using the OpenCV method in the secondary fire data generation augmentation unit according to an embodiment of the present invention as an example.
도 5를 참조하면, 본 발명의 실시예에 따른 2차 화재 데이터 생성 증강부(160)는, 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 수집하고, 현장에서 가공하여 현장 맞춤형 화재 데이터를 생성하고, 생성된 현장 맞춤형 화재 데이터를 OpenCV 방식을 이용하여 증강하고 CNN을 이용하여 딥러닝 학습하여 2차 화재 데이터를 생성한다.Referring to FIG. 5, the secondary fire data
OpenCV 방식을 1차 화재 데이터 생성 증강부(120)에 적용하지 않고 2차 화재 데이터 생성 증강부(160)에만 적용한 이유는 GAN 방식의 경우는 큰 화재 및 다양한 주위 환경에 따른 넓은 화재 이미지 생성에 적합하고, OpenCV 방식은 CCTV나 카메라처럼 고정된 이미지를 활용하여 다양한 불의 형태를 생성 및 증강하는데 적합하여 1,2차 화재 데이터 생성 증강부의 방식을 달리하였다.The reason why the OpenCV method is applied only to the secondary fire data
OpenCV 방식은 영상 처리에서 흔히 fade in/out 효과처럼 자연스럽게 2개의 이미지를 합성하는 방식이다.The OpenCV method is a method of synthesizing two images naturally, like a fade in/out effect, which is common in image processing.
이미지들은 픽셀 기반의 숫자 배열 형태로 이루어져 있는데, 보통 0~255 사이의 숫자값으로 이루어져 있다. 따라서 2개의 이미지 합성을 위해 단순히 두 어레이를 더하는 형태로 표현할 수 있다. 이미지 데이터 셋이므로 unit 8, 즉 0~255 사이의 값만 갖도록 데이터 타입을 선정할 수 있다.Images are made up of pixel-based arrays of numbers, usually between 0 and 255. Therefore, it can be expressed in the form of simply adding two arrays to synthesize two images. Since it is an image data set, the data type can be selected to have only unit 8, that is, values between 0 and 255.
a+b 방식은 단순히 이미지 2개를 더하는 것이다. 255보다 큰 값이 나오면, unit 8에 의해 255를 뺀 값이 저장된다.The a+b method simply adds two images together. If a value greater than 255 is found, the value subtracted by 255 is stored by unit 8.
cv2.add(a, b) 방식은 openCV에서 제공하는 add 메소드로, 255보다 크면 최대값인 255로 지정하는 것이다.The cv2.add(a, b) method is the add method provided by openCV. If it is greater than 255, set it to the maximum value of 255.
이와 마찬가지로 더하기, 곱하기, 나누기도 동일한 방식으로 연산이 된다. 즉, 단순하게 cv2.add나 cv2.substract 등을 사용해서 이미지를 합성하게 되면, 최대값인 255로 값이 몰려서 하얗게 합성 이미지가 변색되는 것을 쉽게 확인할 수 있다.Likewise, addition, multiplication, and division are operated in the same way. That is, when images are simply synthesized using cv2.add or cv2.substract, it is easy to see that the synthesized image is discolored in white because the value is concentrated to the maximum value of 255.
이를 해결하기 위해 알파 블렌딩(Alpha Blending) 방식을 사용한다. 일종의 투명도 같은 역할을 하게 되는데, 합성하려는 이미지들의 총합이 255 아래로 되도록, 더하거나 빼는 연산을 할 때 특정 비율(alpha) 만큼 곱해주는 것이 그 원리이다.To solve this, an alpha blending method is used. It acts like a kind of transparency, and the principle is to multiply by a certain ratio (alpha) when adding or subtracting so that the total of the images to be synthesized is below 255.
제1 이미지(img1)에 대한 비율을 alpha로 놓으면, 제2 이미지(img2)에 대한 비율은 (1-alpha)가 된다. 이런 식으로 영상의 fade in/out 효과를 알파 블렌딩을 통해 부여할 수 있는 것이다.If the ratio of the first image img1 is set to alpha, the ratio of the second image img2 is (1-alpha). In this way, the fade in/out effect of the video can be given through alpha blending.
따라서, 본 발명의 실시예에 따른 2차 화재 데이터 생성 증강부(160)는, 현장 맞춤형 화재 데이터를 OpenCV Alpha Blending 방식을 이용하여 도 6에 도시된 바와 같은 2차 화재 데이터를 생성할 수 있다. 도 6은 본 발명의 실시예에 따른 2차 화재 데이터 생성 증강 학습부에서 영상분석 방식을 이용하여 2차 화재 데이터들을 생성한 예를 나타낸 도면이다.Therefore, the secondary fire data
도 7 및 도 8은 본 발명의 실시예에 따른 현장 환경 영상 학습형 화재 위험 인지 방법을 나타낸 흐름도이다.7 and 8 are flowcharts illustrating a method for recognizing on-site environment image learning-type fire risk according to an embodiment of the present invention.
여기서 설명하는 현장 환경 영상 학습형 화재 위험 인지 방법은 본 발명의 하나의 실시예에 불과하며, 그 이외에 필요에 따라 다양한 단계들이 부가될 수 있고, 하기의 단계들도 순서를 변경하여 실시될 수 있으므로, 본 발명이 하기에 설명하는 각 단계 및 그 순서에 한정되는 것은 아니다. 이는 이하의 다른 실시예에서도 마찬가지로 적용될 수 있다.The field environment image learning type fire risk recognition method described here is only one embodiment of the present invention, and various steps may be added as needed, and the following steps may be performed by changing the order. , The present invention is not limited to the steps and their order described below. This can also be applied to other embodiments below.
도 7 및 도 8을 참조하면, 본 발명의 실시예에 따른 현장 환경 영상 학습형 위험 인지 시스템(100)은, 범용화재 데이터 수집부(110)가 사진 및 동영상을 입력 받아 화재 데이터를 수집한다(S810).7 and 8, in the field environment image learning type risk recognition system 100 according to an embodiment of the present invention, the general fire
이어, 1차 화재 데이터 생성, 증강, 학습부(120 ~ 130)는 화재 데이터 수집부(110)를 통하여 수집된 영상에서 범용 화재 데이터를 분류하고, 분류된 범용 화재 데이터를 증강하고 학습하여 1차 화재 데이터를 생성한다(S820).Subsequently, the primary fire data generation, augmentation, and learning
이때, 1차 화재 데이터 생성, 증강, 학습부(120 ~ 130)는, 범용 화재 데이터를 GAN(Generative Adversarial Networks) 방식을 통하여 화재 데이터를 증강하고 딥러닝 학습하여 1차 화재 데이터를 생성할 수 있다.At this time, the primary fire data generation, augmentation, and learning
이어, CCTV 현장 영상 수집부(150)는 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 획득한다(S830).Subsequently, the CCTV field
이어, 2차 화재 데이터 생성, 증강, 학습부(160 ~ 170)는 CCTV 현장 영상 수집부(150)로부터 획득된 현장 데이터를 활용하여 현장 맞춤형 화재 데이터를 생성하고 학습하여 2차 화재 데이터를 생성한다(S840).Next, the secondary fire data generation, augmentation, and learning
이때, 2차 화재 데이터 생성, 증강, 학습부(160 ~ 170)는, 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 수집하고, 현장에서 가공하여 현장 맞춤형 화재 데이터를 생성하고, 생성된 현장 맞춤형 화재 데이터를 OpenCV 방식을 통하여 증강하고 CNN을 이용하여 딥러닝 학습하여 2차 화재 데이터를 생성할 수 있다.At this time, the secondary fire data generation, augmentation, and learning
또한, 2차 화재 데이터 생성, 증강, 학습부(160 ~ 170)는, 현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 수집하고, 현장에서 가공하여 현장 맞춤형 화재 데이터를 생성하고, 현장 맞춤형 화재 데이터를 학습하고, 학습된 데이터를 기반으로 제1 화재 상황과 제2 화재 상황을 합성시켜 가상의 화재 데이터인 3차 화재 데이터를 생성할 수 있다.In addition, the secondary fire data generation, augmentation, and learning units (160 to 170) collect field data according to the real environment through cameras and CCTVs installed in the field, process it in the field, generate field-customized fire data, and Third fire data, which is virtual fire data, may be generated by learning customized fire data and synthesizing a first fire situation and a second fire situation based on the learned data.
이어, 화재 추론부(140, 180)는 현장 맞춤형 화재 데이터의 딥러닝 학습 결과를 서로 공유하며 1차, 2차 화재 데이터에 근거하여 화재 유무를 판단한다(S850).Subsequently, the
이때, 1차 화재 데이터는 범용적 이미지를 활용한 학습 결과이며, 2차 화재 데이터는 화재 현장의 이미지를 활용한 학습 결과이다. 1차 화재 데이터 생성, 증강, 학습부(120 ~ 130)는 1차 화재 데이터를 생성하여 학습하는 것을 계속 활용하고, 2차 화재 데이터 생성, 증강, 학습부(160 ~ 170)는 2차 화재 데이터를 생성하여 학습하는 것을 일정 시간이 경과하면 계속하여 증강 및 학습을 진행할 수 있다.At this time, the primary fire data is a learning result using a general-purpose image, and the secondary fire data is a learning result using an image of a fire site. The primary fire data generation, augmentation, and learning units (120 to 130) continue to utilize the primary fire data generation and learning, and the secondary fire data generation, augmentation, and learning units (160 to 170) are secondary fire data When a certain time elapses from generating and learning, augmentation and learning can be continued.
이것을 3차 학습이라고 한다. 3차 학습 때는 2차 화재 데이터에 근거하여 불꽃, 연기, 스파크 등을 추가로 데이터 생성, 증강, 학습하는 것을 포함하는 것이다.This is called tertiary learning. The tertiary learning includes generating, augmenting, and learning additional data such as flames, smoke, and sparks based on secondary fire data.
화재 추론부(140, 180)는 범용적 이미지를 활용한 학습 결과 및 현장 맞춤형 화재 데이터의 학습 결과에 따른 추론을 포함한 것이다.The
또한, 2차 화재 추론부(180)는 현장 맞춤형 화재 데이터의 학습 결과에 따른 3차 화재 데이터 생성, 증강, 학습에 근거하여, 일정 시간이 경과되면 자동으로 CCTV 현장영상 수집부(150)로부터 현장 데이터를 수신하고, 현장 영상을 활용한 2차 화재 데이터 생성 및 학습을 실행하되, 현장 설치 CCTV부(110)의 적어도 하나 이상의 카메라 및 CCTV에 대하여 순서에 준하여 실행할 수 있다.In addition, the secondary
또한, 2차 화재 추론부(180)는 2차 화재 데이터 생성, 증강, 학습부(160 ~ 170)가 3차 화재 데이터를 생성하기 전에 중앙 관제 서버(190)로 화재 감시 사실을 통보하며, 3차 화재 데이터의 생성을 진행한 후에는 학습 결과 및 인식률에 대한 결과를 중앙 관제 서버(190)로 송신할 수 있다.In addition, the secondary
그리고, 2차 화재 추론부(180)는 가상의 화재 데이터로 생성된 3차 화재 데이터를 기반으로 화재 상황 감지를 위해 딥러닝 모델을 학습시키며, 학습된 딥러닝 모델을 기반으로 3차 화재 데이터 생성, 증강, 학습부(160 ~ 170)로부터 새로 입력된 3차 화재 데이터에서 화재 상황을 검출하고 화재 유무를 판단할 수 있다.Then, the secondary
그리고, 화재 추론 데이터는 화재DB(200)에 자동으로 학습결과가 저장되며 CCTV 영상 입력 시 화재 유무를 추론할 때 사용한다. 최종 버전이 생성되기 전까지는 항상 마지막 버전으로 화재 유무 판단에 활용한다.And, the fire inference data is automatically stored in the fire DB (200) learning results are used when inferring the existence of a fire when CCTV images are input. Until the final version is created, the last version is always used to determine whether or not there is a fire.
한편, 중앙 관제 서버(190)는 화재 추론부(140, 180)에서 화재로 판단한 부분에 대해서는 화재발생요인 DB부(210)에 데이터를 기록하며 화재 신호에 대해 즉시 관리자 및 소방서로 신고하는 기능을 포함한다. 화재발생 DB부 화재 유무 판단 결과에 따른 오동작 보완, 수정 및 화재 빅데이터 근거자료로 활용된다. On the other hand, the
본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CDROMs and DVDs, and magnetic-optical media such as floptical disks. Included are hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상에서 설명된 단말기나 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시 예들에서 설명된 장치 및 구성 요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The terminal or device described above may be implemented as a hardware component, a software component, and/or a combination of hardware components and software components. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), and a PLU. It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit, microprocessor, or any other device capable of executing and responding to instructions. The processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will understand that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. You can command the device. Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.
전술한 바와 같이 본 발명에 의하면, 화재 오탐율 최소화를 위한 현장 설치용 CCTV를 통해 화재 현장의 영상을 획득하고, 획득한 영상을 활용하여 현장 맞춤형 화재 데이터를 생성해 학습을 통하여 화재 오차를 최소화할 수 있도록 하는, 현장 환경 영상 학습형 위험 인지 시스템 및 그 방법을 실현할 수 있다.As described above, according to the present invention, an image of a fire site is obtained through a CCTV for field installation to minimize false positive fire detection rates, and fire errors can be minimized through learning by generating field-customized fire data using the obtained image. It is possible to realize a field environment video learning type risk recognition system and method.
본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Those skilled in the art to which the present invention pertains should understand that the embodiments described above are illustrative in all respects and not limiting, since the present invention can be embodied in other specific forms without changing the technical spirit or essential characteristics thereof. only do The scope of the present invention is indicated by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. .
100 : 현장 환경 영상 학습형 화재 위험 인지 시스템
110 : 화재 데이터 수집부
120 : 1차 화재 데이터 생성/증강부
130 : 1차 화재 학습부
140 : 1차 화재 추론부
150 : CCTV 현장영상 수집부
160 : 2차 화재 데이터 생성/증강부
170 : 2차 화재 학습부
180 : 2차 화재 추론부
190 : 중앙 관제 서버
200 : 화재 데이터베이스
210 : 화재 발생 요인 데이터베이스100: Field environment image learning type fire risk recognition system
110: fire data collection unit
120: primary fire data generation/augmentation unit
130: primary fire learning unit
140: primary fire reasoning unit
150: CCTV field image collection unit
160: Secondary fire data generation / augmentation unit
170: secondary fire learning unit
180: secondary fire reasoning unit
190: central control server
200: fire database
210: fire factor database
Claims (10)
상기 범용화재 데이터 수집부를 통하여 수집된 영상에서 범용 화재 데이터를 분류하고, 분류된 범용 화재 데이터를 증강하고 학습하여 1차 화재 학습 데이터를 생성하는 1차 화재 데이터 생성 증강부;
상기 1차 화재 데이터 생성 증강부를 통하여 학습된 1차 화재 학습 데이터를 활용하여 딥러닝 한 결과를 도출하는 1차 화재 학습부;
상기 1차 화재 학습부에서 학습된 결과를 활용하여 추론을 진행하는 1차 화재 추론부;
현장에 설치된 카메라 및 CCTV를 통하여 실제 환경에 따른 현장 데이터를 획득하는 CCTV 현장영상 수집부;
상기 CCTV 현장영상 수집부로부터 획득된 현장 데이터를 활용하여 현장 맞춤형 화재 데이터를 생성하고 증강하여, 생성된 현장 맞춤형 화재 데이터를 영상분석 방식을 통하여 증강하고 딥러닝 학습하여 2차 화재 데이터를 생성하는 2차 화재 데이터 생성 증강부;
상기 2차 화재 데이터 생성 증강부를 통하여 생성된 2차 화재 데이터에 대하여 딥러닝 모델을 통한 현장 맞춤형 화재 데이터의 딥러닝 학습 결과를 도출하는 2차 화재 학습부;
상기 2차 화재 학습부에서 학습된 결과를 활용하여 추론을 진행하는 2차 화재 추론부;
상기 2차 화재 학습부에서 학습된 결과와 상기 1차 화재 추론부에서 추론된 결과를 합한 것과 상기 범용화재 데이터 수집부를 통하여 수집된 일반 화재 데이터와 상기 CCTV 현장영상 수집부로부터 획득된 실제 환경에 따른 현장 데이터를 수집한 화재 데이터베이스와 화재발생요인 데이터만을 저장한 화재발생요인 데이터베이스와 대비하여 화재 유무를 추론하고, 유선 또는 무선으로 화재 관련 데이터를 송수신하는 중앙 관제 서버;
화재 대피용 비상 앱이 설치되고, 화재 발생 시 상기 중앙 관제 서버로부터 화재 발생 데이터를 수신하면, 상기 화재 대피용 비상 앱을 통해 현재 위치에서 비상구까지의 최단 경로 및 비상 탈출 경로를 맵(map) 상에 안내하는 사용자 단말기;를 포함하되,
상기 2차 화재 데이터 생성 증강부는 2차 화재 데이터를 생성하고, 상기 2차 화재 추론부에서 현장 맞춤형 화재 데이터의 학습 결과에 따른 2차 화재 데이터에 근거하여 화재 유무를 판단하여, 상기 중앙 관제 서버로 화재 감시 사실을 통보하며, 2차 화재 데이터의 생성 학습 후에도 일정 주기로 현장에 설치된 CCTV 현장영상 수집부로부터 현장 데이터를 수신하여, 현장 영상을 활용한 3차 화재 데이터 생성 및 학습을 실행한 후 학습 결과 및 인식률에 대한 결과를 중앙 관제 서버로 송신하는 것을 특징으로 하는 현장 환경 영상 학습형 위험 인지 시스템.
A general-purpose fire data collection unit for receiving photos and videos and collecting general-purpose fire image data;
A primary fire data generation augmentation unit that classifies general-purpose fire data from the images collected through the general-purpose fire data collection unit, augments and learns the classified general-purpose fire data, and generates primary fire learning data;
A primary fire learning unit that derives a result of deep learning by utilizing the primary fire learning data learned through the primary fire data generation augmentation unit;
A primary fire inference unit that proceeds with inference by using the result learned from the primary fire learning unit;
CCTV field image collection unit for acquiring field data according to the real environment through cameras and CCTVs installed in the field;
By using the field data obtained from the CCTV field image collection unit, field-customized fire data is created and augmented, and the generated field-customized fire data is augmented through an image analysis method and deep learning is used to generate secondary fire data. a car fire data generation augmentation unit;
A secondary fire learning unit for deriving a deep learning learning result of site-customized fire data through a deep learning model with respect to the secondary fire data generated through the secondary fire data generation augmentation unit;
A secondary fire inference unit that proceeds with inference by using the result learned from the secondary fire learning unit;
According to the sum of the results learned from the secondary fire learning unit and the results inferred from the primary fire reasoning unit, the general fire data collected through the general fire data collection unit, and the actual environment obtained from the CCTV field image collection unit. A central control server that infers the existence of a fire by comparing with a fire database collecting field data and a fire occurrence factor database that stores only fire occurrence factor data, and transmits and receives fire-related data by wire or wirelessly;
When an emergency app for fire evacuation is installed and fire occurrence data is received from the central control server in the event of a fire, the shortest route and emergency escape route from the current location to the emergency exit are displayed on a map through the emergency app for fire evacuation. A user terminal that guides to; Including,
The secondary fire data generation augmentation unit generates secondary fire data, and the secondary fire inference unit determines whether or not there is a fire based on the secondary fire data according to the learning result of the site-customized fire data, and transmits the data to the central control server. After notifying the fact of fire monitoring, generating and learning the secondary fire data, receiving field data from the CCTV field image collection unit installed in the field at regular intervals, generating and learning the tertiary fire data using the field video, and learning results And a field environment image learning risk recognition system characterized in that for transmitting the result of the recognition rate to the central control server.
상기 중앙 관제 서버는, 상기 2차 화재 데이터 생성 증강부로부터 상기 2차 화재 데이터를 수신하여 디코딩해 영상 프레임을 생성하고, 상기 영상 프레임으로부터 동(動) 벡터를 추출하되 상기 동 벡터가 추출된 부분의 각 블록을 복수 개로 나눈 후 상기 각 블록을 일정 크기의 도형으로 그룹화하여 동벡터 그룹으로 정의하고, 상기 동벡터 그룹 각각에 대하여 기계학습 알고리즘을 적용하여 실동 벡터(기준 크기보다 큰 벡터) 및 비동 벡터(기준 크기보다 작은 벡터)를 추출하고, 추출된 상기 실동 벡터의 벡터 값이 기준 동 벡터 값 미만이고 상기 비동 벡터의 벡터 값이 상기 기준 동 벡터 값 이상인 경우, 상기 영상 프레임을 분석이 필요로 하지 않은 영상 프레임으로 판별하여 상기 영상 프레임에 대한 분석을 실행하지 않는, 현장 환경 영상 학습형 위험 인지 시스템.
According to claim 1,
The central control server receives and decodes the secondary fire data from the secondary fire data generation and augmentation unit to generate a video frame, extracts a motion vector from the video frame, and extracts a part from which the vector is extracted. After dividing each block into a plurality of pieces, each block is grouped into a figure of a certain size to define a moving vector group, and a machine learning algorithm is applied to each of the moving vector groups to obtain real vectors (vectors larger than the standard size) and non-synchronous vectors. A vector (a vector smaller than a reference size) is extracted, and if the vector value of the extracted real motion vector is less than the reference motion vector value and the vector value of the non-motion vector is greater than or equal to the reference motion vector value, the video frame needs to be analyzed A field environment image learning type risk recognition system that does not perform analysis on the image frame by determining it as an image frame that has not been detected.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210078285A KR102553889B1 (en) | 2021-06-16 | 2021-06-16 | Field environment video learning type risk recognition system, and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210078285A KR102553889B1 (en) | 2021-06-16 | 2021-06-16 | Field environment video learning type risk recognition system, and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220168490A KR20220168490A (en) | 2022-12-23 |
| KR102553889B1 true KR102553889B1 (en) | 2023-07-07 |
Family
ID=84536471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210078285A KR102553889B1 (en) | 2021-06-16 | 2021-06-16 | Field environment video learning type risk recognition system, and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102553889B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101963308B1 (en) * | 2018-11-08 | 2019-03-28 | 한국건설기술연구원 | System for monitoring moving object and incident in image using deep learning under adverse environments and method thereof |
| KR102160591B1 (en) * | 2019-07-24 | 2020-09-28 | 동아대학교 산학협력단 | Fire situation generation system and its optimization method for fire situation detection model |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101822924B1 (en) | 2016-11-28 | 2018-01-31 | 주식회사 비젼인 | Image based system, method, and program for detecting fire |
| KR102158840B1 (en) * | 2019-02-18 | 2020-09-22 | 배재대학교 산학협력단 | Sensing system and method for firre in realtime |
-
2021
- 2021-06-16 KR KR1020210078285A patent/KR102553889B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101963308B1 (en) * | 2018-11-08 | 2019-03-28 | 한국건설기술연구원 | System for monitoring moving object and incident in image using deep learning under adverse environments and method thereof |
| KR102160591B1 (en) * | 2019-07-24 | 2020-09-28 | 동아대학교 산학협력단 | Fire situation generation system and its optimization method for fire situation detection model |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220168490A (en) | 2022-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10678256B2 (en) | Generating occlusion-aware bird eye view representations of complex road scenes | |
| US11106903B1 (en) | Object detection in image data | |
| CN113076809B (en) | Visual transducer-based high-altitude object detection method | |
| JP7448338B2 (en) | A neural network model learning and detection method for flame judgment, and a system and recording medium for performing the same | |
| CN112633231B (en) | Fire disaster identification method and device | |
| JP2020038667A (en) | Method and device for generating image data set for cnn learning for detection of obstacle in autonomous driving circumstances and test method and test device using the same | |
| US10701303B2 (en) | Generating spatial audio using a predictive model | |
| KR20220000491A (en) | Method, apparatus and computer program for providing modularized artificial intelligence model platform service | |
| KR102160591B1 (en) | Fire situation generation system and its optimization method for fire situation detection model | |
| CN112001375B (en) | Flame detection method and device, electronic equipment and storage medium | |
| CN116129330B (en) | Video-based image processing, behavior recognition, segmentation and detection methods and equipment | |
| US20220114380A1 (en) | Real-time cross-spectral object association and depth estimation | |
| US20230081908A1 (en) | Method of training a machine learning algorithm to identify objects or activities in video surveillance data | |
| CN114913663A (en) | Anomaly detection method and device, computer equipment and storage medium | |
| US20200125902A1 (en) | Recognition system using multimodality dataset | |
| JP2019117556A (en) | Information processing apparatus, information processing method and program | |
| Mathur et al. | Identification of Illicit Activities & Scream Detection using Computer Vision & Deep Learning | |
| KR102553889B1 (en) | Field environment video learning type risk recognition system, and method thereof | |
| US20220138978A1 (en) | Two-stage depth estimation machine learning algorithm and spherical warping layer for equi-rectangular projection stereo matching | |
| KR102630183B1 (en) | Generating apparatus and method of image data for fire detection training, and learning apparatus and method using the same | |
| CN116797814A (en) | Intelligent building site safety management system | |
| CN111680674B (en) | Hall personnel monitoring method based on self-integrated attention mechanism | |
| KR20220072499A (en) | Method, apparatus and system for recognizing behavior based on multi-view video | |
| US20230105423A1 (en) | System and method of intruder detection | |
| Patino et al. | A comprehensive maritime benchmark dataset for detection, tracking and threat recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |