KR20220036672A - Control system capable of 3d visualization based on data and the method thereof - Google Patents

Control system capable of 3d visualization based on data and the method thereof Download PDF

Info

Publication number
KR20220036672A
KR20220036672A KR1020200119168A KR20200119168A KR20220036672A KR 20220036672 A KR20220036672 A KR 20220036672A KR 1020200119168 A KR1020200119168 A KR 1020200119168A KR 20200119168 A KR20200119168 A KR 20200119168A KR 20220036672 A KR20220036672 A KR 20220036672A
Authority
KR
South Korea
Prior art keywords
information
data
control
visualization
event
Prior art date
Application number
KR1020200119168A
Other languages
Korean (ko)
Other versions
KR102438433B1 (en
Inventor
김찬중
서창현
조준
Original Assignee
엔씨엔스페이스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔씨엔스페이스(주) filed Critical 엔씨엔스페이스(주)
Priority to KR1020200119168A priority Critical patent/KR102438433B1/en
Publication of KR20220036672A publication Critical patent/KR20220036672A/en
Application granted granted Critical
Publication of KR102438433B1 publication Critical patent/KR102438433B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

The present invention includes a control system capable of performing data-based 3D visualization. The control system comprises: a disaster prevention facility control panel (30) for outputting status information; a sensor having a plurality of sensors; an image monitoring unit (10) having a plurality of cameras; and a control device (40) that analyzes control information including at least one of image data of the image monitoring unit (10), detection data of the sensor unit (20), and state information of the disaster prevention facility control panel (30) to detect and predict the occurrence of events and signs of danger and outputs the result value, wherein the control device (40) processes visual information in which image data and sensing data are fused, and non-visual information in which at least one of a plurality of sensing data and state information of the disaster prevention facility control panel (30) is fused are output after being processed into 3D visual information.

Description

데이터 기반의 3D 시각화가 가능한 관제 시스템 및 방법{CONTROL SYSTEM CAPABLE OF 3D VISUALIZATION BASED ON DATA AND THE METHOD THEREOF}A control system and method capable of data-based 3D visualization

본 발명은 데이터 기반의 3D 시각화가 가능한 관제 시스템 및 방법에 관한 것이다. The present invention relates to a control system and method capable of data-based 3D visualization.

일반적인 관제 시스템의 경우, CCTV 등과 함께 센서를 설치하여 영상과 센서가 감지한 감지 값을 관리자가 확인함으로써, 특정 지역을 전반적으로 감시하고, 화재, 범죄 발생 등의 사고를 방지할 수 있다.In the case of a general control system, by installing a sensor together with CCTV, etc., the administrator can check the image and the detection value detected by the sensor, thereby monitoring a specific area as a whole and preventing accidents such as fire and crime.

이러한 관제 시스템은 일반적으로 수집된 데이터를 관리자가 직접 확인하여야 하는바, 관제 시스템을 확인하는 인력이 항상 상주하고 있어야 한다.In such a control system, the manager must directly check the collected data, so a manpower who checks the control system must always be there.

하지만, 인력이 상주하여 관제 시스템을 실시간으로 확인하더라도 집중력이 항상 유지되는 것은 아니며, 이로 인해 사건 사고는 계속 발생하고 있는 것이 현실이다.However, even if the manpower is resident and the control system is checked in real time, the concentration is not always maintained, and the reality is that accidents continue to occur.

즉, 종래에는 감시 영상 장치와 관제 시스템, 센서와 관제시스템간의 통신 네트워크가 별개로 구축됨에 따라 화재 등 재난상황에 대한 잘못된 상황 판단이 이루어질 수 있다. That is, in the prior art, as a communication network between a monitoring image device and a control system, and a sensor and a control system, is separately constructed, an erroneous situation determination for a disaster situation such as a fire may be made.

따라서 종래에는 센서 네트워크와 감시 영상 네트워크가 별개로 구축되기에 오탐지 가능성이 있으며, 이를 운영하기 위하여 인력을 고용하기 위한 인건비와, 관리 유지를 위한 비용이 추가로 소요되는 문제점이 있었다. Therefore, conventionally, since the sensor network and the surveillance video network are separately constructed, there is a possibility of false detection.

또한, 종래의 관제 시스템은 영상 데이터 및 센서의 감지정보를 기반으로 이벤트를 감지하고, 이를 경보하는 시스템으로 이루어 졌다. In addition, the conventional control system is composed of a system that detects an event based on image data and detection information of the sensor, and alerts it.

이와 같은 종래의 관제 시스템은 영상 데이터 및 센서의 감지정보를 기반으로 시각적 정보인 정보와 비 시각적 정보인 정보로 분류되어 모니터에 출력되었다. 따라서 관제 시스템은 시각적으로 확인 가능한 시각적 정보인 정보를 모니터에 출력하여 즉각적인 확인이 가능하나, 비 시각적 정보인 정보는 눈으로 즉각적인 확인이 되지 않기에 다양한 알고리즘을 통한 분석과 예측치를 통하여 징후를 판단하였다. Such a conventional control system is classified into information that is visual information and information that is non-visual information based on image data and sensor detection information, and is output to the monitor. Therefore, the control system outputs information that is visually verifiable information on the monitor for immediate confirmation, but information that is non-visual information cannot be immediately confirmed by the eye, so the signs were determined through analysis and predictions through various algorithms. .

즉, 종래에는 비 시각적 정보인 정보의 분석을 위하여 다양한 알고리즘등이 필요하며, 현재의 정보를 통하여 미래의 상황에 대한 예측치를 산출하는 것임에 따라 그 오차가 매우 크고, 실질적으로 최종 판단은 사람이 하는 것임에 따라 숙련된 인력이 필요하였다.That is, in the prior art, various algorithms are required for the analysis of information, which is non-visual information, and the error is very large as it is to calculate a predicted value for a future situation through current information, and the final judgment is actually made by a human. This required skilled manpower.

따라서 최근에는 이와 같은 비 시각적 정보인 정보를 직관성있는 관제 정보를 제공할 수 있는 기술을 요구하고 있는 실정이다. Therefore, in recent years, there is a demand for a technology capable of providing intuitive control information for such non-visual information.

대한민국 공개특허공보 제10-2012-0050073호(2012.05.18 공개)Republic of Korea Patent Publication No. 10-2012-0050073 (published on May 18, 2012)

따라서, 본 발명은 이러한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 비가시 정보를 시각화하여 대량의 센싱 정보의 상호 연관성을 바탕으로 직관성 있는 관제정보를 제공할 수 있는 데이터 기반의 3D 시각화가 가능한 관제 시스템 및 방법을 제공함에 있다. Therefore, the present invention has been devised to solve this problem, and an object of the present invention is to visualize invisible information and provide intuitive control information based on the correlation of a large amount of sensing information based on data-based 3D visualization. To provide a possible control system and method.

또한, 본 발명의 다른 목적은 영상 데이터에 센서 데이터가 직관적으로 시각화되어 가시성이 확대될 수 있고, 재난 상황의 정확한 예측과, 상황 전파가 신속하게 이루어질 수 있는 데이터 기반의 3D 시각화가 가능한 관제 시스템 및 방법을 제공함에 있다. In addition, another object of the present invention is a control system capable of data-based 3D visualization in which sensor data is intuitively visualized on image data, visibility can be expanded, accurate prediction of disaster situations, and situation propagation can be made quickly, and to provide a method.

본 발명은 상기와 같은 목적을 달성하기 위하여 하기와 같은 실시예를 포함한다. The present invention includes the following examples to achieve the above object.

본 발명의 실시예는 상태 정보를 출력하는 하나 이상의 방재 설비 제어반과, 복수의 센서를 구비한 센서와, 복수의 카메라를 구비한 영상 감시부 및 영상 감시부의 영상 데이터와 센서부의 감지 데이터 및 방재 설비 제어반의 상태 정보 중 하나 이상이 포함된 관제 정보를 분석하여 이벤트의 발생 여부와 위험 징후를 감지 및 예측하여 결과값을 출력하는 관제 장치를 포함하고, 관제 장치는 영상 데이터와 감지 데이터가 융합된 시각적 정보와, 복수의 감지 데이터와 방재 설비 제어반의 상태 정보 중 적어도 하나가 융합되는 비 시각적 정보를 3D 시각적 정보로 출력하는 데이터 기반의 3D 시각화가 가능한 관제 시스템을 포함한다. An embodiment of the present invention provides at least one disaster prevention facility control panel for outputting status information, a sensor having a plurality of sensors, an image monitoring unit and a video monitoring unit having a plurality of cameras, and detection data of the sensor unit and a disaster prevention facility and a control device that analyzes control information including at least one of the status information of the control panel to detect and predict whether an event has occurred and a danger sign and output a result value, wherein the control device is a visual fusion of image data and detected data. and a control system capable of data-based 3D visualization for outputting non-visual information in which information and at least one of a plurality of detection data and state information of a disaster prevention facility control panel are fused as 3D visual information.

그러므로 본 발명은 복수의 모니터들에 나열되는 시각적 정보 및/또는 비 시각적인 관제 정보를 관제자가 직관할 수 있도록 3D 시각화 정보로 제공함에 따라 데이터 기반의 의사 결정 수단을 제공함에 따라 이벤트 발생 및/또는 위험 징후의 예측시에 정확하고 신속한 대응이 가능한 효과가 있다. Therefore, the present invention provides a data-based decision-making means by providing visual information and/or non-visual control information listed on a plurality of monitors as 3D visualization information so that the controller can intuitively generate an event and/or It has the effect of enabling accurate and rapid response when predicting danger signs.

또한, 본 발명은 복수의 모니터들에 영상의 출력 규칙을 부여할 수 있어 관제 환경에 따른 영상 출력 방식을 임의대로 설정할 수 있어 관제 환경을 개선할 수있는 효과가 있다. In addition, the present invention can provide an image output rule to a plurality of monitors, so that an image output method according to the control environment can be arbitrarily set, thereby improving the control environment.

도 1은 본 발명에 따른 데이터 기반의 3D 시각화가 가능한 관제 시스템의 구성을 나타낸 도면이다.
도 2는 센서부를 도시한 블럭도이다.
도 3은 진단 처리부를 도시한 블럭도이다.
도 4는 본 발명에 따른 데이터 기반의 3D 시각화가 가능한 관제 방법을 도시한 순서도 이다.
도 5는 비 시각적 정보의 3D 시각화의 예를 도시한 도면이다.
도 6은 시각적 정보와 비 시각적 정보의 시각화의 예를 도시한 도면이다.
도 7은 관제 정보의 플레이백(Playback) 영상의 일예를 도시한 도면이다.
1 is a diagram showing the configuration of a control system capable of data-based 3D visualization according to the present invention.
2 is a block diagram illustrating a sensor unit.
3 is a block diagram illustrating a diagnostic processing unit.
4 is a flowchart illustrating a data-based 3D visualization possible control method according to the present invention.
5 is a diagram illustrating an example of 3D visualization of non-visual information.
6 is a diagram illustrating an example of visualization of visual information and non-visual information.
7 is a diagram illustrating an example of a playback image of control information.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 사용자의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms or words used in the present specification and claims are not to be construed as limited in their ordinary or dictionary meanings, and on the principle that the inventor can appropriately define the concept of the term in order to best describe the user's invention. It should be interpreted as meaning and concept consistent with the technical idea of the present invention.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “…부”, “…기”, “…단”, “모듈”, “장치” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 및/또는 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated. In addition, the “… wealth", "… energy", "… However, terms such as “module”, “device” and the like mean a unit that processes at least one function or operation, which may be implemented as a combination of hardware and/or software.

이하, 본 발명의 실시 예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 데이터 기반의 3D 시각화가 가능한 관제 시스템의 구성을 나타낸 도면, 도 2는 센서부를 도시한 블럭도이다. 1 is a diagram showing the configuration of a control system capable of data-based 3D visualization according to the present invention, and FIG. 2 is a block diagram illustrating a sensor unit.

도 1 및 도 2를 참조하면, 본 발명은 복수의 센서를 구비하는 센서부(20)와, 영상 데이터를 출력하는 영상 감시부(10)와, 센서부(20) 및 영상 감시부(10)의 정보를 분석하여 이벤트 감지 및 위험 징후를 예측하는 관제 장치(40)와, 관제 장치(40)의 경보를 수신하는 모바일 단말(50)을 포함할 수 있다. 1 and 2 , the present invention provides a sensor unit 20 including a plurality of sensors, an image monitoring unit 10 outputting image data, a sensor unit 20 and an image monitoring unit 10 . It may include a control device 40 for detecting an event and predicting a danger sign by analyzing the information, and a mobile terminal 50 for receiving an alert from the control device 40 .

모바일 단말(50)은 관제 장치(40)로부터 이벤트 정보, 위험 징후 및/또는 예측값을 수신할 수 있다. The mobile terminal 50 may receive event information, a danger sign, and/or a predicted value from the control device 40 .

영상 감시부(10)는 유선 또는 무선으로 영상 데이터를 송신하는 복수의 카메라(예를 들면, CCTV, 화상 카메라, IR 카메라)를 포함할 수 있다. The image monitoring unit 10 may include a plurality of cameras (eg, CCTV, video camera, IR camera) for transmitting image data by wire or wirelessly.

여기서 영상 감시부(10)는 복 수개의 카메라 중 적어도 1 이상의 카메라를 하나의 그룹으로 설정하고, 그룹별로 채널을 설정하여 채널별로 해당 그룹에 속한 영상 데이터를 관제 장치(40)에 송신할 수 있다. Here, the video monitoring unit 10 may set at least one or more cameras among the plurality of cameras as a group, set a channel for each group, and transmit image data belonging to the group to the control device 40 for each channel. .

센서부(20)는 이기종의 센서들로서, 예를 들면, 사운드 센서, 조도센서, 인체감지센서, 온습도센서, 초음파센서, 근접센서, 불꽃센서, 가스센서 및 레이더 센서 중 적어도 하나 이상을 포함한다. The sensor unit 20 includes heterogeneous sensors, for example, at least one of a sound sensor, an illuminance sensor, a human body detection sensor, a temperature and humidity sensor, an ultrasonic sensor, a proximity sensor, a flame sensor, a gas sensor, and a radar sensor.

여기서 각각의 센서들은 카메라에 내장되는 고정형 센서, USB가 구비되어 착탈 가능한 USB형 센서, 유선 또는 무선으로 통신 가능한 통신형 센서로서 카메라에 내장 또는 독립 형으로 구성될 수 있다. Here, each of the sensors is a fixed sensor built into the camera, a USB type sensor that is detachable with USB, and a communication type sensor that can communicate by wire or wirelessly, and may be built-in or stand-alone in the camera.

방재 설비 제어반(30)은 영상 감시부(10) 및/또는 관제 장치(40)와 유/무선으로 통신연결되어 작동 명령을 출력하거나, 방재 시설(예를 들면, 가스경보기, 화재경보기, 방화문, 소화전, 재난물자 보관함, 응급 의료 장치)의 동작 상태를 정보를 출력한다. The disaster prevention facility control panel 30 is connected to the video monitoring unit 10 and/or the control device 40 by wire/wireless communication to output an operation command, or a disaster prevention facility (eg, a gas alarm, a fire alarm, a fire door, It outputs information on the operation status of fire hydrants, disaster storage boxes, emergency medical devices).

관제 장치(40)는 영상 감시부(10) 및 센서부(20)의 감지 데이터(예를 들면, 영상 데이터어, AI 메타 데이터, IoT 센서 데이터)와 방재 설비 제어반(30)의 상태 정보를 수집 및 분석하여 상호 연관성과, 상태, 임계치를 딥 러닝 엔진(Deep Learning Engine)을 이용하여 분석 처리하고, 비 시각적 정보를 3D 시각화 정보로 가공하여 재난 상황과 위험 상황 발생시 데이터 기반의 의사 결정을 가능하게 한다. 여기서 관제 장치(40)는 모바일 단말(50)에 이벤트 발생 및 위험 징후의 결과값을 송신할 수 있다. The control device 40 collects detection data (eg, image data word, AI metadata, IoT sensor data) of the image monitoring unit 10 and the sensor unit 20 and state information of the disaster prevention facility control panel 30 . and analysis, correlation, state, and threshold values are analyzed and processed using a deep learning engine, and non-visual information is processed into 3D visualization information to enable data-based decision-making when disaster situations and dangerous situations occur. do. Here, the control device 40 may transmit the result value of the occurrence of the event and the danger sign to the mobile terminal 50 .

이를 위하여 관제 장치(40)는 센서부(20) 및 영상 감시부(10)에서 데이터를 수집하는 데이터 분석부(410)와, 수집된 정보를 저장하는 DB(420)와, DB(420)에 저장된 정보를 가공 및 분석하여 3D 시각화 정보로 제공하는 진단 처리부(430)와, 진단 처리부(430)에서 변환 및 영상 처리된 정보를 출력하는 디스플레이부(440)를 포함할 수 있다. To this end, the control device 40 includes a data analysis unit 410 that collects data from the sensor unit 20 and the image monitoring unit 10 , a DB 420 that stores the collected information, and a DB 420 . It may include a diagnostic processing unit 430 that processes and analyzes the stored information to provide it as 3D visualization information, and a display unit 440 that outputs the information converted and image-processed by the diagnostic processing unit 430 .

데이터 분석부(410)는 영상 감시부(10)에서 촬영된 영상 데이터와 센서부(20)의 감지 데이터와 방재 설비 제어반(30)의 상태 정보를 수집하여 DB(420)에 분류 및 저장하고, 설정된 기준값을 근거하여 데이터를 분석하여 이벤트를 감지한다. The data analysis unit 410 collects the image data captured by the image monitoring unit 10, the detection data of the sensor unit 20, and the state information of the disaster prevention facility control panel 30, classifies and stores it in the DB 420, Based on the set reference value, the data is analyzed to detect the event.

여기서 데이터 분석부(410)는 사용자 선택에 따라서 대상을 선택적으로 감지(예를 들면, 사람, 자동차, 가방, 대차, 등) 하고, 특정 행위 및 특정 현상에 감지 설정으로 특정 이벤트(예를 들면, 무단 횡단, 군집, 배회, 사람/사물 감지, 경로/월담/ 침입 등)를 감지할 수 있다. Here, the data analysis unit 410 selectively detects an object according to a user selection (eg, a person, a car, a bag, a bogie, etc.), and sets a specific event (eg, trespassing, swarming, roaming, person/object detection, path/moondam/intrusion, etc.) can be detected.

DB(420)는 데이터 분석부(410)에서 수집된 정보와, 이전 이벤트 및/또는 위험 징후 예측 정보가 포함된 관제 정보를 설정된 분류 조건에 따라 분류 및 저장한다. 아울러 DB(420)는 영상 감시부(10)의 영상 데이터와 센서부(20)의 감시 데이터와, 그 외 정보(예를 들면, 범죄자의 행동패턴, 날씨, 온도, 출입 기록, 모바일 단말(50) 정보)가 저장될 수 있다. DB 420 classifies and stores the information collected by the data analysis unit 410 and control information including previous event and/or risk symptom prediction information according to a set classification condition. In addition, the DB 420 includes the video data of the video monitoring unit 10, the monitoring data of the sensor unit 20, and other information (eg, criminal behavior patterns, weather, temperature, access records, mobile terminal 50). ) information) can be stored.

디스플레이부(440)는 하나 또는 그 이상의 모니터로서 하나 또는 그 이상의 화면을 상호 공유하거나 분할하여 출력한다. 이와 같은 모니터들의 화면 출력은 모니터의 배열에 따른 정보 출력의 규칙이 부여된 것으로서 상황별 운영 시나리오에 의해 정의된다. The display unit 440 is one or more monitors, and one or more screens are shared or divided and output. The screen output of such monitors is defined by the operation scenario for each situation as a rule of information output according to the arrangement of the monitors is given.

진단 처리부(430)는 수집된 관제 정보와, 이벤트 감지 정보와, 위험징후 감지 및 예측값을 3D 시각적 정보로 변환하여 출력한다. 이때 3D 시각적 정보는 영상 데이터 및/또는 센서 데이터가 융합된 시각적 정보와, 복수의 센서부(20) 감지 데이터 및 DB(420)의 저장 정보가 융합되어 영상 데이터로 제공되지 않는 비 시각적 정보를 기반으로 생성될 수 있다. 이와 같은 진단 처리부(430)의 상세 구성은 도 3을 참조하여 설명한다. The diagnosis processing unit 430 converts the collected control information, event detection information, and danger sign detection and prediction values into 3D visual information and outputs the converted information. At this time, the 3D visual information is based on non-visual information that is not provided as image data because image data and/or sensor data are fused with visual information, the plurality of sensor units 20 sensed data, and stored information of the DB 420 are fused. can be created with The detailed configuration of the diagnostic processing unit 430 will be described with reference to FIG. 3 .

도 3은 진단 처리부를 도시한 블럭도이다. 3 is a block diagram illustrating a diagnostic processing unit.

도 3을 참조하면, 진단 처리부(430)는 3D 시각적 정보를 생성하는 시각화 모듈(431)과, 위험 징후를 예측하는 예측 모듈(432)과, 디스플레이 시나리오를 구축 및 운영하는 모니터링 커스텀 모듈(433)과, 관제 정보를 상호 연동하여 특징을 특정하는 플레이백 모듈(434)과, 영상 데이터를 축약하여 전송하는 영상 처리 모듈(435)을 포함한다. Referring to FIG. 3 , the diagnostic processing unit 430 includes a visualization module 431 for generating 3D visual information, a prediction module 432 for predicting danger signs, and a monitoring custom module 433 for building and operating a display scenario. and a playback module 434 for specifying characteristics by interworking with control information, and an image processing module 435 for condensing and transmitting image data.

시각화 모듈(431)은 대량의 관제 정보(영상 데이터 및 센서의 감지 데이터와, 바재 설비 제어반(30)의 상태 정보 중 하나 이상)를 분석하여 시각적 정보와 비 시각적 정보(예를 들면, 영상 데이터가 포함되지 않은 정보)를 3D 시각적 정보로 가공 및 생성하여 디스플레이부(440)로 출력한다. 여기서 3D 시각화 정보는 관제 정보와, 데이터 분석부(410)의 이벤트 감지 정보와, 예측 모듈(432)의 위험 징후 감지 및 예측값을 포함할 수 있다. 이와 같은 시각화 모듈(431)은 도 5 및 도 6을 통하여 설명한다. The visualization module 431 analyzes a large amount of control information (at least one of image data, sensor detection data, and state information of the bar material control panel 30) to analyze visual information and non-visual information (for example, image data information not included) is processed and generated into 3D visual information and output to the display unit 440 . Here, the 3D visualization information may include control information, event detection information of the data analysis unit 410 , and risk symptom detection and prediction values of the prediction module 432 . Such a visualization module 431 will be described with reference to FIGS. 5 and 6 .

도 5는 비 시각적 정보의 3D 시각화의 일예를 소개하였고, 도 6은 시각적 정보의 3D 시각화의 예를 도시한 도면이다.FIG. 5 introduces an example of 3D visualization of non-visual information, and FIG. 6 is a diagram illustrating an example of 3D visualization of visual information.

먼저, 도 5를 참조하면, 시각화 모듈(431)은, 예를 들면, 가스 누출, 과열과 같이 시각적으로 보이지 않는 상황을 3D로 시각화하는 것을 특징으로 한다. 시각화 모듈(431)은 가스와 온도의 감지 데이터 외에 레이더 센서 및/또는 인체 감지 센서와, DB(420)에 저장된 출입 기록과, 방재 설비 제어반(30)의 동작 정보, 해당 영역을 포함하는 전자맵과 같은 복수의 정보를 융합하여 화재가 발생 된 위치의 공간을 3D로 구현하고, 화재 지역 내에 설치된 센서들의 감지 데이터를 이용하여 인원수와, 사람의 움직임 등을 3D 공간에 표현 한다.First, referring to FIG. 5 , the visualization module 431 is characterized by visualizing a situation that is not visually visible, such as gas leakage or overheating, in 3D. The visualization module 431 includes, in addition to gas and temperature detection data, a radar sensor and/or a human body detection sensor, an access record stored in the DB 420 , operation information of the disaster prevention facility control panel 30 , and an electronic map including a corresponding area. By converging a plurality of information such as the following, the space of the location where the fire occurred is realized in 3D, and the number of people and the movement of people are expressed in 3D space using the detection data of the sensors installed in the fire area.

예를 들면, 도 5에 도시된 바와 같이, 시각화 모듈(431)은 데이터 분석부(410)의 이벤 트 감지 정보에 따라 화재 등의 이벤트가 발생된 공간 또는 동작 중인 방재 설비 제어반(30)(예를 들면, 경보기, 방화문, 소화장치, 송풍장치, 응급 의료 장치, 재난 장비 보관함)이 설치된 공간을 3D로 구현하고, 레이더 센서 및 인체 감지 센서의 감지신호를 융합하여 3D 영상 내에서 사람의 숫자나, 움직임 및 위치를 표현할 수 있다. For example, as shown in FIG. 5 , the visualization module 431 is a space in which an event such as a fire occurred or a disaster prevention facility control panel 30 in operation according to the event detection information of the data analysis unit 410 (eg For example, the space where the alarm, fire door, fire extinguisher, blower, emergency medical device, and disaster equipment storage) is installed is realized in 3D, and the detection signals of the radar sensor and the human body detection sensor are fused to determine the number of people in the 3D image. , movement and position.

또한, 시각화 모듈(431)은 설정된 임계값과 비 시각적 정보의 변화를 비교하여 이벤트를 발생(감지) 및 경보 함도 가능하다. In addition, the visualization module 431 may generate (detect) an event by comparing a set threshold value and a change in non-visual information and alarm.

즉, 시각화 모듈(431)은 이종의 센서들 및 방재 설비 제어반(30)의 상태 정보와, 시스템의 상태 정보와 같이 복수의 비 시각적 데이터를 기반으로 3D 시각적 정보를 가공 할 수 있다. That is, the visualization module 431 may process 3D visual information based on a plurality of non-visual data such as state information of different types of sensors and the disaster prevention facility control panel 30 and state information of a system.

그러므로 본 발명은 종래와 같이 센서의 감지 데이터와 같이 비 시각적 정보가 모니터들에 나열되는 방식으로 출력되어 관제자가 직관적으로 수용하기에 버거운 상황을 해소할 수 있다. 즉, 본 발명은 위와 같이 비 시각적 정보를 복수의 센서들 및 방재 설비 제어반(30)의 상태 정보들로 이루어진 물리적인 정보와, 감지 데이터 및 DB(420)의 저장 정보를 기반으로 생성된 가상 정보를 3D 공간 데이터로 활용하여 해당 이벤트를 3D로 시각화하여 영상으로 확인되지 않은 영역의 현재 상황을 직관할 수 있도록 하였다. Therefore, the present invention can solve a situation that is difficult for a controller to intuitively accept by outputting non-visual information such as sensor data in a way that is listed on the monitors as in the prior art. That is, according to the present invention, as described above, non-visual information is generated based on physical information including state information of a plurality of sensors and the disaster prevention facility control panel 30 , detection data, and storage information of the DB 420 . was used as 3D spatial data to visualize the event in 3D so that the current situation of the area not confirmed by the image could be intuited.

또한, 시각화 모듈(431)은 시각적 정보와, 비 시각적 정보를 융합하여 디스플레이부(440)에 출력함도 가능하다. 여기서 시각적 정보는 영상 데이터, 영상 데이터와 감시 데이터가 융합된 데이터, 영상 데이터와 감시 데이터 및 상태 정보가 융합된 데이터 중 어느 하나에 해당된다. In addition, the visualization module 431 may fuse the visual information and the non-visual information to output them on the display unit 440 . Here, the visual information corresponds to any one of image data, data in which image data and monitoring data are fused, and data in which image data, monitoring data, and state information are fused.

비 시각적 정보는 하나 또는 그 이상의 감지 데이터, 하나 또는 그 이상의 감지 데이터와 상태 정보가 융합된 데이터, 하나 또는 그이 상의 감지 데이터와 상태 정보 및 DB(420)에 저장된 데이터 중 어느 하나에 해당된다. 여기서 DB에 저장된 데이터는 현장의 전자 맵과, 이전 관제 정보와 이벤트 정보 및 위험 징후 정보, 외부 환경 정보, 포털 사이트로부터 다운로드된 정보 중 적어도 하나를 포함할 수 있다. The non-visual information corresponds to any one of one or more sensed data, data in which one or more sensed data and state information are fused, one or more sensed data and state information, and data stored in the DB 420 . Here, the data stored in the DB may include at least one of an electronic map of the field, previous control information, event information and danger sign information, external environment information, and information downloaded from a portal site.

이는 도 6에 그 일예가 소개되었다. An example of this is introduced in FIG. 6 .

도 6은 시각적 정보의 시각화의 예를 도시한 도면이다. 6 is a diagram illustrating an example of visualization of visual information.

도 6을 참조하면, 시각화 모듈(431)은 영상 감시부(10)의 영상 데이터와, 센서부(20)의 감지 데이터를 융합하여 촬영된 영상에 센서 데이터를 표출시킬 수 있다. 이때, 시각화 모듈(431)은 센서 데이터를 영상 데이터에 표출하되, 센서가 배치된 공간 정보와 관련 데이터를 3D 시각화 형태로 표시한다. Referring to FIG. 6 , the visualization module 431 may fuse the image data of the image monitoring unit 10 and the sensing data of the sensor unit 20 to display the sensor data in the captured image. At this time, the visualization module 431 displays the sensor data in the image data, but displays spatial information in which the sensor is disposed and related data in a 3D visualization form.

예를 들면, 시각화 모듈(431)은 도 6에 도시된 바와 같이, 가스 탐지의 경우에 누설된 가스의 진행 방향과, 예측된 추가 사고, 누설 근거와 같은 정보를 해당 영상에 3D로 표시함에 따라 관제자가 직관할 수 있는 3D 시각화 정보를 생성한다. For example, as shown in FIG. 6 , the visualization module 431 displays information such as the progress direction of the leaked gas in the case of gas detection, the predicted additional accident, and the reason for the leak in 3D on the image as shown in FIG. It creates 3D visualization information that the controller can intuit.

예측 모듈(432)은 영상 감시부(10)의 영상 데이터 및/또는 센서부(20)의 감지 데이터를 이용하여 사건 및 사고를 예측하여 경고 및 위험 상황을 경보할 수 있다. 구체적으로 설명하자면, 예측 모듈(432)은 딥 러닝(Deep Learning) 기반의 엔진으로서 센서들의 메타 데이터와 DB(420)에 저장된 이전 이벤트 정보를 학습하여 이벤트가 발생하기 전 데이터를 기준으로 설정한다. 그리고 예측 모듈(432)은 현재의 관제 정보를 기준으로 설정된 데이터와 설정된 범위에 해당 되면 경보를 발령할 수 있다.The prediction module 432 may use the image data of the image monitoring unit 10 and/or the detection data of the sensor unit 20 to predict events and accidents to alert warnings and dangerous situations. To be more specific, the prediction module 432 is a deep learning-based engine that learns metadata of sensors and previous event information stored in the DB 420 and sets the data as a reference before an event occurs. In addition, the prediction module 432 may issue an alarm when it corresponds to data set based on the current control information and a set range.

또한, 예측 모듈(432)은 과거 감지 데이터의 패턴 및 사람의 행동 패턴을 분석하여 위험 징후를 예측할 수 있다. 즉, 예측 모듈(432)은, 예를 들면, 유해 물질 관로의 이상 영상 및 센싱 온도 값의 이상 패턴을 감지하여 관로 파손 전, 디스플레이부(440) 또는 모바일 단말(50)로 경보를 발령할 수 있다. 또는, 예측 모듈(432)은 영상 내 거동이 수상한 자 발견 시 침입자의 행동 패턴을 분석하여 위험도를 판정하고, 디스플레이부(440) 또는 모바일 단말(50)에 경보를 발령할 수 있다. In addition, the prediction module 432 may predict a danger sign by analyzing a pattern of the past sensed data and a human behavior pattern. That is, the prediction module 432 may, for example, detect an abnormal image of a hazardous substance pipeline and an abnormal pattern of a sensing temperature value to issue an alert to the display unit 440 or the mobile terminal 50 before the pipeline is damaged. there is. Alternatively, the prediction module 432 may analyze an intruder's behavior pattern when a suspicious person is found in the image to determine the degree of risk, and may issue an alert to the display unit 440 or the mobile terminal 50 .

모니터링 커스텀 모듈(433)은 복수의 모니터에서 출력되는 영상 데이터 및/또는 감지 데이터가 포함된 복수의 정보들을 모니터들의 배열에 따라 규칙을 부여하여 출력되는 상황별 정보들을 출력하는 모니터(서로 다른 정보를 출력하는 모니터 또는 동일 정보를 출력하는 복수의 모니터) 및 출력 방식(화면의 공유 또는 분할)을 특정하는 상황별 운영 시나리오에 따라 복수의 모니터들을 제어하여 영상을 출력하도록 제어한다. The monitoring custom module 433 provides a rule for a plurality of pieces of information including image data and/or sensed data output from a plurality of monitors according to the arrangement of the monitors, and a monitor that outputs information for each situation (different information A plurality of monitors are controlled to output an image according to an operation scenario for each situation specifying a monitor to output or a plurality of monitors to output the same information) and an output method (sharing or division of a screen).

상황별 운영 시나리오는, 예를 들면, 복수의 모니터 중에서 화재 상황이 발생할 경우에 영상 정보를 출력하는 모니터들을 특정하여 화면의 공유, 화면의 분할 및/또는 정보의 전달 가능하거나, 화재 상황 발생 중에 가스 누설, 침입자 탐지 등에 관한 정보를 출력하도록 특정할 수 있다. 이때, 상황 별 운영 시나로이는 하나의 모니터에 하나의 정보를 출력하게 설정되거나, 하나 이상의 모니터들이 통합되어 하나의 정보를 출력하도록 설정될 수 있다. The operation scenario for each situation may include, for example, screen sharing, screen division, and/or information transfer by specifying monitors that output image information when a fire situation occurs among a plurality of monitors, or gas during a fire situation. It can be specified to output information about leaks, intruder detection, and the like. In this case, the operation scenario for each situation may be set to output one piece of information to one monitor, or one or more monitors may be integrated to output one piece of information.

즉, 본 발명은 관제 환경의 모니터 구축이 각 관제 환경마다 상이하며, 자리 변경 및 인원 재배치로 인한 관제 환경의 변경과, 관제자의 특성에 따라 주요한 관제 정보가 다른 환경을 보완할 수 있도록 모니터링 커스텀 모듈(433)을 제공하는 것을 특징으로 한다. That is, according to the present invention, the monitor construction of the control environment is different for each control environment, and the change of the control environment due to seat change and personnel relocation and the monitoring custom module so that the main control information can supplement the environment that is different according to the characteristics of the controller (433) is characterized in that it provides.

플레이백 모듈(434)은 관제 정보(예를 들면, 영상 데이터 및 센서의 감지 데이터)를 상호 연동하여 특징을 특정하고, 특정된 관제 정보와 연관된 과거 관제 정보를 검색하여 디스플레이부(440)에 출력할 수 있다. 이와 같은 플레이백 모듈(434)의 실예는 도 7을 참조하여 설명한다. The playback module 434 specifies characteristics by interworking control information (eg, image data and sensor detection data), searches for past control information related to the specified control information, and outputs it to the display unit 440 . can do. An example of such a playback module 434 will be described with reference to FIG. 7 .

도 7은 관제 정보의 플레이백(Playback) 영상의 일예를 도시한 도면이다. 7 is a diagram illustrating an example of a playback image of control information.

도 7을 참조하면, 플레이백 모듈(434)은 영상 감시부(10) 및 센서부(20)의 데이터를 상호 연동하여 현재 감지된 관제 정보의 특징을 특정한다. 관제 정보의 특징은, 예를 들면, 특정 영역(공간) 내의 영상 정보와, 해당 영역(공간)의 센서부(20)의 감지 데이터(예를 들면, 온도, 가스, 조도, 습도, 인체감지 여부, 불꽃, 연기, 진동) 중 적어도 하나이다. Referring to FIG. 7 , the playback module 434 specifies the characteristics of the currently sensed control information by interworking the data of the image monitoring unit 10 and the sensor unit 20 . The characteristics of the control information include, for example, image information within a specific area (space) and detection data (eg, temperature, gas, illuminance, humidity, human body detection) of the sensor unit 20 of the corresponding area (space). , flame, smoke, vibration).

플레이백 모듈(434)은 위와 같은 관제 정보의 감지 데이터 중 어느 하나 또는 그 이상을 특정된 특징과 연계되는 과거의 이벤트, 시간, 상황별 데이터를 검색하여, 도 7에 도시된 바와 같이, 디스플레이부(440)에 출력할 수 있다. The playback module 434 searches for any one or more of the detection data of the control information as described above for past event, time, and situational data associated with the specified feature, and as shown in FIG. 7 , the display unit It can output to (440).

또한, 플레이백 모듈(434)은 영상 감시부(10)의 채널별 영상을 날짜와 시간으로 검색 가능하고, 이벤트별 특징을 썸네일(Thumbnail)로 가공 및 제공하여 영상의 변화되는 모습을 빠르게 검색할 수 있도록 한다. In addition, the playback module 434 can search the video for each channel of the video monitoring unit 10 by date and time, and process and provide the features for each event as a thumbnail to quickly search for changes in the video. make it possible

또한, 플레이백 모듈(434)은 검색 시간대별 스냅샷(Snapshot)을 생성하여 관제자가 원하는 장면을 빠르게 검색 할 수 있는 기능을 제공한다.In addition, the playback module 434 provides a function that allows the controller to quickly search for a desired scene by generating snapshots for each search time period.

즉, 플레이백 모듈(434)은 관제 정보의 이벤트별, 시간별, 상황별로 과거의 정보를 디스플레이부(440)에 출력할 수 있고, 검색시간의 단축을 위하여 썸네일(Thumbnail) 및 스냅샷(Snapshot)을 제공할 수 있다. That is, the playback module 434 may output past information of the control information for each event, time, and situation to the display unit 440 , and to shorten the search time, use thumbnails and snapshots. can provide

영상 처리 모듈(435)은 자동 해상도 조절 기술 및 압축 기술을 적용하여, 예를 들면, 10Mbps 수준의 대역으로 축약하고, 실시간 영상 정보와 녹화 모드를 분리하여 스트리밍 하는 것을 특징으로 한다. 그러므로 영상처리 모듈은 영상 감시부(10)에서 촬영된 영상을 축약하여 전송할 수 있어 네트워크 부하를 최소화할 수 있고, 화면 버퍼링이나 영상 찌그러짐 등의 영상 훼손을 방지할 수 있다. The image processing module 435 applies automatic resolution control technology and compression technology, for example, reduces the bandwidth to a level of 10 Mbps, and separates real-time image information and recording mode for streaming. Therefore, the image processing module can reduce and transmit the image captured by the image monitoring unit 10 , thereby minimizing network load, and preventing image damage such as screen buffering or image distortion.

본 발명은 상기와 같은 구성을 포함하며, 이하에서는 본 발명에 따른 데이터 기반의 3D 시각화가 가능한 관제 방법을 설명한다.The present invention includes the configuration as described above, and a control method capable of data-based 3D visualization according to the present invention will be described below.

도 4는 본 발명에 따른 데이터 기반의 3D 시각화가 가능한 관제 방법을 도시한 순서도이다. 4 is a flowchart illustrating a data-based 3D visualization possible control method according to the present invention.

도 4를 참조하면, 본 발명은 데이터를 수집하는 S100 단계와, 수집된 데이터를 분석하여 이벤트 및/또는 위험 징후를 예측하여 그 결과를 3D 시각화 정보로 출력하는 S200 단계와, 설정된 상황별 운영 시나리오에 따라서 관제 정보를 출력하는 S300 단계를 포함한다. Referring to FIG. 4 , the present invention includes a step S100 of collecting data, a step S200 of analyzing the collected data to predict an event and/or risk sign and outputting the result as 3D visualization information, and a set operation scenario for each situation according to the step S300 of outputting the control information.

S100 단계는 영상 감시부(10) 및 센서부(20)로부터 데이터를 수집하여 DB(420)에 저장하는 단계이다. 여기서 DB(420)는 수집된 데이터를 설정된 항목별로 분류하여 저장한다. Step S100 is a step of collecting data from the image monitoring unit 10 and the sensor unit 20 and storing the data in the DB 420 . Here, the DB 420 classifies and stores the collected data for each set item.

S200 단계는 수집된 데이터를 3D 시각화 정보로 가공하되, 수집된 데이터를 분석하여 위험 징후 및/또는 이벤트 발생여부를 감지하는 단계이다. Step S200 is a step of processing the collected data into 3D visualization information, and analyzing the collected data to detect whether a danger sign and/or event has occurred.

이를 위하여 S200 단계는 수집된 데이터를 분석하여 이벤트를 감지하는 S210 단계와, 수집된 데이터를 분석하여 위험징후의 감지 및/또는 예측값을 출력하는 S220 단계와, 수집된 데이터와 이벤트 및/또는 위험징후의 감지 및 예측값 중에서 시각적 정보를 3D 시각화 정보로 가공하여 출력하는 S230 단계와, 비 시각적 정보를 3D 시각화 정보로 가공하여 출력하는 S240 단계를 포함한다. To this end, step S200 includes a step S210 of detecting an event by analyzing the collected data, a step S220 of analyzing the collected data and outputting a detection and/or prediction value of a danger sign, and the collected data and an event and/or a danger sign It includes a step S230 of processing and outputting visual information as 3D visualization information among the detection and prediction values of , and a step S240 of processing and outputting non-visual information into 3D visualization information.

S210 단계는 데이터 분석부(410) 또는 예측 모듈(432)에서 DB(420)에 저장된 영상 데이터 및/또는 센서부(20)의 감지 데이터와, 방재 설비 제어반(30)의 상태 정보를 분석하여 설정된 임계값에 해당되는 이벤트 발생 여부를 감지하는 단계이다. Step S210 is set by analyzing the image data stored in the DB 420 and/or the detection data of the sensor unit 20 and the state information of the disaster prevention facility control panel 30 in the data analysis unit 410 or the prediction module 432 . It is a step of detecting whether an event corresponding to a threshold has occurred.

여기서 데이터 분석부(410)는 사용자 선택에 따라서 대상을 선택적으로 감지(예를 들면, 사람, 자동차, 가방, 대차, 등) 하고, 특정 행위 및 특정 현상에 감지 설정으로 특정 이벤트(예를 들면, 무단 횡단, 군집, 배회, 사람/사물 감지, 경로/월담/ 침입 등)를 감지할 수 있다. Here, the data analysis unit 410 selectively detects an object according to a user selection (eg, a person, a car, a bag, a bogie, etc.), and sets a specific event (eg, trespassing, swarming, roaming, person/object detection, path/moondam/intrusion, etc.) can be detected.

S220 단계는 예측 모듈(432)에서 DB(420)에 저장된 영상 데이터 및/또는 센서부(20)의 감지 데이터를 분석하여 위험징후를 감지 및 예측하는 단계이다. 여기서 예측 모듈(432)은 영상 데이터와 감지 데이터를 상호 연동하여 특징점을 추출하여 위험 징후를 감지 또는 예측한다. Step S220 is a step in which the prediction module 432 analyzes the image data stored in the DB 420 and/or the detected data of the sensor unit 20 to detect and predict a danger sign. Here, the prediction module 432 detects or predicts a danger sign by extracting feature points by interworking the image data and the sensed data.

이때, 예측 모듈(432)은 과거 이벤트 정보와, 과거 감지 데이터의 패턴 및 사람의 행동 패턴을 분석하여 특징점의 임계값(기준값)을 설정하여 위험 징후를 예측할 수 있다. In this case, the prediction module 432 may predict a danger sign by setting a threshold value (reference value) of a feature point by analyzing past event information, patterns of past sensed data, and human behavior patterns.

즉, 예측 모듈(432)은 딥 러닝(Deep Learning) 기반의 엔진으로서 센서들의 메타 데이터와 DB(420)에 저장된 이전 이벤트 정보를 학습하여 이벤트가 발생하기 전 데이터를 기준으로 설정하고, 현재의 관제 정보를 분석하여 기준값에 해당되면 경보를 발령할 수 있다.That is, the prediction module 432 is a deep learning-based engine that learns metadata of sensors and previous event information stored in the DB 420, sets data before an event occurs as a reference, and controls the current By analyzing the information, an alarm can be issued when the reference value is met.

또한, 예측 모듈(432)은 과거 감지 데이터의 패턴 및 사람의 행동 패턴을 분석하여 위험 징후를 예측할 수 있다. 즉, 예측 모듈(432)은, 예를 들면, 유해 물질 관로의 이상 영상 및 센싱 온도 값의 이상 패턴을 감지하여 관로 파손 전, 디스플레이부(440) 또는 모바일 단말(50)로 경보를 발령할 수 있다. 또는, 예측 모듈(432)은 영상 내 거동이 수상한 자 발견 시 침입자의 행동 패턴을 분석하여 위험도를 판정하고, 디스플레이부(440) 또는 모바일 단말(50)에 경보를 발령할 수 있다. In addition, the prediction module 432 may predict a danger sign by analyzing a pattern of the past sensed data and a human behavior pattern. That is, the prediction module 432 may, for example, detect an abnormal image of a hazardous substance pipeline and an abnormal pattern of a sensing temperature value to issue an alert to the display unit 440 or the mobile terminal 50 before the pipeline is damaged. there is. Alternatively, the prediction module 432 may analyze an intruder's behavior pattern when a suspicious person is found in the image to determine the degree of risk, and may issue an alert to the display unit 440 or the mobile terminal 50 .

S230 단계는 시각화 모듈(431)에서 영상 감시부(10)의 영상 데이터와 센서부(20)의 감지 데이터 및 방재 설비 제어반(30)의 상태 정보가 융합된 시각적 정보를 3D 시각적 정보로 변환하는 단계이다. 시각화 모듈(431)은 영상 데이터에 센서의 종류와 위치 및 감지 데이터(예를 들면, 시간, 온습도, 가스 흐름, 사람, 불꽃, 조도 중 적어도 하나)를 융합시키되, 해당 감지 데이터가 입체적으로 표시될 수 있도록 영상 데이터를 3D 시각화 정보로 가공한다. Step S230 is a step of converting visual information in which the image data of the image monitoring unit 10, the detection data of the sensor unit 20, and the state information of the disaster prevention facility control panel 30 are fused into 3D visual information in the visualization module 431 am. The visualization module 431 fuses the image data with the sensor type, location, and detection data (eg, at least one of time, temperature and humidity, gas flow, person, flame, and illuminance). The image data is processed into 3D visualization information so that

예를 들면, 시각적 정보의 3D 시각적 정보는, 도 6에 도시된 바와 같이, 센서의 위치 또는 방재 설비 제어반(30)의 위치와, 감지 데이터가 입체적으로 구현되는 영상으로 구현될 수 있다. 여기서 3D 시각적 정보는 이벤트 정보, 위험 징후 감지 및 예측 메세지도 포함될 수 있다. For example, the 3D visual information of the visual information may be implemented as an image in which the position of the sensor or the position of the disaster prevention facility control panel 30 and the sensed data are three-dimensionally implemented, as shown in FIG. 6 . Here, the 3D visual information may also include event information, danger sign detection and prediction messages.

S240 단계는 비 시각적 정보를 3D 시각화 정보로 가공 및 출력하는 단계이다. 시각화 모듈(431)은 관제 정보 중에서 비 시각적 정보(영상에 포함되지 않은 영역(공간)에서의 센서부(20) 감지 데이터)를 다른 기종의 센서부(20) 감지 데이터와, DB(420)에 저장된 정보를 융합하여 특징점이 확인된 위치의 영역(공간)을 3D로 구현하고, 센서부(20)의 감지 데이터(예를 들면, 화재 발생, 인원과 움직임) 등을 3D 공간 데이터에 표현한다. Step S240 is a step of processing and outputting non-visual information into 3D visualization information. The visualization module 431 stores non-visual information (detected data of the sensor unit 20 in an area (space) not included in the image) among the control information with the sensor unit 20 of a different type of data and the DB 420. By fusion of the stored information, the area (space) of the position where the feature point is identified is implemented in 3D, and the sensed data (eg, fire occurrence, personnel and movement) of the sensor unit 20 is expressed in 3D spatial data.

S300 단계는 3D 시각화 정보를 설정된 상황별 운영 시나리오에 따라서 복수의 모니터들에 출력하는 단계이다. 여기서 모니터링 커스텀 모듈(433)은 관제 정보(예를 들면, 영상 데이터 및 센서의 감지 데이터)를 상호 연동하여 특징을 특정하고, 특정된 관제 정보와 연관된 과거 관제 정보를 검색하여 설정된 상황별 운영 시나리오에 따라서 디스플레이부(440)에 출력할 수 있다. Step S300 is a step of outputting 3D visualization information to a plurality of monitors according to a set operation scenario for each situation. Here, the monitoring custom module 433 specifies a characteristic by interworking control information (eg, image data and sensor detection data), searches for past control information related to the specified control information, and provides a set operation scenario for each situation. Accordingly, it may be output to the display unit 440 .

이때, 디스플레이부(440)는 플레이백 모듈(434)의 제어에 의해 설정된 상황별 운영 시나리오에 따라서 특정된 하나 이상의 모니터들이 하나의 화면을 공유하거나, 분할된 화면, 또는 서로 다른 정보를 각각 출력한다. In this case, the display unit 440 outputs one screen, a divided screen, or different information by one or more monitors specified according to an operation scenario for each situation set by the control of the playback module 434 , respectively. .

또한, S200 단계 및 S300 단계 중 어느 하나에서 플레이백 모듈(434)은 영상 감시부(10) 및 센서부(20)의 데이터를 상호 연동하여 현재 감지된 관제 정보의 특징을 특정한다. 그리고 플레이백 모듈(434)은 위와 같은 관제 정보의 감지 데이터 중 어느 하나 또는 그 이상을 특정된 특징과 연계되는 과거의 이벤트, 시간, 상황별 데이터를 검색하여 디스플레이부(440)에 출력할 수 있다. In addition, in either step S200 or step S300 , the playback module 434 specifies the characteristics of the currently sensed control information by interworking the data of the video monitoring unit 10 and the sensor unit 20 . In addition, the playback module 434 may search for any one or more of the detection data of the control information as described above for past event, time, and situational data related to the specified feature and output it to the display unit 440 . .

또한, 플레이백 모듈(434)은 입력된 명령에 따라 관제 정보의 이벤트별, 시간별, 상황별로 과거의 정보를 디스플레이부(440)에 출력할 수 있고, 검색시간의 단축을 위하여 썸네일(Thumbnail) 및 스냅샷(Snapshot)을 제공할 수 있다. In addition, the playback module 434 may output past information for each event, time, and situation of the control information to the display unit 440 according to the input command, and to shorten the search time, a thumbnail and Snapshots can be provided.

이상에서 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 수정 및 변형이 가능함은 물론이다.Although the present invention has been described with reference to limited embodiments and drawings, the present invention is not limited thereto, and various modifications and variations are possible by those skilled in the art to which the present invention pertains.

본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.A person of ordinary skill in the art related to this embodiment will understand that it may be implemented in a modified form within a range that does not deviate from the essential characteristics of the above description. Therefore, the disclosed methods should be considered in an illustrative and not a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

10 : 영상 감시부
20 : 센서부
30 : 방재 설비 제어반
40 : 관제 장치
50 : 모바일 단말
410 : 데이터 분석부
420 : DB
430 : 진단 처리부
431 : 시각화 모듈
432 : 예측 모듈
433: 모니터링 커스텀 모듈
434 : 플레이백 모듈
435 : 영상 처리 모듈
440 : 디스플레이부
10: video monitoring unit
20: sensor unit
30: disaster prevention equipment control panel
40: control device
50: mobile terminal
410: data analysis unit
420 : DB
430: diagnostic processing unit
431: visualization module
432: prediction module
433: Monitoring custom module
434: Playback module
435: image processing module
440: display unit

Claims (10)

상태 정보를 출력하는 하나 이상의 방재 설비 제어반(30);
복수의 센서를 구비한 센서부(20);
복수의 카메라를 구비한 영상 감시부(10); 및
영상 감시부(10)의 영상 데이터와 센서부(20)의 감지 데이터 및 방재 설비 제어반(30)의 상태 정보 중 하나 이상이 포함된 관제 정보를 분석하여 이벤트의 발생 여부와 위험 징후를 감지 및 예측하는 관제 장치(40)를 포함하고,
관제 장치(40)는
영상 데이터와 감지 데이터가 융합된 시각적 정보와, 복수의 감지 데이터와 방재 설비 제어반(30)의 상태 정보 중 적어도 하나가 융합되는 비 시각적 정보를 3D 시각적 정보로 가공하여 출력하는 것; 을 특징으로 하는 데이터 기반의 3D 시각화가 가능한 관제 시스템.
One or more disaster prevention equipment control panel 30 for outputting status information;
a sensor unit 20 having a plurality of sensors;
Video monitoring unit 10 having a plurality of cameras; and
Detects and predicts whether an event occurs and dangerous signs by analyzing the control information including at least one of the image data of the video monitoring unit 10, the detection data of the sensor unit 20, and the state information of the disaster prevention facility control panel 30 including a control device 40 that
The control device 40
processing and outputting visual information in which image data and detection data are fused and non-visual information in which at least one of a plurality of detection data and state information of the disaster prevention facility control panel 30 are fused into 3D visual information; A control system capable of data-based 3D visualization, characterized by
청구항 1에 있어서, 관제 장치(40)는
영상 데이터와 감지 데이터를 수집하여 이벤트를 감지하는 데이터 분석부(410);
데이터 분석부(410)에서 수집된 관제 정보와, 이전 이벤트와 위험 징후 예측 정보를 설정된 분류 조건에 따라 분류 및 저장하는 DB(420);
복수의 모니터로 구성되어 하나 또는 그 이상의 화면을 상호 공유하거나 분할하여 출력하는 디스플레이부(440); 및
수집된 관제 정보와, DB(420)에 이전 정보에 따라 설정된 임계값을 분석하여 위험 징후의 감지 및 위험 징후 예측치와, 이벤트 정보를 3D 시각적 정보로 변환하여 디스플레이부(440)에 출력하는 진단 처리부(430); 를 포함하는 데이터 기반의 3D 시각화가 가능한 관제 시스템.
The method according to claim 1, The control device (40)
a data analysis unit 410 for detecting an event by collecting image data and detection data;
DB 420 for classifying and storing the control information collected by the data analysis unit 410 and the previous event and risk symptom prediction information according to the set classification conditions;
a display unit 440 configured of a plurality of monitors to share or divide one or more screens to output; and
A diagnostic processing unit that analyzes the collected control information, the threshold value set according to the previous information in the DB 420, and converts the detection of the danger sign and the predicted value of the danger sign, and the event information into 3D visual information and outputs it on the display unit 440 (430); A control system capable of data-based 3D visualization including
청구항 1 또는 청구항 2에 있어서, 관제 장치(40)는
관제 정보를 시각적 정보와 비 시각적 정보를 3D 시각적 정보로 가공 및 출력하는 시각화 모듈(431);
딥 러닝(Deep Learning) 기반의 엔진으로서 센서들의 메타 데이터와 DB(420)에 저장된 이전 이벤트 정보를 학습하여 이벤트가 발생하기 전 데이터를 기준으로 설정하고, 현재의 관제 정보를 분석하여 위험 징후를 감지하는 예측 모듈(432);
복수의 모니터에 출력되는 복수의 영상 데이터 및 감지 데이터가 포함된 관제 정보들을 설정된 상황별 운영 시나리오에 따라 모니터들별로 정보의 출력, 화면의 공유, 화면의 분할 여부를 특정하여 복수의 모니터들을 제어하는 모니터링 커스텀 모듈(433); 및
관제 정보를 상호 연동하여 특정하고, 특정된 관제 정보와 연관된 과거 관제 이벤트, 시간, 상황별 데이터를 검색하여 디스플레이부(440)에 출력하는 플레이백 모듈(434); 을 포함하는 데이터 기반의 3D 시각화 관제 시스템.
The method according to claim 1 or 2, the control device (40)
a visualization module 431 for processing and outputting control information into visual information and non-visual information into 3D visual information;
As a deep learning-based engine, it learns the metadata of sensors and previous event information stored in the DB 420, sets the data before an event as a reference, and detects danger signs by analyzing the current control information. a prediction module 432;
Controlling a plurality of monitors by specifying whether to output information, share a screen, or divide a screen for each monitor according to a situation-specific operating scenario set for a plurality of image data output to a plurality of monitors and control information including detected data monitoring custom module 433; and
a playback module 434 for specifying control information by interworking with each other, searching for past control event, time, and situational data related to the specified control information, and outputting it to the display unit 440; A data-based 3D visualization control system that includes.
청구항 3에 있어서, 시각화 모듈(431)은 설정된 임계값과 비 시각적 정보의 변화를 비교하여 이벤트 발생을 감지하는 것; 을 특징으로 하는 데이터 기반의 3D 시각화가 가능한 관제 시스템.
The method according to claim 3, wherein the visualization module 431 detects the occurrence of an event by comparing a set threshold value and a change in non-visual information; A control system capable of data-based 3D visualization, characterized by
청구항 3에 있어서, 예측 모듈(432)은
DB(420)에 저장된 과거 감지 데이터의 패턴 및 사람의 행동 패턴을 분석하여 기준을 설정하고, 현재의 관제 정보를 분석하여 위험 징후를 예측하는 것; 을 특징으로하는 데이터 기반의 3D 시각화가 가능한 관제 시스템.
4. The method of claim 3, wherein the prediction module (432) is
Setting a standard by analyzing patterns of past detection data and human behavior patterns stored in the DB 420, and predicting danger signs by analyzing current control information; A control system capable of data-based 3D visualization featuring
청구항 3에 있어서, 플레이백 모듈(434)은
이벤트별 특징이 포함된 썸네일(Thumbnail)과, 검색 시간대별 스냅샷(Snapshot) 중 적어도 하나를 생성하는 것; 을 특징으로 하는 데이터 기반의 3D 시각화가 가능한 관제 시스템.

4. The method of claim 3, wherein the playback module (434) is
generating at least one of a thumbnail including features for each event and a snapshot for each search time period; A control system capable of data-based 3D visualization, characterized by

a)복수의 센서들의 감지 데이터와, 하나 이상의 방재 설비 제어반(30)의 상태 정보와, 영상 감시부(10)의 영상 데이터 중 적어도 하나가 포함된 관제 정보를 수집하는 단계;
b)수집된 관제 정보에서 영상 데이터와 감지 데이터가 융합된 시각적 정보와, 복수의 감지 데이터와 상태 정보 중 적어도 하나가 포함된 비 시각적 정보를 3D 시각적 정보로 가공 및 출력하는 단계; 및
c)설정된 상황별 운영 시나리오에 따라 복수의 모니터들을 상황, 시간, 이벤트 별로 특정하여 정보를 출력하도록 하도록 제어하는 단계; 를 포함하는 데이터 기반의 3D 시각화가 가능한 관제 방법.
a) collecting control information including at least one of detection data of a plurality of sensors, status information of one or more disaster prevention facility control panels 30 , and image data of an image monitoring unit 10 ;
b) processing and outputting visual information in which image data and sensing data are fused from the collected control information and non-visual information including at least one of a plurality of sensing data and state information into 3D visual information; and
c) controlling a plurality of monitors to output information by specifying each situation, time, and event according to a set operation scenario for each situation; A control method capable of data-based 3D visualization including
청구항 7에 있어서, b)단계는
b-1)DB(420)에 저장된 이전 관제 정보를 분석하여 설정된 기준값과 현재 관제 정보를 분석하여 이벤트 발생 여부를 감지하는 단계;
b-2)DB(420)에 저장된 이전 관제 정보를 분석하여 기준값으로 설정된 데이터 및 행동패턴과, 현재 관제 정보의 데이터 및 행동 패턴을 비교 분석하여 위험 징후를 감지 및 예측하는 단계;
b-3)관제 정보에서 영상 데이터와 하나 이상의 감지 데이터가 융합된 시각적 정보를 3D 시각적 정보로 가공하는 단계; 및
b-4) 하나 이상의 감지 데이터와 방재 설비 제어반(30)의 상태 정보 중 적어도 하나가 융합된 비 시각적 정보를 3D 시각적 정보로 가공하는 단계; 중 적어도 하나를 포함하고,
b-3) 및 b-4) 단계의 3D 시각적 정보는
이벤트, 위험 징후 감지 및 예측 값이 포함된 것을 특징으로 하는 데이터 기반의 3D 시각화가 가능한 관제 방법.
The method according to claim 7, b) step
b-1) detecting whether an event has occurred by analyzing the previous control information stored in the DB 420 and analyzing the set reference value and the current control information;
b-2) analyzing the previous control information stored in the DB 420 and comparing and analyzing the data and behavior patterns set as reference values with the data and behavior patterns of the current control information to detect and predict danger signs;
b-3) processing visual information in which image data and one or more sensing data are fused in control information into 3D visual information; and
b-4) processing the non-visual information in which at least one of the one or more detection data and the state information of the disaster prevention facility control panel 30 are fused into 3D visual information; comprising at least one of
The 3D visual information of steps b-3) and b-4) is
A control method capable of 3D visualization based on data, characterized in that it includes event and danger sign detection and predictive values.
청구항 8에 있어서, b-1)단계는
대상을 선택적으로 감지하고, 대상의 특정 행위 및 특정 현상을 이벤트로 설정하는 것; 을 특징으로 하는 데이터 기반의 3D 시각화가 가능한 관제 방법.
The method according to claim 8, b-1) step
selectively detecting a target, and setting a specific action and specific phenomenon of the target as an event; A control method capable of data-based 3D visualization, characterized by
청구항 8에 있어서, b)단계는
b-5)이벤트별, 시간별, 상황별로 과거의 정보를 출력하고, 검색시간의 단축을 위하여 썸네일(Thumbnail) 및 스냅샷(Snapshot)을 생성하는 단계; 를 더 포함하는 데이터 기반의 3D 시각화가 가능한 관제 방법.
The method according to claim 8, b) step
b-5) outputting past information for each event, time, and situation, and generating thumbnails and snapshots to shorten the search time; A control method capable of data-based 3D visualization that further includes.
KR1020200119168A 2020-09-16 2020-09-16 Control system capable of 3d visualization based on data and the method thereof KR102438433B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200119168A KR102438433B1 (en) 2020-09-16 2020-09-16 Control system capable of 3d visualization based on data and the method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200119168A KR102438433B1 (en) 2020-09-16 2020-09-16 Control system capable of 3d visualization based on data and the method thereof

Publications (2)

Publication Number Publication Date
KR20220036672A true KR20220036672A (en) 2022-03-23
KR102438433B1 KR102438433B1 (en) 2022-09-01

Family

ID=80963644

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200119168A KR102438433B1 (en) 2020-09-16 2020-09-16 Control system capable of 3d visualization based on data and the method thereof

Country Status (1)

Country Link
KR (1) KR102438433B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102601760B1 (en) * 2023-07-12 2023-11-13 주식회사 성원 Method and apparatus for providing user interface for safe operation in workplace
KR102601759B1 (en) * 2023-07-12 2023-11-14 주식회사 성원 Integrated method between heterogeneous devices for safety management system operation and server therefor

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110029241A (en) * 2009-09-15 2011-03-23 한전케이피에스 주식회사 Apparatus and method for condition diagnosis of turbine turning gear system
KR20110109621A (en) * 2010-03-31 2011-10-06 (주)티엘씨테크놀로지 Safety management system and method
KR20120050073A (en) 2010-11-10 2012-05-18 (주)선인유니텍 System for realtime observing fire using cctv camera, and method for the same
KR20180006096A (en) * 2016-07-08 2018-01-17 이에스이 주식회사 Apparatus and method of integrated control
KR20180063536A (en) * 2016-12-02 2018-06-12 주식회사 레이월드 Location-based factory measuring automation system for factory visualization
KR101988164B1 (en) * 2018-02-23 2019-06-11 창원문성대학교산학협력단 Monitoring system for equipments and the method thereof
KR102028147B1 (en) * 2018-10-12 2019-10-04 (주)파슨텍 Integrated control system, video analysis device and local control server for controlling event
KR102058452B1 (en) * 2019-06-28 2019-12-23 가온플랫폼 주식회사 IoT Convergence Intelligent Video Analysis Platform System

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110029241A (en) * 2009-09-15 2011-03-23 한전케이피에스 주식회사 Apparatus and method for condition diagnosis of turbine turning gear system
KR20110109621A (en) * 2010-03-31 2011-10-06 (주)티엘씨테크놀로지 Safety management system and method
KR20120050073A (en) 2010-11-10 2012-05-18 (주)선인유니텍 System for realtime observing fire using cctv camera, and method for the same
KR20180006096A (en) * 2016-07-08 2018-01-17 이에스이 주식회사 Apparatus and method of integrated control
KR20180063536A (en) * 2016-12-02 2018-06-12 주식회사 레이월드 Location-based factory measuring automation system for factory visualization
KR101988164B1 (en) * 2018-02-23 2019-06-11 창원문성대학교산학협력단 Monitoring system for equipments and the method thereof
KR102028147B1 (en) * 2018-10-12 2019-10-04 (주)파슨텍 Integrated control system, video analysis device and local control server for controlling event
KR102058452B1 (en) * 2019-06-28 2019-12-23 가온플랫폼 주식회사 IoT Convergence Intelligent Video Analysis Platform System

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102601760B1 (en) * 2023-07-12 2023-11-13 주식회사 성원 Method and apparatus for providing user interface for safe operation in workplace
KR102601759B1 (en) * 2023-07-12 2023-11-14 주식회사 성원 Integrated method between heterogeneous devices for safety management system operation and server therefor

Also Published As

Publication number Publication date
KR102438433B1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
KR102087000B1 (en) Method And System for Monitoring Fire
US20230421728A1 (en) Camera listing based on comparison of imaging range coverage information to event-related data generated based on captured image
EP3002741B1 (en) Method and system for security system tampering detection
KR101544019B1 (en) Fire detection system using composited video and method thereof
KR102064746B1 (en) Fire detection system based on machine learning
KR102058452B1 (en) IoT Convergence Intelligent Video Analysis Platform System
JP2018101317A (en) Abnormality monitoring system
KR102407327B1 (en) Apparatus for Monitoring Fire And System having the same
KR101411624B1 (en) Method and system for detecting fire
KR102438433B1 (en) Control system capable of 3d visualization based on data and the method thereof
KR20070029760A (en) Monitoring devices
KR101485022B1 (en) Object tracking system for behavioral pattern analysis and method thereof
KR101936837B1 (en) Map-based intelligent video integrated surveillance system and monitoring method using the same
KR20190035187A (en) Sound alarm broadcasting system in monitoring area
KR101466004B1 (en) An intelligent triplex system integrating crime and disaster prevention and their post treatments and the control method thereof
KR101075550B1 (en) Image sensing agent and security system of USN complex type
KR101951361B1 (en) Method for managing crime prevention and disaster prevention using artificial intelligence
KR101046819B1 (en) Method and system for watching an intrusion by software fence
KR101250956B1 (en) An automatic system for monitoring
KR20210144455A (en) Convergence monitoring system based on real-time visualization technology of sensor data and image data
KR101060414B1 (en) Monitoring system and mathod for the same
KR200191446Y1 (en) A forest fires sensing appararus
KR102520581B1 (en) System for management space based on thumbnail using virtual camera view in digital twin environment
KR101198155B1 (en) Method for detecting movable camera false operation in digital video recorder for monitoring
KR101921911B1 (en) Physical Security Information System and Method thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right