KR20230123759A - Augmented reality-based indoor disaster monitoring system - Google Patents

Augmented reality-based indoor disaster monitoring system Download PDF

Info

Publication number
KR20230123759A
KR20230123759A KR1020220020930A KR20220020930A KR20230123759A KR 20230123759 A KR20230123759 A KR 20230123759A KR 1020220020930 A KR1020220020930 A KR 1020220020930A KR 20220020930 A KR20220020930 A KR 20220020930A KR 20230123759 A KR20230123759 A KR 20230123759A
Authority
KR
South Korea
Prior art keywords
augmented reality
indoor
firefighter
monitoring system
person
Prior art date
Application number
KR1020220020930A
Other languages
Korean (ko)
Inventor
박윤용
채윤재
이호원
김선호
Original Assignee
선문대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 선문대학교 산학협력단 filed Critical 선문대학교 산학협력단
Priority to KR1020220020930A priority Critical patent/KR20230123759A/en
Publication of KR20230123759A publication Critical patent/KR20230123759A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/10—Alarms for ensuring the safety of persons responsive to calamitous events, e.g. tornados or earthquakes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B27/00—Alarm systems in which the alarm condition is signalled from a central station to a plurality of substations
    • G08B27/001—Signalling to an emergency team, e.g. firemen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Educational Administration (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Alarm Systems (AREA)

Abstract

증강현실 기반 실내 재난 모니터링 시스템이 개시된다. 증강현실 기반 실내 재난 모니터링 시스템은, 실내에 미리 설정된 간격을 두고 배치되며, 주변에서 블루투스 기기가 송출하는 블루투스 신호의 수신신호세기를 측정하여 전송하는 복수의 비콘, 실내에 미리 설정된 간격을 두고 배치되며, 배치된 장소를 촬영하여 CCTV 영상을 획득하는 복수의 CCTV 카메라, 재난이 발생한 실내에 투입되는 소방관이 착용하며, 소방관에게 정보를 제공하는 증강현실 헬멧, 재난이 발생한 실내에 투입되어, 요구조자를 수색하기 위하여 실내 영상을 획득하고, 획득된 실내 영상을 실시간 전송하는 수색 로봇 및 수신신호세기를 이용하여 소방관 및 요구조자의 위치를 파악하여 소방관 및 요구조자의 위치 정보를 증강현실 헬멧으로 전송하고, CCTV 영상 및 실내 영상을 분석하여 요구조자의 존재 여부를 판별하고, 요구조자가 존재하는 위치 정보를 증강현실 헬멧으로 전송하는 관리 서버를 포함한다.An augmented reality based indoor disaster monitoring system is disclosed. The augmented reality-based indoor disaster monitoring system is placed indoors at preset intervals, and includes a plurality of beacons that measure and transmit the received signal strength of Bluetooth signals transmitted by Bluetooth devices in the vicinity, and are placed indoors at preset intervals. , A plurality of CCTV cameras that acquire CCTV images by taking pictures of the deployed place, an augmented reality helmet worn by firefighters who are put into the room where a disaster has occurred and provide information to the firefighters, and put into the room where the disaster has occurred to search for victims In order to do this, indoor images are obtained, and the location information of firefighters and rescuers is transmitted to the augmented reality helmet by using a search robot and reception signal strength that transmits the obtained indoor images in real time, and the location information of firefighters and rescuers is transmitted to the augmented reality helmet, CCTV images and It includes a management server that analyzes indoor images to determine whether a person is present or not, and transmits information on a location where a person is present to an augmented reality helmet.

Description

증강현실 기반 실내 재난 모니터링 시스템{Augmented reality-based indoor disaster monitoring system}Augmented reality-based indoor disaster monitoring system {Augmented reality-based indoor disaster monitoring system}

본 발명은 증강현실 기반 실내 재난 모니터링 시스템에 관한 것이다.The present invention relates to an augmented reality-based indoor disaster monitoring system.

화재현장 등의 재난현장에서 소방대원이 화재 진압이나 구조 작업 등을 원활하게 수행하기 위해서, 지휘자가 재난현장의 상황을 파악하고, 각 소방대원들에게 상황에 따른 구조 작업이나 탈출 지시 등의 명령을 전달할 필요가 있다. 종래에는 지휘자가 재난현장의 상황을 파악하고 명령을 전달하기 위해 무전기를 통해 음성을 주고받음으로써, 지휘자와 소방대원 간에 정보를 공유하였다.In order for firefighters to smoothly extinguish fires or rescue operations at disaster sites such as fire sites, the conductor grasps the situation at the disaster site and issues orders such as rescue operations or escape instructions to each firefighter according to the situation. need to convey Conventionally, information was shared between the conductor and the firefighters by exchanging voices through a walkie-talkie in order for the conductor to grasp the situation at the disaster site and to deliver a command.

그러나, 고온, 다습, 먼지 등의 환경에서 무전기는 통신두절이 빈번하게 발생하며, 통신이 되더라도 잡음 등의 문제로 인해 지휘자와 소방대원 간에 원활한 정보 교류가 어려운 문제점이 있다. 또한, 소방대원은 재난현장에서 헬멧과 마스크 등을 착용하고 있기 때문에, 무전기를 통해 출력되는 음성을 소방대원이 명확하게 듣기 어려운 문제가 있다. 또한, 지휘자가 여러 명의 소방대원을 지휘하는 경우에는 어느 소방대원이 무전을 하고 있는지 확인하고, 어느 소방대원이 어느 위치에 있는지, 소방대원이 건물 내에 진입한 상태인지 여부를 확인하기 어려운 문제가 있다.However, in environments such as high temperature, high humidity, and dust, radios frequently lose communication, and even if communication is established, it is difficult to smoothly exchange information between conductors and firefighters due to problems such as noise. In addition, since firefighters wear helmets and masks at disaster sites, it is difficult for firefighters to clearly hear voices output through walkie-talkies. In addition, when a conductor directs several firefighters, it is difficult to check which firefighter is radioing, which firefighter is at which location, and whether the firefighter has entered the building. .

예를 들어, 소방대원들 중 일부가 아직 화재가 발생한 건물 내에 남아있음에도 지휘자가 이를 파악하지 못하여 철수 명령을 전달하지 않아 소방대원의 사상 사고가 발생하는 경우가 발생하기도 하였다. OECD 국가 평균 재난에 따른 사망률은 6%이나, 대한민국의 경우 12%로 두 배 이상 높으며, 대한민국의 2006년부터 2010년 사이의 소방활동 중 공상자는 1,666명이고, 순직자는 35명으로 2012년에만 8명이 순직하였다.For example, even though some of the firefighters still remained in the building where the fire occurred, the conductor did not know this and did not deliver the withdrawal order, resulting in casualties and accidents of the firefighters. The average death rate for disasters in OECD countries is 6%, but in the case of Korea, it is more than twice as high at 12%. people were honest.

따라서, 실내 재난 발생 시 소방관이 구조 및 소방 활동을 불편함없이 효율적으로 수행하도록 지원하는 기술이 요구된다.Therefore, a technology for supporting firefighters to efficiently perform rescue and firefighting activities in the event of an indoor disaster is required.

대한민국등록특허공보 제10-1932136호(2018.12.18)Republic of Korea Patent Registration No. 10-1932136 (2018.12.18)

본 발명은 실내 재난 발생 시 소방관의 구조 및 소방 활동을 지원하는 증강현실 기반 실내 재난 모니터링 시스템을 제공하기 위한 것이다.The present invention is to provide an augmented reality-based indoor disaster monitoring system that supports rescue and firefighting activities of firefighters in the event of an indoor disaster.

본 발명의 일 측면에 따르면, 증강현실 기반 실내 재난 모니터링 시스템이 개시된다.According to one aspect of the present invention, an augmented reality-based indoor disaster monitoring system is disclosed.

본 발명의 실시예에 따른 증강현실 기반 실내 재난 모니터링 시스템은, 실내에 미리 설정된 간격을 두고 배치되며, 주변에서 블루투스 기기가 송출하는 블루투스 신호의 수신신호세기를 측정하여 전송하는 복수의 비콘, 실내에 미리 설정된 간격을 두고 배치되며, 배치된 장소를 촬영하여 CCTV 영상을 획득하는 복수의 CCTV 카메라, 재난이 발생한 실내에 투입되는 소방관이 착용하며, 상기 소방관에게 정보를 제공하는 증강현실 헬멧, 상기 재난이 발생한 실내에 투입되어, 요구조자를 수색하기 위하여 실내 영상을 획득하고, 상기 획득된 실내 영상을 실시간 전송하는 수색 로봇 및 상기 수신신호세기를 이용하여 상기 소방관 및 상기 요구조자의 위치를 파악하여 상기 소방관 및 상기 요구조자의 위치 정보를 상기 증강현실 헬멧으로 전송하고, 상기 CCTV 영상 및 상기 실내 영상을 분석하여 상기 요구조자의 존재 여부를 판별하고, 상기 요구조자가 존재하는 위치 정보를 상기 증강현실 헬멧으로 전송하는 관리 서버를 포함한다.An augmented reality-based indoor disaster monitoring system according to an embodiment of the present invention is disposed indoors at preset intervals, and includes a plurality of beacons that measure and transmit the received signal strength of a Bluetooth signal transmitted by a Bluetooth device in the vicinity. A plurality of CCTV cameras that are arranged at predetermined intervals and acquire CCTV images by taking pictures of the places where they are placed, augmented reality helmets worn by firefighters put into the room where a disaster has occurred and providing information to the firefighters, The firefighter and the firefighter and the firefighter and the firefighter and the firefighter and the firefighter and the firefighter and the firefighter and the firefighter and the firefighter A management server that transmits the location information of the person requesting to the augmented reality helmet, analyzes the CCTV image and the indoor image to determine whether the person requesting exists, and transmits the location information of the person requesting to the augmented reality helmet. include

상기 증강현실 헬멧은, 상기 소방관 및 상기 요구조자의 위치 정보를 이용하여, 상기 요구조자의 위치까지의 경로를 증강현실 화면에 출력하고, 상기 소방관의 위치를 표시한 실내지도를 증강현실 화면에 출력하고, 실시간 발견된 요구조자의 위치를 알리는 알람을 수행한다.The augmented reality helmet outputs a route to the location of the firefighter on an augmented reality screen using the location information of the firefighter and the rescuer, and outputs an indoor map displaying the location of the firefighter on the augmented reality screen, Executes an alarm that notifies the location of the person found in real time.

상기 블루투스 기기는 상기 증강현실 헬멧, 상기 요구조자가 소지한 블루투스 통신 모듈이 탑재된 스마트폰 또는 무선 이어폰을 포함한다.The Bluetooth device includes the augmented reality helmet, a smartphone or wireless earphone equipped with a Bluetooth communication module possessed by the requester.

상기 복수의 비콘은 상기 블루투스 신호의 도착 각도(Angle of Arrival)를 측정하여 상기 증강현실 헬멧으로 전송하고, 상기 증강현실 헬멧은 상기 도착 각도를 이용하여 자신의 실내 위치를 측정한다.The plurality of beacons measure an angle of arrival of the Bluetooth signal and transmit it to the augmented reality helmet, and the augmented reality helmet measures its own indoor position using the angle of arrival.

상기 복수의 비콘은 온도 센서 및 연기 센서를 구비하여 주변 실내의 온도 정보 및 연기 농도 정보를 측정하여 상기 관리 서버로 전송하고, 상기 증강현실 헬멧은 상기 관리 서버로부터 상기 온도 정보 및 상기 연기 농도 정보를 수신하여 증강현실 화면에 출력한다.The plurality of beacons are provided with a temperature sensor and a smoke sensor to measure temperature information and smoke concentration information of a surrounding room and transmit the information to the management server, and the augmented reality helmet receives the temperature information and the smoke concentration information from the management server. It is received and displayed on the augmented reality screen.

본 발명의 실시예에 따른 증강현실 기반 실내 재난 모니터링 시스템은, 실내 재난 발생 시 소방관의 구조 및 소방 활동을 지원함으로써, 기존 장비 대비 소방관의 작업량을 감소시켜 편리함을 제공하며, 이에 따라 소방관이 효율적으로 임무를 수행할 수 있다.The augmented reality-based indoor disaster monitoring system according to an embodiment of the present invention provides convenience by reducing the workload of firefighters compared to existing equipment by supporting rescue and firefighting activities of firefighters in the event of an indoor disaster. can perform the mission.

도 1은 본 발명의 실시예에 따른 증강현실 기반 실내 재난 모니터링 시스템의 구성을 개략적으로 예시하여 나타낸 도면.
도 2 내지 도 6은 본 발명의 실시예에 따른 증강현실 기반 실내 재난 모니터링 시스템을 설명하기 위한 도면.1 is a diagram schematically illustrating the configuration of an augmented reality-based indoor disaster monitoring system according to an embodiment of the present invention.
2 to 6 are views for explaining an augmented reality-based indoor disaster monitoring system according to an embodiment of the present invention.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.Singular expressions used herein include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "consisting of" or "comprising" should not be construed as necessarily including all of the various components or steps described in the specification, and some of the components or some of the steps It should be construed that it may not be included, or may further include additional components or steps. In addition, terms such as "...unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. .

이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술하겠다. Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 증강현실 기반 실내 재난 모니터링 시스템의 구성을 개략적으로 예시하여 나타낸 도면이고, 도 2 내지 도 6은 본 발명의 실시예에 따른 증강현실 기반 실내 재난 모니터링 시스템을 설명하기 위한 도면이다. 이하, 도 1을 중심으로, 본 발명의 실시예에 따른 증강현실 기반 실내 재난 모니터링 시스템에 대하여 설명하되, 도 2 내지 도 6을 참조하기로 한다.1 is a diagram schematically illustrating the configuration of an augmented reality-based indoor disaster monitoring system according to an embodiment of the present invention, and FIGS. 2 to 6 describe an augmented reality-based indoor disaster monitoring system according to an embodiment of the present invention. It is a drawing for Hereinafter, an augmented reality-based indoor disaster monitoring system according to an embodiment of the present invention will be described with reference to FIG. 1, but reference will be made to FIGS. 2 to 6.

도 1을 참조하면, 본 발명의 실시예에 따른 증강현실 기반 실내 재난 모니터링 시스템은, 복수의 비콘(10), CCTV 카메라(20), 증강현실(AR: Augmented Reality) 헬멧(30), 수색 로봇(40), 관리 서버(50) 및 관리자 단말(60)을 포함하여 구성될 수 있다.Referring to FIG. 1 , the augmented reality-based indoor disaster monitoring system according to an embodiment of the present invention includes a plurality of beacons 10, a CCTV camera 20, an augmented reality (AR) helmet 30, and a search robot. (40), the management server 50 and the manager terminal 60 may be configured.

복수의 비콘(10)은 실내에 미리 설정된 간격을 두고 배치되며, 주변에서 블루투스 기기가 송출하는 블루투스 신호를 센싱하여 센싱값을 관리 서버(50)로 전송한다.The plurality of beacons 10 are arranged indoors at preset intervals, sense Bluetooth signals transmitted by Bluetooth devices in the vicinity, and transmit sensing values to the management server 50.

특히, 도 2 및 도 3을 참조하면, 복수의 비콘(10)은 소방관(1) 또는 요구조자(2)가 소지한 블루투스 기기가 송출하는 블루투스 신호를 감지할 수 있다. 여기서, 블루투스 기기는 블루투스 통신 모듈이 탑재된 스마트폰, 무선 이어폰 등이거나 후술할 소방관이 착용하는 증강현실 헬멧(30)일 수 있다.In particular, referring to FIGS. 2 and 3 , the plurality of beacons 10 may detect a Bluetooth signal transmitted by a Bluetooth device possessed by the firefighter 1 or the victim 2. Here, the Bluetooth device may be a smartphone equipped with a Bluetooth communication module, a wireless earphone, or the like, or an augmented reality helmet 30 worn by a firefighter, which will be described later.

예를 들어, 복수의 비콘(10)은 도 2 및 도 3에 도시된 바와 같이, 방, 통로 등과 같은 실내에서 미리 설정된 복수의 위치에 설치될 수 있으며, 블루투스 기기가 송출하는 블루투스 신호의 수신신호세기(RSSI: Received signal strength indication), 전송출력(TxPower) 등을 측정할 수 있다.For example, as shown in FIGS. 2 and 3, the plurality of beacons 10 may be installed in a plurality of preset locations indoors, such as a room or passage, and receive signals of Bluetooth signals transmitted by Bluetooth devices. Strength (RSSI: Received signal strength indication), transmission power (TxPower), etc. can be measured.

다른 실시예에 따르면, 복수의 비콘(10)은 Bluetooth 5.1 통신 모듈을 탑재할 수 있다. Bluetooth 5.1 통신 모듈은 기존 블루투스 통신 모듈보다 방향 감지 기능이 더 뛰어나기 때문에, 블루투스 기기로부터 송출되는 블루투스 신호의 도착 각도(Angle of Arrival)를 측정할 수 있다.According to another embodiment, the plurality of beacons 10 may be equipped with a Bluetooth 5.1 communication module. Since the Bluetooth 5.1 communication module has a better direction detection function than the existing Bluetooth communication module, it is possible to measure the angle of arrival of a Bluetooth signal transmitted from a Bluetooth device.

즉, 복수의 비콘(30)은 소방관이 착용하는 증강현실 헬멧(30)으로부터 송출되는 블루투스 신호를 감지하고, 감지된 블루투스 신호의 도착 각도를 측정하고, 증강현실 헬멧(30)이 AoA(Angle of Arrival) 기법을 이용하여 소방관(1)의 실내 위치를 파악하도록, 증강현실 헬멧(30)으로 측정된 도착 각도를 전송할 수 있다.That is, the plurality of beacons 30 detect the Bluetooth signal transmitted from the augmented reality helmet 30 worn by the firefighter, measure the arrival angle of the detected Bluetooth signal, and make the augmented reality helmet 30 AoA (Angle of The arrival angle measured by the augmented reality helmet 30 may be transmitted to determine the indoor location of the firefighter 1 using the arrival) technique.

또한, 복수의 비콘(10)은 주변 실내의 상태를 측정하는 센서를 구비할 수 있다.In addition, the plurality of beacons 10 may have a sensor for measuring the state of the surrounding room.

즉, 복수의 비콘(10)은 주변 실내의 온도를 측정하는 온도 센서, 주변 실내의 연기 농도를 측정하는 연기 센서 등을 구비할 수 있으며, 이를 통해 측정된 온도 정보, 연기 농도 정보 등을 관리 서버(50)로 전송할 수 있다.That is, the plurality of beacons 10 may include a temperature sensor for measuring the temperature of the surrounding room, a smoke sensor for measuring the smoke concentration in the surrounding room, and the like, through which the measured temperature information, smoke concentration information, etc. are transmitted to the management server. (50).

복수의 CCTV 카메라(20)는 실내에 미리 설정된 간격을 두고 배치되며, 배치된 장소를 촬영하여 획득된 CCTV 영상을 관리 서버(50)로 전송한다.A plurality of CCTV cameras 20 are arranged indoors at preset intervals, and transmit CCTV images acquired by photographing the placed location to the management server 50.

예를 들어, 복수의 CCTV 카메라(20)는 도 2 및 도 3에 도시된 바와 같이, 방, 통로 등과 같은 실내에서 미리 설정된 복수의 위치에 설치되어 설치된 장소의 CCTV 영상을 획득할 수 있다.For example, as shown in FIGS. 2 and 3 , the plurality of CCTV cameras 20 may be installed at a plurality of preset locations in the room, such as a room or passage, and obtain CCTV images of the installed location.

특히, 도 4를 참조하면, 복수의 CCTV 카메라(20)는 화재와 같은 재난 발생 시, 요구조자(2)가 촬영된 영상을 획득할 수 있다.In particular, referring to FIG. 4 , a plurality of CCTV cameras 20 may obtain an image of a person requiring assistance 2 when a disaster such as a fire occurs.

증강현실 헬멧(30)은 화재와 같은 재난이 발생한 실내에 투입되는 소방관(1)이 착용하는 헬멧으로서, 후술할 관리 서버(50)로부터 각종 정보를 제공받아 소방관(1)에게 제공한다.The augmented reality helmet 30 is a helmet worn by a firefighter 1 who is put into a room where a disaster such as a fire occurs, and receives various information from a management server 50 to be described later and provides it to the firefighter 1.

즉, 도 5를 참조하면, 증강현실 헬멧(30)은 요구조자(2)의 위치까지의 경로(5)를 증강현실 화면에 출력하는 내비게이션 기능, 소방관(1)의 위치를 표시한 실내지도(6)를 증강현실 화면에 출력하는 현재 위치 표시 기능, 실시간 발견된 요구조자(2)의 위치(7)를 알리는 알람 기능 및 주변 실내의 상태 정보(8)를 증강현실 화면에 출력하는 정보 제공 기능을 소방관에게 제공할 수 있다. 여기서, 주변 실내의 상태 정보(8)는 비콘(10)에 구비된 온도 센서 및 연기 센서에 의하여 측정된 주변 실내의 온도 및 연기 농도를 포함할 수 있다.That is, referring to FIG. 5, the augmented reality helmet 30 has a navigation function for outputting the route 5 to the location of the person requiring help 2 on the augmented reality screen, and an indoor map 6 displaying the location of the firefighter 1 ) to the augmented reality screen, an alarm function to notify the location (7) of the person found in real time (2), and an information provision function to output the surrounding indoor state information (8) to the augmented reality screen. can be provided to Here, the state information 8 of the surrounding room may include the temperature and smoke concentration of the surrounding room measured by the temperature sensor and the smoke sensor provided in the beacon 10 .

다른 실시예에 따르면, 증강현실 헬멧(30)은 전술한 바와 같이, Bluetooth 5.1 통신 모듈을 탑재한 복수의 비콘(30)으로부터 수신되는 증강현실 헬멧(30)의 블루투스 신호의 도착 각도를 이용하여 자신의 실내 위치를 측정할 수 있다.According to another embodiment, the augmented reality helmet 30 uses the arrival angle of the Bluetooth signal of the augmented reality helmet 30 received from the plurality of beacons 30 equipped with the Bluetooth 5.1 communication module, as described above. indoor position can be measured.

예를 들어, 증강현실 헬멧(30)은 적어도 3개의 비콘(30)으로부터 수신되는 도착 각도를 통해 AoA(Angle of Arrival) 기법을 이용하여 실내 위치를 파악하므로, 삼변측량이 아닌 삼각측량으로 소방관(1)의 현재 실내 위치를 파악할 수 있다. 이를 위하여, 증강현실 헬멧(30)은 블루투스 통신 모듈, 삼각측량 기법을 이용하여 현재 위치를 산출하는 프로그램이 저장된 메모리, 메모리에 저장된 프로그램을 실행시키는 프로세서, 프로세서에 의하여 처리되거나 송수신되는 데이터를 출력하는 디스플레이, 카메라 등을 포함하여 구성될 수 있다.For example, since the augmented reality helmet 30 determines the indoor location using the Angle of Arrival (AoA) technique through the angle of arrival received from at least three beacons 30, the firefighter ( The current indoor location of 1) can be grasped. To this end, the augmented reality helmet 30 includes a Bluetooth communication module, a memory storing a program for calculating the current location using a triangulation technique, a processor executing the program stored in the memory, and outputting data processed or transmitted and received by the processor. It may be configured to include a display, a camera, and the like.

수색 로봇(40)은 화재와 같은 재난이 발생한 실내에 투입되어 요구조자(2)를 수색하는 로봇으로서, 방, 통로 등과 같은 실내를 주행하면서 촬영하여 실내 영상을 획득하고, 획득된 실내 영상을 실시간으로 관리 서버(50)로 전송한다.The search robot 40 is a robot that is put into a room where a disaster such as a fire has occurred and searches for the person in need 2. It acquires an indoor image by photographing while driving in a room, passage, etc., and transmits the obtained indoor image in real time. It is transmitted to the management server 50.

예를 들어, 수색 로봇(40)은 하부에 구비된 복수의 바퀴 및 각 바퀴를 회전시키는 모터를 포함하는 주행 및 방향전환 수단, 전후좌우를 촬영하기 위한 복수의 카메라, 장애물 감지 센서, 블루투스 통신 모듈 등을 포함하여 구성될 수 있다. 수색 로봇(40)도 전술한 바와 같이 복수의 비콘(30)을 이용하여 자신의 실내 위치를 측정할 수 있다.For example, the search robot 40 includes a driving and direction changing means including a plurality of wheels provided at the bottom and a motor for rotating each wheel, a plurality of cameras for photographing front and rear, left and right, an obstacle detection sensor, and a Bluetooth communication module. and the like. As described above, the search robot 40 may also measure its own indoor location using the plurality of beacons 30 .

관리 서버(50)는 도 6에 도시된 바와 같이, 실내에 설치된 복수의 비콘(10) 및 CCTV 카메라(20), 재난이 발생한 실내에 투입된 소방관(1)이 착용한 증강현실 헬멧(30), 소방관(1)과 함께 실내에 투입된 수색 로봇(40)과 통신을 수행하여 데이터를 송수신하며, 수신된 데이터를 저장 및 관리한다. 예를 들어, 관리 서버(50)는 실내 지도 데이터를 저장하고 있으며, 증강현실 헬멧(30)으로 실내 지도 데이터를 제공할 수 있다.As shown in FIG. 6, the management server 50 includes a plurality of beacons 10 and CCTV cameras 20 installed indoors, an augmented reality helmet 30 worn by a firefighter 1 put into the room where a disaster occurs, It communicates with the search robot 40 put into the room together with the firefighter 1 to transmit and receive data, and stores and manages the received data. For example, the management server 50 stores indoor map data and may provide the indoor map data to the augmented reality helmet 30 .

즉, 관리 서버(50)는 복수의 비콘(10)으로부터 수신되는 센싱값을 이용하여 소방관(1) 및 요구조자(2)의 위치를 파악한다.That is, the management server 50 uses the sensing values received from the plurality of beacons 10 to determine the location of the firefighter 1 and the person seeking assistance 2.

예를 들어, 관리 서버(50)는 소방관(1)이 착용한 증강현실 헬멧(30) 또는 요구조자(2)가 소지한 블루투스 통신 모듈이 탑재된 스마트폰이나 무선 이어폰이 송출하는 블루투스 신호의 수신신호세기를 이용하여 소방관(1) 및 요구조자(2)의 위치를 파악할 수 있다.For example, the management server 50 is a reception signal of a Bluetooth signal transmitted by an augmented reality helmet 30 worn by a firefighter 1 or a smartphone equipped with a Bluetooth communication module possessed by a person requiring assistance 2 or a wireless earphone. It is possible to determine the location of the firefighter (1) and the victim (2) using the intensity.

또한, 관리 서버(50)는 복수의 비콘(10)으로부터 실내의 온도 정보 및 연기 농도 정보를 수신하여 저장한다.In addition, the management server 50 receives and stores indoor temperature information and smoke concentration information from the plurality of beacons 10 .

그리고, 관리 서버(50)는 소방관(1) 및 요구조자(2)의 위치 파악에 따라 생성된 위치 정보, 온도 정보 및 연기 농도 정보를 소방관(1)이 착용한 증강현실 헬멧(30)으로 전송한다. 여기서, 증강현실 헬멧(30)은 전술한 바와 같이, 수신된 위치 정보를 이용하여 내비게이션 기능, 현재 위치 표시 기능, 알람 기능 및 정보 제공 기능을 수행할 수 있다.In addition, the management server 50 transmits the location information, temperature information, and smoke concentration information generated according to the location identification of the firefighter 1 and the person requiring assistance 2 to the augmented reality helmet 30 worn by the firefighter 1. . As described above, the augmented reality helmet 30 may perform a navigation function, a current location display function, an alarm function, and an information providing function using the received location information.

또한, 관리 서버(50)는 복수의 CCTV 카메라(20)로부터 수신된 CCTV 영상을 저장 및 분석하여 영상 내에 요구조자(2)의 존재 여부를 판별하고, 요구조자(2)가 존재하는 CCTV 영상을 촬영한 CCTV 카메라(20)의 위치 정보를 증강현실 헬멧(30)으로 전송할 수 있다. 여기서, 증강현실 헬멧(30)은 내비게이션 기능 및 알람 기능을 통해 소방관(1)에게 요구조자(2)의 위치 정보를 제공할 수 있다.In addition, the management server 50 stores and analyzes the CCTV images received from the plurality of CCTV cameras 20 to determine the presence or absence of the requestor 2 in the image, and captures the CCTV image in which the requester 2 exists. Location information of the CCTV camera 20 may be transmitted to the augmented reality helmet 30 . Here, the augmented reality helmet 30 may provide the location information of the rescuer 2 to the firefighter 1 through a navigation function and an alarm function.

또한, 관리 서버(50)는 수색 로봇(40)으로부터 수신되는 실시간 실내 영상을 저장 및 분석하여 실내 영상 내에 요구조자(2)의 존재 여부를 판별하고, 요구조자(2)가 존재하는 영상을 촬영한 위치 정보를 수색 로봇(40)으로부터 요청하여 획득하고, 획득된 위치 정보를 증강현실 헬멧(30)으로 전송할 수 있다. 여기서, 증강현실 헬멧(30)은 내비게이션 기능 및 알람 기능을 통해 소방관(1)에게 요구조자(2)의 위치 정보를 제공할 수 있다.In addition, the management server 50 stores and analyzes the real-time indoor image received from the search robot 40 to determine whether the person requesting the person 2 exists in the indoor image, and the location where the person requesting the person 2 exists is taken. Information may be requested and obtained from the search robot 40 , and the obtained location information may be transmitted to the augmented reality helmet 30 . Here, the augmented reality helmet 30 may provide the location information of the rescuer 2 to the firefighter 1 through a navigation function and an alarm function.

관리자 단말(60)은 관리자가 실내 재난 모니터링을 하도록 관리 서버(50)에 접속하여 관리 서버(50)가 실시간 수신하거나 저장한 각종 정보를 제공한다.The manager terminal 60 accesses the management server 50 so that the manager performs indoor disaster monitoring and provides various information received or stored by the management server 50 in real time.

예를 들어, 관리자 단말(50)은 복수의 CCTV 카메라(20) 또는 수색 로봇(40)이 획득한 영상을 출력하여 관리자가 육안으로 실내 재난 모니터링을 수행하게 할 수 있다.For example, the manager terminal 50 may output images acquired by the plurality of CCTV cameras 20 or the search robot 40 so that the manager visually monitors an indoor disaster.

한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.On the other hand, the components of the above-described embodiment can be easily grasped from a process point of view. That is, each component can be identified as each process. In addition, the process of the above-described embodiment can be easily grasped from the viewpoint of components of the device.

또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, the technical contents described above may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiments or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. A hardware device may be configured to act as one or more software modules to perform the operations of the embodiments and vice versa.

상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.The embodiments of the present invention described above have been disclosed for illustrative purposes, and those skilled in the art having ordinary knowledge of the present invention will be able to make various modifications, changes, and additions within the spirit and scope of the present invention, and such modifications, changes, and additions will be considered to fall within the scope of the following claims.

10: 복수의 비콘
20: CCTV 카메라
30: 증강현실(AR: Augmented Reality) 헬멧
40: 수색 로봇
50: 관리 서버
60: 관리자 단말10: Beacon of Vengeance
20: CCTV camera
30: Augmented Reality (AR) helmet
40: search robot
50: management server
60: manager terminal

Claims (5)

증강현실 기반 실내 재난 모니터링 시스템에 있어서,
실내에 미리 설정된 간격을 두고 배치되며, 주변에서 블루투스 기기가 송출하는 블루투스 신호의 수신신호세기를 측정하여 전송하는 복수의 비콘;
실내에 미리 설정된 간격을 두고 배치되며, 배치된 장소를 촬영하여 CCTV 영상을 획득하는 복수의 CCTV 카메라;
재난이 발생한 실내에 투입되는 소방관이 착용하며, 상기 소방관에게 정보를 제공하는 증강현실 헬멧;
상기 재난이 발생한 실내에 투입되어, 요구조자를 수색하기 위하여 실내 영상을 획득하고, 상기 획득된 실내 영상을 실시간 전송하는 수색 로봇; 및
상기 수신신호세기를 이용하여 상기 소방관 및 상기 요구조자의 위치를 파악하여 상기 소방관 및 상기 요구조자의 위치 정보를 상기 증강현실 헬멧으로 전송하고, 상기 CCTV 영상 및 상기 실내 영상을 분석하여 상기 요구조자의 존재 여부를 판별하고, 상기 요구조자가 존재하는 위치 정보를 상기 증강현실 헬멧으로 전송하는 관리 서버를 포함하는 것을 특징으로 하는 증강현실 기반 실내 재난 모니터링 시스템.
In the augmented reality-based indoor disaster monitoring system,
A plurality of beacons disposed indoors at predetermined intervals and measuring and transmitting the received signal strength of a Bluetooth signal transmitted by a Bluetooth device in the vicinity;
A plurality of CCTV cameras disposed indoors at predetermined intervals and acquiring CCTV images by photographing the placed place;
An augmented reality helmet worn by a firefighter who is put into a room where a disaster has occurred and provides information to the firefighter;
a search robot that is put into the room where the disaster has occurred, acquires an indoor image in order to search for a person in need, and transmits the obtained indoor image in real time; and
By using the received signal strength, the location information of the firefighter and the person in need is identified, the location information of the person in charge of the firefighter and the person in need is transmitted to the augmented reality helmet, and the presence of the person in need is determined by analyzing the CCTV image and the indoor image. An augmented reality-based indoor disaster monitoring system comprising a management server that determines and transmits location information on which the person in need exists to the augmented reality helmet.
 제1항에 있어서,
상기 증강현실 헬멧은,
상기 소방관 및 상기 요구조자의 위치 정보를 이용하여, 상기 요구조자의 위치까지의 경로를 증강현실 화면에 출력하고, 상기 소방관의 위치를 표시한 실내지도를 증강현실 화면에 출력하고, 실시간 발견된 요구조자의 위치를 알리는 알람을 수행하는 것을 특징으로 하는 증강현실 기반 실내 재난 모니터링 시스템.
According to claim 1,
The augmented reality helmet,
Using the location information of the firefighter and the rescuer, the route to the location of the rescuer is output on the augmented reality screen, the indoor map displaying the location of the firefighter is output on the augmented reality screen, and the location of the rescuer found in real time is displayed. Augmented reality-based indoor disaster monitoring system, characterized in that for performing an alarm to inform.
 제1항에 있어서,
상기 블루투스 기기는 상기 증강현실 헬멧, 상기 요구조자가 소지한 블루투스 통신 모듈이 탑재된 스마트폰 또는 무선 이어폰을 포함하는 것을 특징으로 하는 증강현실 기반 실내 재난 모니터링 시스템.
According to claim 1,
The Bluetooth device is an augmented reality-based indoor disaster monitoring system, characterized in that it comprises the augmented reality helmet, a smartphone or wireless earphone equipped with a Bluetooth communication module possessed by the requester.
 제1항에 있어서,
상기 복수의 비콘은 상기 블루투스 신호의 도착 각도(Angle of Arrival)를 측정하여 상기 증강현실 헬멧으로 전송하고,
상기 증강현실 헬멧은 상기 도착 각도를 이용하여 자신의 실내 위치를 측정하는 것을 특징으로 하는 증강현실 기반 실내 재난 모니터링 시스템.
According to claim 1,
The plurality of beacons measure the angle of arrival of the Bluetooth signal and transmit it to the augmented reality helmet,
The augmented reality based indoor disaster monitoring system, characterized in that the augmented reality helmet measures its own indoor position using the arrival angle.
 제1항에 있어서,
상기 복수의 비콘은 온도 센서 및 연기 센서를 구비하여 주변 실내의 온도 정보 및 연기 농도 정보를 측정하여 상기 관리 서버로 전송하고,
상기 증강현실 헬멧은 상기 관리 서버로부터 상기 온도 정보 및 상기 연기 농도 정보를 수신하여 증강현실 화면에 출력하는 것을 특징으로 하는 증강현실 기반 실내 재난 모니터링 시스템.According to claim 1,
The plurality of beacons are equipped with temperature sensors and smoke sensors to measure temperature information and smoke concentration information of surrounding rooms and transmit them to the management server;
The augmented reality-based indoor disaster monitoring system, characterized in that the augmented reality helmet receives the temperature information and the smoke concentration information from the management server and outputs them to an augmented reality screen.
KR1020220020930A 2022-02-17 2022-02-17 Augmented reality-based indoor disaster monitoring system KR20230123759A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220020930A KR20230123759A (en) 2022-02-17 2022-02-17 Augmented reality-based indoor disaster monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220020930A KR20230123759A (en) 2022-02-17 2022-02-17 Augmented reality-based indoor disaster monitoring system

Publications (1)

Publication Number Publication Date
KR20230123759A true KR20230123759A (en) 2023-08-24

Family

ID=87841429

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220020930A KR20230123759A (en) 2022-02-17 2022-02-17 Augmented reality-based indoor disaster monitoring system

Country Status (1)

Country Link
KR (1) KR20230123759A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101932136B1 (en) 2018-07-10 2018-12-24 최두찬 System for total monitoring of fire protection system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101932136B1 (en) 2018-07-10 2018-12-24 최두찬 System for total monitoring of fire protection system

Similar Documents

Publication Publication Date Title
KR102142510B1 (en) Automated detection of firefighter teams
RU2472226C2 (en) Apparatus for monitoring location of individuals
TWI448993B (en) An environmental safety monitoring escape-guidance system and its method of warning
CA3050639C (en) Tracking and accountability device and system
KR101671981B1 (en) Method and system for providing a position of co-operated firemen by using a wireless communication, method for displaying a position of co-operated firefighter, and fire hat for performing the method
KR102126281B1 (en) System for detecting fire using smart fire detector based on IoT and the smart fire detector
KR101755533B1 (en) Safety management system based on Internet of Things
KR100637708B1 (en) System and terminal for providing realtime fire-fighting information
KR20150122415A (en) An integrated wireless command system on disaster site
CN108765872B (en) Method and system for inferring environmental parameters of trapped object and intelligent wearable equipment
WO2020147644A1 (en) Monitoring method and system based on terminal detection
TWI738484B (en) Indoor positioning system
CN207337157U (en) A kind of infrared positioning AR of fireman shows the helmet and fire command system
KR20030017597A (en) Fireman positioning system and method of the same
KR20230123759A (en) Augmented reality-based indoor disaster monitoring system
CN111640277A (en) Fire condition display system
US9858791B1 (en) Tracking and accountability device and system
KR101462639B1 (en) System and method for monitoring the position of firefighter
CN105894709A (en) GPS positioning-based building fire safety monitoring system
TWI637362B (en) Fire rescue system and method thereof
JP6877176B2 (en) Monitoring system
KR102398564B1 (en) Rescuer input personnel calculation system for the scene of a fire
CN117152593B (en) Fire scene searching method, fire scene searching device, terminal equipment and storage medium
TWI774404B (en) Fire escape guidance and search and rescue assistance system, and information application method based on improving fire survival rate
WO2023286115A1 (en) Display controller, display system, display method and computer readable medium