KR101409964B1 - Mobile augmented reality system and method for fire extinguish equipment inspection - Google Patents
Mobile augmented reality system and method for fire extinguish equipment inspection Download PDFInfo
- Publication number
- KR101409964B1 KR101409964B1 KR1020120056755A KR20120056755A KR101409964B1 KR 101409964 B1 KR101409964 B1 KR 101409964B1 KR 1020120056755 A KR1020120056755 A KR 1020120056755A KR 20120056755 A KR20120056755 A KR 20120056755A KR 101409964 B1 KR101409964 B1 KR 101409964B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- fire
- augmented reality
- user terminal
- inspection
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 95
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title abstract description 14
- 238000004891 communication Methods 0.000 claims abstract description 14
- 239000003550 marker Substances 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 20
- 238000009877 rendering Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000002265 prevention Effects 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims 1
- 238000009434 installation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000004630 mental health Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Marketing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Primary Health Care (AREA)
- Radar, Positioning & Navigation (AREA)
- Development Economics (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Educational Administration (AREA)
- Computer Security & Cryptography (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 소방시설 점검용 모바일 증강현실 시스템 및 방법에 관한 것으로, 소방점검 대상물 및 그 점검 정보를 증강현실 기반으로 구현하여, 모바일 환경의 사용자 단말기에 제공하기 위한 것이다.
이를 위하여 본 발명은 소방점검 대상물에 대한 촬영 이미지 및 단말기 위치정보를 네트워크로 전송하거나 또는 가상정보가 반영된 증강현실 기반정보를 네트워크로부터 수신하여 디스플레이하는 모바일용 사용자 단말기, 모바일용 사용자 단말기와 소방점검 대상물 관리시스템을 통신 가능하도록 유기적으로 연결하는 통신 네트워크, 및 모바일용 사용자 단말기로부터 전송되는 촬영 이미지 및 단말기 위치정보를 수신하여 데이터베이스의 가상정보를 독출하고 수신된 이미지에 독출된 데이터베이스의 가상정보를 반영하여 소방점검 대상물에 대한 증강현실 기반정보를 생성하여 모바일용 사용자 단말기로 전송하는 소방점검 대상물 관리시스템을 포함하는 소방시설 점검용 모바일 증강현실 시스템 및 그 처리방법을 제공하여, 소방시설 점검 및 그 관리업무를 효율적으로 실시하고, 위험도 높은 건물 내에서의 일반 사용자들에 대한 안전 사고를 사전에 예방할 수 있게 한다.The present invention relates to a mobile augmented reality system and method for firefighting facility inspection, and is intended to implement a firefighting inspection object and its inspection information on the basis of an augmented reality, and to provide the same to a user terminal in a mobile environment.
To this end, the present invention provides a mobile user terminal for transmitting a shot image and terminal location information of a fire-fighting check object to a network or receiving and displaying augmented reality-based information reflecting virtual information from a network, A communication network for organically connecting the management system so as to be communicatable, and a photographed image and terminal location information transmitted from the mobile user terminal, reads the virtual information of the database, reflects the virtual information of the database read in the received image A mobile augmented reality system for firefighting facility inspection including a firefighting object management system for generating augmented reality based information on a firefighting check object and transmitting the same to a mobile user terminal, Perform management tasks efficiently, and can help prevent accidents for general users of high-risk buildings in the dictionary.
Description
본 발명은 소방시설 점검용 모바일 증강현실 시스템 및 방법에 관한 것으로, 보다 상세하게는 증강현실 기술을 이용하여 체계적이고 과학적인 소방설비 점검 점보를 제공할 수 있게 하여, 소방시설 점검 및 그 관리 업무를 효율적으로 개선할 수 있으면서도 안전 사고를 미연에 방지할 수 있는 소방시설 점검용 모바일 증강현실 시스템 및 방법에 관한 것이다.The present invention relates to a mobile augmented reality system and method for checking a firefighting facility, and more particularly, to a systematic and scientific firefighting equipment check jumbo using augmented reality technology, And more particularly, to a mobile augmented reality system and method for firefighting facility inspection that can efficiently improve a safety accident while preventing a safety accident in advance.
소방시설의 설치유지 및 안전관리에 관한 법률 시행령에 따르면, 수용인원이 100인 이상인 시설물, 바닥면적이 지하층 또는 무창으로 제공되는 경우 500㎡ 이상, 그 밖의 층의 경우에는 1천 ㎡ 이상의 영화상영관 등에는 스프링쿨러 설치 시설물이 의무화되고 있으며, 판매시설 또는 영업시설의 경우 3층 이하인 건축물로서 판매시설 및 영업시설의 바닥면적 합계가 6천㎡ 이상, 4층 이상인 건축물로서 판매시설 및 영업시설의 바닥면적 합계가 5천㎡ 이상의 경우에도 스프링쿨러 설비의 설치가 요구되고 있다. 또한 층수가 11층 이상인 아파트 건물, 노유자시설 또는「정신보건법」 제3조 제2호에 따른 정신보건시설은 연면적 600㎡ 이상인 곳, 천장 또는 반자의 높이가 10미터를 넘는 랙크식 창고로서 연면적 1천5백㎡ 이상인 경우는 스프링쿨러 설비의 설치가 의무화되어 있다.According to the Enforcement Decree of the Fire Service Facilities Installation and Maintenance Act, facilities with a capacity of 100 persons or more, 500㎡ or more when the floor area is provided in the basement or no window, and movie theaters with a capacity of over 1,000㎡ in other floors , The sprinkler installation facilities are mandatory. In the case of sales facilities or sales facilities, the total floor area of sales facilities and sales facilities is less than 3 floors and the total floor area is more than 6,000 ㎡. Even if the total is over 5,000 ㎡, installation of sprinkler facilities is required. In addition, mental health facilities in accordance with Article 3 (2) of the Mental Health Act, apartment buildings with more than 11 floors, apartment buildings of more than 600m², ceiling or half height of 10m or more, If it is more than 1,500 square meters, installation of sprinkler facilities is mandatory.
상기와 같은 설치기준에 따라 소방 공무원 등은 화재관련 사건 및 사고를 예방하기 위해 각 소방 대상물의 소방용 설비의 설치 확인 및 그 작동 여부를 점검 및 관리하게 되며, 이로써 주민의 복지공간이나 시설물을 안전하게 관리할 수 있게 된다. 이러한 소방시설의 점검 및 확인 작업은 관공서 및 부속 사용허가시설, 청소년복지 및 체육시설 등의 안전관리를 관장하면서 관리목적인 이용고객의 생명과 재산보호 및 삶의 질을 높여주기 위한 수단으로서 중요한 사항이며 반드시 필요한 작업이기도 하다.In accordance with the above installation standards, firefighting officers, etc., will inspect and manage the installation and operation of the fire fighting facilities of each fire fighting object to prevent fire related incidents and accidents, thereby safely managing the welfare spaces and facilities of the residents . Inspection and confirmation work of firefighting facilities is important as a means to protect the life and property of the user and to improve the quality of life for the purpose of management by supervising the safety management of the public office, the permission to use the facility, the youth welfare and sports facilities It is also a necessary task.
그러나 소방시설의 점검 및 확인을 위해서는 각각의 소방 대상 건물에 대하여 소방 공무원이 직접 내방하여 개별적인 확인 작업을 실시하여야만 하므로, 점검 인력과 시간 등의 낭비를 초래하게 되는 등의 문제점이 있다.However, in order to check and confirm the firefighting facilities, the firefighting officers must directly check each firefighting target building and individually check them, which causes problems such as insufficient manpower and time.
한편, 모바일 증강 현실(Augmented Reality) 시스템은 적어도 하나 이상의 모바일 단말기를 이용하여 실제 현실 화면에 가상 이미지를 처리하여 증강된 현실을 보여주는 서비스를 제공하는 시스템으로서, 실제의 물체로부터 촬영된 이미지에 가상의 현실을 추가하고자 하는 경우에 사용되는 기술이며, 최근 많은 발전을 거듭하고 있다.Meanwhile, a mobile Augmented Reality system is a system for providing a service showing augmented reality by processing a virtual image on an actual real screen using at least one mobile terminal, It is a technology used when a reality is to be added, and has been making a lot of progress in recent years.
국내 공개특허공보 제10-2010-0114819호(공개일자 2010.10.26)에 의하면, 모바일 환경에서 별도의 마커없이 위치 및 영상 인식을 기반으로 하여 증강 현실을 구현할 수 있는 증강 현실 구현 방법 및 이를 위한 장치에 관한 기술이 공지되어 있다. 그러나 이와 같은 증강현실 시스템을 소방시설의 점검이나 확인 작업에 적용하고자 하는 시도는 아직까지 이루어지지 못하고 있었다. According to Korean Patent Laid-Open No. 10-2010-0114819 (published on Oct. 26, 2010), an augmented reality realization method capable of realizing an augmented reality based on position and image recognition without a separate marker in a mobile environment and a device Is known. However, no attempt has been made to apply such augmented reality system to the inspection and confirmation work of firefighting facilities.
본 발명은 상기 종래기술이 갖는 문제점을 해결하기 위해 창출된 것으로서, 모바일 환경의 사용자 단말기에서 촬영되는 소방점검 대상물의 그 점검상태 및 그 현황 정보를 증강현실로 구현하여 과학적이고 체계적인 소방설비 점검 정보를 단말기로 제공함으로써 소방시설 점검 및 그 관리업무를 효율적으로 실시할 수 있도록 하고, 위험도 높은 건물 내에서의 일반 사용자들에 대한 안전 사고를 사전에 예방할 수 있도록 한 소방시설 점검용 모바일 증강현실 시스템 및 방법을 제공하기 위한 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems of the prior art, and it is an object of the present invention to provide a system and method for implementing fire prevention inspection information, Mobile augmented reality system and method for firefighting facility inspection to enable firefighting facility inspection and management work efficiently by providing to terminal and to prevent safety accident for general users in dangerous building in advance .
상기 목적을 달성하기 위한 본 발명의 일 실시 형태는, 소방점검 대상물에 대한 모바일 증강현실 시스템의 구현을 위한 애플리케이션의 구동을 통해 미리 설정된 또는 키입력되는 사용자 식별정보를 지정된 관리 시스템으로 전송하여 인증 대기하며 인증 대기후 현장의 촬영 이미지 및 단말기 위치정보를 네트워크로 전송하거나 또는 가상정보가 반영된 증강현실 기반정보를 네트워크로부터 수신하여 디스플레이하는 모바일용 사용자 단말기, 모바일용 사용자 단말기에서 촬영된 이미지 및 단말기 위치정보를 소방점검 대상물 관리시스템으로 실시간 전송하거나 또는 소방점검 대상물 관리시스템으로부터 데이터베이스의 가상정보가 반영된 증강현실 기반정보를 모바일용 사용자 단말기로 실시간 전송하는 통신 네트워크, 및 모바일용 사용자 단말기로부터 전송되는 사용자 식별정보를 체크하여 사용자 인증을 실시하며 인증된 사용자 단말기로부터 통신 네트워크를 통해 전송되는 현장의 촬영 이미지 및 단말기 위치정보를 수신하여 데이터베이스의 가상정보를 독출하고 수신된 이미지에 독출된 데이터베이스의 가상정보를 반영하여 소방점검 대상물에 대한 증강현실 기반정보를 생성하여 모바일용 사용자 단말기로 전송하는 소방점검 대상물 관리시스템을 포함하는 소방시설 점검용 모바일 증강현실 시스템이다.According to an aspect of the present invention, there is provided a mobile ARP system, comprising: an application for implementing a mobile ARP system for a fire fighting inspection object; A mobile user terminal for transmitting the photographed image and the terminal location information of the scene to the network after waiting for the authentication or receiving and displaying the augmented reality based information reflecting the virtual information from the network and displaying the image, To the fire control object management system in real time or to transmit the augmented reality based information reflecting the virtual information of the database to the mobile user terminal in real time from the fire control object management system, And receives the photographed image and the terminal position information of the scene transmitted from the authenticated user terminal through the communication network to read the virtual information of the database, And a fire fighting check object management system for generating augmented reality based information for the fire fighting check object by reflecting the virtual information of the fire fighting check object and transmitting the information to the mobile user terminal.
본 발명에 의한 모바일 증강현실 시스템에서의 모바일용 사용자 단말기는, GPS를 수신하여 단말기의 현재 주소 정보를 검색하는 GPS 모듈, 통신 네트워크를 통해 소방점검 대상물 관리시스템과 정보를 송수신하기 위한 송/수신 모듈, 소방점검 대상물을 포함하는 현장 이미지를 촬영하는 카메라 모듈, 및 가상정보가 반영된 증강현실 기반정보를 출력하는 디스플레이 모듈을 포함하는 것을 특징으로 한다.The mobile user terminal in the mobile AR system according to the present invention includes a GPS module for receiving the GPS and searching for current address information of the terminal, a transmission / reception module for transmitting / receiving information with the fire fighting object management system through a communication network A camera module for photographing a scene image including a fire-fighting check object, and a display module for outputting the augmented reality-based information reflecting the virtual information.
본 발명에 의한 모바일 증강현실 시스템에서의 통신 네트워크는, 3G 네트워크 또는 WIFI 중에서 선택되는 것을 특징으로 한다.The communication network in the mobile AR system according to the present invention is characterized in that it is selected from a 3G network or WIFI.
또한 본 발명에 의한 모바일 증강현실 시스템에서의 소방점검 대상물 관리시스템은, 소방점검 대상물에 대한 가상정보를 2D, LBS, AR 데이터로 각각 저장하며 사용자 등록 및 인증에 필요한 사용자 정보를 저장하는 데이터베이스, 소방점검 대상물을 포함하여 촬영된 현장 이미지 및 단말기 위치정보를 수신하거나 증강현실 기반의 소방점검 대상물 정보를 상기 네트워크를 통해 모바일용 사용자 단말기로 전송하는 정보 송/수신부, 수신된 이미지 및 단말기 위치정보를 기준으로 데이터베이스의 가상정보를 독출하고 수신된 이미지에 독출된 데이터베이스의 가상정보를 반영하여 증강현실 기반의 소방점검 대상물 정보를 생성하는 증강현실 브라우져를 포함하는 것을 특징으로 한다.Also, the fire fighting inspection object management system in the mobile augmented reality system according to the present invention includes a database for storing the virtual information about the fire fighting inspection object as 2D, LBS, and AR data and storing user information required for user registration and authentication, An information transmitting / receiving unit for receiving the photographed scene image and the terminal location information including the object to be inspected or transmitting the information on the firefighting check object based on the augmented reality to the user terminal for mobile through the network, And an augmented reality browser for reading out the virtual information of the database and generating the augmented reality based fire control object information by reflecting the virtual information of the database read out to the received image.
또한 본 발명에 의한 모바일 증강현실 시스템에서의 가상정보는, 위치정보, 건물 개황정보, 시설물 정보, 도면정보, 점검 현황 및 이력정보 중에서 적어도 하나 이상의 정보를 포함하는 것을 특징으로 한다.Further, the virtual information in the mobile AR system according to the present invention includes at least one of location information, building detailed information, facility information, drawing information, inspection status, and history information.
또한 본 발명에 의한 모바일 증강현실 시스템에서의 데이터베이스는, 소방점검 대상물에 대한 마커 정보를 더 저장하고, 가상 정보와 마커 정보를 연관지어 유지하는 것을 특징으로 한다.Further, the database in the mobile AR system according to the present invention is characterized in further storing marker information for a fire fighting check object, and maintaining virtual information and marker information in association with each other.
또한 본 발명에 의한 모바일 증강현실 시스템에서의 증강현실 브라우져는, 사용자 단말기의 현재 위치정보를 기준으로 수신된 현장 이미지를 분석하여 소방점검 대상물을 식별하는 대상물 식별부, 수신된 이미지로부터 소방점검 대상물의 마커를 추출하고 추출된 마커로부터 소방점검 대상물의 종류 및 마커 정보를 판독하는 트래킹 처리부를 포함하는 것을 특징으로 한다.In addition, the augmented reality browser in the mobile AR system according to the present invention includes an object identification unit for analyzing a received scene image on the basis of the current position information of the user terminal, And a tracking processing section for extracting the marker and reading the type of the fire control object and the marker information from the extracted marker.
또한 본 발명에 의한 모바일 증강현실 시스템에서의 증강현실 브라우져는, 데이터베이스로부터 마커 정보 또는 위치정보에 대응하는 소방점검 대상물의 가상정보를 독출하고 수신된 이미지에 독출된 가상정보를 반영하여 증강현실 기반의 소방점검 대상물의 정보를 생성하는 렌더링 처리부를 더 포함하는 것을 특징으로 한다.In addition, the augmented reality browser in the mobile AR system according to the present invention reads out the virtual information of the fire control object corresponding to the marker information or the positional information from the database and reflects the virtual information read out to the received image, And a rendering processor for generating information of the fire-fighting inspection object.
상기 목적을 달성하기 위한 본 발명의 다른 실시 형태는, (a) 관리 대상인 소방점검 대상물에 대한 가상정보를 마커 정보 또는 위치 정보와 연관지어 저장하여 소방점검 대상물의 데이터베이스를 유지하고 회원 등록 및 인증된 사용자 정보를 저장하여 사용자의 데이터베이스를 유지하는 단계, (b) 애플리케이션 구동과 동시에 등록된 사용자 정보를 이용하여 사용자 인증을 실시하고 사용자 인증이 완료된 모바일용 사용자 단말기에 대한 단말기 위치정보 및 현장 이미지를 수신하는 단계, 및 (c) 수신된 단말기 위치정보 및 이미지를 기준으로 소방점검 대상물의 데이터베이스를 검색하여 소방점검 대상물의 가상정보를 독출하고 수신된 현장 이미지에 독출된 데이터베이스의 가상정보를 반영하여 증강현실 기반의 소방점검 대상물 정보를 생성하여 사용자 단말기로 전송하는 단계를 포함하는 소방시설 점검용 모바일 증강현실 처리방법이다.According to another aspect of the present invention, there is provided a fire fighting inspection system comprising: (a) storing virtual information about a fire fighting inspection object to be managed, in association with marker information or position information, Storing the user information and maintaining the user's database; (b) performing user authentication using the registered user information at the same time as the application is activated; receiving the terminal position information and the scene image for the mobile user terminal And (c) reading the virtual information of the fire-fighting inspection object by searching the database of the fire-fighting inspection object based on the received terminal position information and the image, and reflecting the virtual information of the database read in the received scene image, Based fire control object information Mobile Augmented check for fire protection facilities comprising transmitting to the terminal a real party handling.
또한 본 발명에 의한 모바일 증강현실 처리방법에서의 (c) 단계는, (c1) 수신된 이미지로부터 소방점검 대상물에 대한 마커를 식별하고 식별된 마커로부터 소방점검 대상물의 종류 및 마커 정보를 판독하는 단계, (c2) 판독된 마커 정보에 대응하는 소방점검 대상물의 가상정보를 데이터베이스로부터 독출하는 단계, (c3) 수신된 이미지에 독출된 소방점검 대상물의 가상정보를 반영하여 증강현실 기반의 소방점검 대상물 정보를 생성하는 단계, 및 (c4) 생성된 증강현실 기반의 소방점검 대상물 정보를 모바일용 사용자 단말기로 전송하는 단계를 포함하는 것을 특징으로 한다. The step (c) of the method for processing mobile augmented reality according to the present invention may further comprise the steps of: (c1) identifying a marker for the fire control object from the received image, and reading the type and marker information of the fire control object from the identified marker (c2) reading the virtual information of the fire control object corresponding to the read marker information from the database, (c3) reflecting the virtual information of the fire control object read out to the received image, And (c4) transmitting the generated augmented reality-based fire control object information to the mobile user terminal.
또한 본 발명에 의한 모바일 증강현실 처리방법에서의 (c3) 단계는, 독출된 소방점검 대상물의 가상정보로부터 점검현황 및 이력정보를 체크하여, 점검 부재로 인한 위험도가 포함된 대상물에 대해서는 차별화된 색상으로 증강현실 기반의 소방점검 대상물 정보를 생성하는 단계를 더 포함하여 이루어질 수 있다.The step (c3) of the method for processing mobile augmented reality according to the present invention further comprises the steps of checking the inspection status and the history information from the virtual information of the read fire control inspection object, And generating the Augmented Reality-based fire control object information.
본 발명에 의하면, 모바일 환경의 사용자 단말기에서 소방 공무원용 또는 일반 사용자용 애플리케이션을 구동시킨 상태에서 소방 점검 대상 건물의 이미지를 카메라로 촬영하여 네트워크를 통해 관리 시스템으로 전송하고 해당 건물의 소방 시설에 대한 점검상태 및 그 현황 정보를 증강현실 기반으로 모바일 단말기로 제공해줄 수 있게 되므로, 소방시설 점검 및 그 관리업무를 효율적으로 실시할 수 있으며, 위험도 높은 건물 내에서의 일반 사용자들에 대한 안전 사고를 사전에 예방할 수 있는 이점이 있다.According to the present invention, an image of a fire-fighting inspection target building is photographed by a camera in a user terminal of a mobile environment while an application for a firefighting public servant or a general user is driven and transmitted to a management system via a network, It is possible to efficiently perform the inspection and management of firefighting facilities by providing the inspection status and the current status information to the mobile terminal based on the augmented reality, There is an advantage that can be prevented.
도 1은 본 발명에 따른 소방시설 점검용 모바일 증강현실시스템의 개략적인 구성의 개념도이다.
도 2는 본 발명에 따른 소방시설 점검용 모바일 증강현실시스템의 전체적인 구성을 예시한 블록도이다.
도 3a와 도 3b는 본 발명에 따른 소방시설 점검용 모바일 증강현실처리방법을 설명하기 위하여 예시한 동작 흐름도이다.
도 4 내지 도 20c는 본 발명에 따른 소방시설 점검용 모바일 증강현실처리방법이 실현되는 과정에서 모바일용 사용자 단말기에 출력될 수 있는 각 경우의 예시화면이다. 1 is a conceptual diagram of a schematic configuration of a mobile AR system for firefighting facility inspection according to the present invention.
2 is a block diagram illustrating an overall configuration of a mobile AR system for firefighting facility inspection according to the present invention.
FIGS. 3A and 3B are flowcharts illustrating a method of processing a mobile AR in order to examine a fire fighting system according to the present invention.
FIGS. 4 to 20C are exemplary screens that can be output to the mobile user terminal in the process of realizing the mobile augmented reality processing method for fire fighting facility inspection according to the present invention.
이하, 본 발명에 의한 소방시설 점검용 모바일 증강현실시스템 및 그 처리방법의 구성 및 동작을 첨부 도면을 참조하여 상세히 설명한다. 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the configuration and operation of a mobile AR system and a processing method thereof according to the present invention will be described in detail with reference to the accompanying drawings. It is to be understood that the words or words used in the present specification and claims are not to be construed in a conventional or dictionary sense and that the inventor can properly define the concept of a term in order to describe its invention in the best possible way And should be construed in light of the meanings and concepts consistent with the technical idea of the present invention. Therefore, it should be understood that the embodiments described herein and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and that various equivalents and modifications may be substituted for them at the time of the present application shall.
도 1은 본 발명에 따른 소방시설 점검용 모바일 증강현실시스템의 개략적인 구성을 예시한 개념도이고, 도 2는 본 발명에 따른 소방시설 점검용 모바일 증강현실시스템의 전체적인 구성을 예시한 블록도이다. 도 1 및 도 2에 도시된 바와 같이 본 발명에 따른 소방시설 점검용 모바일 증강현실시스템은, 모바일용 사용자 단말기(10), 통신 네트워크(20), 및 소방점검 대상물 관리시스템(100)을 포함하여 구성된다.FIG. 1 is a conceptual diagram illustrating a schematic configuration of a mobile ARF system for firefighting facility inspection according to the present invention, and FIG. 2 is a block diagram illustrating an overall configuration of a mobile ARF system for firefighting facility inspection according to the present invention. As shown in FIGS. 1 and 2, the mobile AR for monitoring a fire fighting system according to the present invention includes a
모바일용 사용자 단말기(10)는 소방점검 대상물에 대한 모바일 증강현실 시스템의 구현을 위한 모바일용 애플리케이션을 탑재하며 상기 애플리케이션의 구동을 통해 미리 설정된 또는 키입력되는 사용자 식별정보를 지정된 관리 시스템으로 전송하여 인증 대기하며, 인증 대기후 현장의 촬영 이미지 및 단말기 위치정보를 네트워크로 전송하거나 또는 가상정보가 반영된 증강현실 기반정보를 네트워크로부터 수신하여 디스플레이한다. 이러한 모바일용 사용자 단말기(10)는 GPS를 수신하여 단말기의 현재 주소 정보를 검색하는 GPS 모듈(11), 통신 네트워크(20)를 통해 소방점검 대상물 관리시스템(100)과 정보를 송수신하기 위한 송/수신 모듈(12), 소방점검 대상물을 포함하는 현장 이미지를 촬영하는 카메라 모듈(13), 및 가상정보가 반영된 증강현실 기반의 소방점검 대상물 정보를 출력하는 디스플레이 모듈(14)을 포함하여 구성된다. 이때 상기 디스플레이 모듈(14)을 통해 출력되는 증강현실 기반의 소방점검 대상물 정보는 사용자에 의한 표시모드의 선택에 따라 2D(2차원), LBS(위치기반서비스), AR(증강현실) 모드 중의 어느 하나의 표시방식을 통해 선택적으로 표출될 수 있다. The
통신 네트워크(20)는 모바일용 사용자 단말기에서 촬영된 이미지 및 단말기 위치정보를 소방점검 대상물 관리시스템으로 실시간 전송하거나 또는 소방점검 대상물 관리시스템으로부터 데이터베이스의 가상정보가 반영된 증강현실 기반정보를 모바일용 사용자 단말기로 실시간 전송한다. 이러한 통신 네트워크(20)는 3G 네트워크 또는 WIFI(wireless lan) 중에서 선택되어 사용될 수 있을 것이다.The
소방점검 대상물 관리시스템(100)은 모바일용 사용자 단말기로부터 전송되는 사용자 식별정보를 체크하여 사용자 인증을 실시하며, 인증된 사용자 단말기로부터 통신 네트워크를 통해 전송되는 현장의 촬영 이미지 및 단말기 위치정보를 수신하여 데이터베이스의 가상정보를 독출하고, 상기 수신된 이미지에 상기 독출된 데이터베이스의 가상정보를 반영하여 소방점검 대상물에 대한 증강현실 기반정보를 생성하여 모바일용 사용자 단말기로 전송한다. 특히 여기서 생성 및 전송되는 증강현실 기반정보는 소방점검 대상물의 건물개황정보, 시설물정보, 점검현황 및 이력정보를 포함하는 정보이며, 이러한 증강현실 기반의 소방점검 대상물 정보는 2D(2차원), LBS(위치기반서비스), AR(증강현실) 모드 중의 어느 하나의 표시방식으로 표출될 수 있도록 생성된다. 이러한 소방점검 대상물 관리시스템(100)은, 데이터베이스(110), 정보 송/수신부(120), 및 증강현실 브라우져(130)를 포함한다.The fire fighting check
데이터베이스(110)는 소방점검 대상물에 대한 가상정보를 2D(2차원), LBS(위치기반서비스), AR(증강현실) 데이터로 각각 저장하며, 사용자 등록 및 인증에 필요한 사용자 정보를 저장한다. 이 데이터베이스(110)에 저장되는 가상정보는 소방점검 대상물에 대한 위치정보, 건물 개황정보, 시설물 정보, 도면정보, 점검 현황 및 이력정보 중에서 선택되는 적어도 하나 이상의 정보를 포함한다. 특히 이 데이터베이스(110)는 소방점검 대상물에 대한 마커 정보를 더 저장하고, 상기 가상 정보와 마커 정보를 연관지어 유지하는 것이 바람직하다.The
정보 송/수신부(120)는 소방점검 대상물을 포함하여 촬영된 현장 이미지 및 단말기 위치정보를 수신하거나 증강현실 기반의 소방점검 대상물 정보를 네트워크를 통해 모바일용 사용자 단말기로 전송한다.The information transmission /
증강현실 브라우져(130)는 수신된 이미지 및 단말기 위치정보를 기준으로 데이터베이스의 가상정보를 독출하고, 상기 이미지에 상기 독출된 데이터베이스의 가상정보를 반영하여 증강현실 기반의 소방점검 대상물 정보를 생성하여 모바일용 사용자 단말기(10)에 전송한다. 이를 위하여 증강현실 브라우져(130)는 대상물 식별부(131), 트래킹 처리부(132), 및 렌더링 처리부(133)를 포함하여 구성된다.The augmented
대상물 식별부(131)는 상기 사용자 단말기의 현재 위치정보를 기준으로 상기 수신된 현장 이미지를 분석하여 상기 소방점검 대상물을 식별한다.The
트래킹 처리부(132)는 상기 수신된 이미지로부터 상기 소방점검 대상물의 마커를 추출하고, 그 추출된 마커로부터 소방점검 대상물의 종류 및 마커 정보를 판독한다. The
렌더링 처리부(133)는 데이터베이스로부터 마커 정보 또는 위치 정보에 대응하는 소방점검 대상물의 가상정보를 독출하고, 수신된 이미지에 상기 독출된 가상정보를 반영하여 상기 언급된 2D, LBS, AR 모드를 통해 선택적으로 표출될 수 있는 증강현실 기반의 소방점검 대상물의 정보를 생성하여 상기 정보 송/수신부(120) 및 네트워크(20)를 통해 모바일용 사용자 단말기(10)로 전송한다. 이때 렌더링 처리부(133)는 상기 독출된 소방점검 대상물의 가상정보로부터 점검현황 및 이력정보를 체크하여, 점검 부재로 인한 위험도가 포함된 대상물에 대해 차별화된 색상으로 증강현실 기반의 소방점검 대상물 정보를 생성함으로써, 위험도가 높은 대상물에 대해서는 사용자 단말기에 다른 색상의 증강현실 기반의 정보가 디스플레이 될 수 있게 한다. The
도 3a와 도 3b는 본 발명에 따른 소방시설 점검용 모바일 증강현실처리방법을 설명하기 위하여 예시한 동작 흐름도로서, 모바일용 사용자 단말기(10)와 통신 네트워크(20)를 통해 연결된 상태에서 소방점검 대상물 관리시스템(100)에 의해 실행되는 동작 흐름을 예시하고 있다.3A and 3B are flowcharts illustrating an exemplary method for processing a mobile AR in a fire fighting facility inspection according to an embodiment of the present invention. And illustrates the operational flow executed by the
(a) 단계는 소방점검 대상물 관리시스템(100)의 데이터베이스(110)를 통해 이루어지는 처리 단계로서, 관리 대상인 소방점검 대상물에 대한 가상정보를 마커 정보 또는 위치 정보와 연관지어 저장하여 소방점검 대상물의 데이터베이스를 유지하고 회원 등록 및 인증된 사용자 정보를 저장하여 사용자의 데이터베이스를 유지하는 단계(S101)이다.(a) is a processing step performed through the
(b) 단계는 모바일용 사용자 단말기(10)와 소방점검 대상물 관리시스템(100)이 통신 네트워크를 통해 연동되어 이루어지는 처리 단계로서, 모바일용 사용자 단말기에 탑재된 애플리케이션의 구동과 동시에 등록된 사용자 정보를 이용하여 사용자 인증을 실시하고, 사용자 인증이 완료된 모바일용 사용자 단말기로부터 단말기 위치정보 및 현장 이미지를 수신하는 단계(S102-S104)이다.(b) is a processing step in which the
(c) 단계는 증강현실 브라우져(130)의 렌더링 처리부(133)에서 이루어지는 처리 단계로서, 상기 모바일용 사용자 단말기로부터 수신된 단말기 위치정보 또는 현장 이미지를 기준으로 소방점검 대상물의 데이터베이스를 검색하여 소방점검 대상물의 가상정보를 독출하고, 상기 수신된 현장 이미지에 상기 독출된 데이터베이스의 가상정보를 반영하여 증강현실 기반의 소방점검 대상물 정보를 생성하여 사용자 단말기로 전송하는 단계(S105-S112)이다. 이때 (c) 단계는 (c1) 상기 수신된 이미지로부터 상기 소방점검 대상물에 대한 마커를 식별하고, 상기 식별된 마커로부터 상기 소방점검 대상물의 종류 및 상기 마커 정보를 판독하는 단계(S105), (c2) 상기 판독된 마커 정보 또는 단말기의 위치 정보에 대응하는 소방점검 대상물의 가상정보를 상기 데이터베이스로부터 독출하는 단계(S106,S107), (c3) 상기 수신된 이미지에 상기 독출된 소방점검 대상물의 가상정보를 반영하여 증강현실 기반의 소방점검 대상물 정보를 생성하는 단계(S108-S111), 및 (c4) 상기 생성된 증강현실 기반의 소방점검 대상물 정보를 모바일용 사용자 단말기로 전송하는 단계(S112)를 포함하여 이루어진다. (c) is a processing step performed in the
특히 상기 (c3) 단계는 상기 독출된 소방점검 대상물의 가상정보로부터 점검현황 및 이력정보를 체크하여 점검 부재 또는 누락 여부를 판단하는 단계(S108,S109), 상기 판단 결과 점검 부재 또는 누락이 아닌 대상물에 대해서는 정상적인 증강현실 기반의 소방점검 대상물 정보를 생성하는 단계(S110), 상기 판단 결과 점검 부재 또는 누락으로 인한 위험도가 포함된 대상물에 대해서는 차별화된 색상으로 증강현실 기반의 소방점검 대상물 정보를 생성하는 단계(S111)로 구분되어 이루어진다. 이로써, 점검 부재 등으로 인해 위험도가 높은 대상물 정보에 대해서는 차별화된 색상으로 증강현실 기반의 소방점검 대상물 정보를 표출함으로써, 사용자 단말기를 이용하는 담당자로 하여금 해당 사실을 용이하게 인지할 수 있도록 한다.In particular, the step (c3) may include checking the inspection status and the history information from the virtual information of the read fire control object to determine whether the inspection object or the object is missing (S108, S109) (S110) of generating normal Augmented Reality-based fire control object information, and generating augmented reality-based fire control object information in a different color for the object including the risk due to the check element or omission (S111). Thus, by displaying the augmented reality-based fire control object information with different colors for object information with high risk due to the checking member or the like, the person using the user terminal can easily recognize the fact.
한편, (c) 단계에서 증강현실 브라우져(130)의 렌더링 처리부(133)에 의해 생성되어 모바일용 사용자 단말기(10)에 디스플레이되는 증강현실 기반의 소방점검 대상물 정보는 도 4에 예시된 바와 같이, 2D(2차원) 평면상에서 주변 소방점검 대상물의 위치를 마커를 이용하여 표시하는 2D 표시모드, AR(증강현실) 및 LBS(위치기반서비스)를 이용하여 소방점검 대상물의 위치를 마커를 이용하여 표시하는 LBS 표시모드, 및 AR(증강현실)을 이용하여 소방점검 대상물을 인식하고 표시하는 AR 표시모드 중에서 선택되는 어느 하나의 표시모드를 통해 제공된다. 이때 각각의 표시모드 상에는 현재의 단말기 위치정보를 기준으로 소방점검 대상물의 검색을 위한 반경 및 카테고리 조건을 설정할 수 있는 검색모드, 카메라 영상에 표출되는 마커들의 목록을 표시하는 목록모드, 내비게이션 맵을 통해 마커를 기반으로 소방점검 대상물의 위치를 표출하는 지도모드, 소방점검 대상물의 다양한 조회 조건을 이용하여 검색할 수 있는 자료조회모드, 소방 관련 컨텐츠를 제공하는 정보마당모드, 대상물의 검사 일정을 달력을 기반으로 제공하는 일정모드로의 이동이 가능한 다수의 메뉴바가 표시화면 하단에 함께 제공된다. 아울러 상기 각 표시모드 상에는 각 표시모드를 선택할 수 있는 화면선택 메뉴바(2D,LBS,AR)가 화면 상단에 함께 제공된다.4, the augmented reality-based fire control object information generated by the
특히, LBS 표시모드에서는 도 5에 예시된 바와 같이 GPS 신호 및 모바일용 사용자 단말기의 자이로스코프 센서의 출력신호를 체크하여 사용자 단말기가 수직으로 세워진 경우 대상물 마커가 표시되고 그 상태에서 대상물 마커를 선택하였을 경우 소방점검 대상물에 대한 상세정보 창이 제공되며, 사용자 단말기가 수평으로 눕혀졌을 경우 나침반을 이용한 방향 정보가 제공된다. 또한 이러한 LBS 표시모드에서는 대상물 마커를 선택하였을 경우 팝업창을 통해 해당 대상물의 상세정보가 제공되며, 아울러 해당 대상물에 대해 상세 업무를 수행할 수 있는 기능으로 이동 가능한 조회모드, 당해연도 소방검사 일정을 제공하는 기능으로 이동 가능한 검사일정모드, 및 대상물에 있는 도면 정보를 제공하는 기능으로 이동 가능한 도면모드를 선택할 수 있는 이동 메뉴바가 팝업창의 화면 하단에 함께 제공된다.In particular, in the LBS display mode, the GPS signal and the output signal of the gyroscope sensor of the mobile user terminal are checked as illustrated in FIG. 5, and when the user terminal is vertically erected, the object marker is displayed and the object marker is selected in that state A detailed information window for a fire control object is provided, and direction information using a compass is provided when the user terminal is horizontally laid down. In addition, in the LBS display mode, when the object marker is selected, detailed information of the object is provided through a pop-up window, and a display mode in which the object can be moved to a function capable of performing detailed work can be provided. And a movement menu bar for selecting a movable drawing mode by a function of providing drawing information in the object are provided at the bottom of the screen of the pop-up window.
이러한 LBS 표시모드 상에서 도면 모드가 선택되는 경우, 도면 모드 표시화면에서는 도 6에 예시된 바와 같이 각 동별 및 각 층별로 각각 구분되는 도면을 선택할 수 있는 도면 선택화면이 제공되며, 이때 표시되는 각각의 도면은 줌인/아웃, 회전, 이동 가능하도록 제공된다. 또한 이들 도면 표시화면에서는 도 7에 예시된 바와 같이 각 도면상에 다양한 소방 시설물에 대한 배치정보 및 그 부가정보를 추가 및 저장할 수 있는 기능이 제공되며, 상기 시설물은 마커 형태로 제공되어 마커 선택시 각 소방점검 대상물에 대한 상세정보가 제공된다.When the drawing mode is selected in the LBS display mode, as shown in FIG. 6, the drawing mode display screen is provided with a drawing selection screen capable of selecting drawings classified by each dynamic and each floor, The drawing is provided for zooming in / out, rotating, and moving. In addition, as illustrated in FIG. 7, these drawings are provided with the function of adding and storing the arrangement information and the additional information for various fire fighting facilities on each drawing, and the facilities are provided in the form of a marker, Detailed information on each fire fighting inspection object is provided.
다음으로 2D 표시모드에서는 도 8에 예시된 바와 같이 멀티터치를 이용한 줌인/아웃, 반경(m) 및 주용도 카테고리의 변경 및 검색 범위를 설정하기 위한 팝업창이 제공되고, 정보조회모드, 검사일정모드, 도면정보 모드로의 이동이 가능한 이동메뉴바가 표시화면상의 일측에 함께 제공된다. Next, in the 2D display mode, a pop-up window for setting a zoom in / out, a radius (m), a main category and a search range using multi-touch is provided as illustrated in FIG. 8, A movement menu bar capable of moving to the drawing information mode is provided together on one side of the display screen.
마지막으로 AR 표시모드에서는, 도 9에 예시된 바와 같이 소방점검 대상물을 인식하여 그에 대한 부가정보를 제공하며, 인식된 대상물을 선택하는 경우 건물개황, 동 현황, 층 현황, 점검 이력 정보가 평면 또는 큐브 형태의 정보박스로 제공된다. 이러한 AR 표시모드는 인식된 대상물이 시설물 정보를 포함하고 있는 건물일 경우 각 층별 해당 시설물이 도 10에 예시된 바와 같은 3D 형태로 증강되어 표시되고, 그 증강된 대상물에 대한 좌우 회전모드가 지원될 수 있도록 제공된다.Finally, in the AR display mode, as shown in FIG. 9, the fire-fighting inspection object is recognized and additional information is provided. When the recognized object is selected, the building profile, the current status, the floor status, It is provided as a cube-shaped information box. In the AR display mode, if the recognized object is a building including the facility information, the corresponding facility for each floor is augmented and displayed in a 3D form as illustrated in FIG. 10, and a left / right rotation mode for the enhanced object is supported .
또한 각각의 2D, LBS, 및 AR 표시모드에서 제공되는 검색모드는 도 11에 예시된 바와 같이 소방점검 대상물의 거리별 검색 범위를 현재 단말기의 위치를 기준으로 하여 일정 반경 단위로 설정할 수 있도록 제공되며, 소방 대상물에 대한 카테고리의 검색 범위를 건물의 종류를 기준으로 하여 전체, 근린생활, 복합건축물, 노유자 시설, 공장 그리고 기타 항목으로 설정할 수 있도록 제공된다. The search mode provided in each 2D, LBS, and AR display mode is provided so that the search range of the object of the fire fighting inspection object can be set in units of a certain radius based on the current position of the terminal, as illustrated in FIG. 11 , And the search range of category for the object of fire prevention is provided to be set as the whole, the neighborhood living, the complex building, the careless facility, the factory and other items based on the type of the building.
또한 각각의 2D, LBS, 및 AR 표시모드에서 제공되는 목록모드는 도 12에 예시된 바와 같이 카메라 영상 화면에 표출된 마커 목록을 표 형태로 제공하며, 멀티터치를 이용하여 썸네일 형태로 변경 후 원하는 목록을 선택하도록 제공되고, 선택시 상세정보 기능으로 이동 가능하도록 제공된다.Also, the list mode provided in each 2D, LBS, and AR display mode provides a list of markers displayed on a camera image screen as a table, as illustrated in FIG. 12, and changes to a thumbnail form using multi- And is provided to be movable to the detailed information function upon selection.
또한 각각의 2D, LBS, 및 AR 표시모드에서 제공되는 지도모드는 도 13에 예시된 바와 같이, 내비게이션용 2D 형태의 맵으로 제공되며, 대상물 위치를 2D 형태의 맵 상에 마커를 기반으로 표출하고, 마커 선택시 해당 소방점검 대상물의 상세정보가 제공된다.In addition, the map modes provided in the 2D, LBS, and AR display modes are provided as 2D map for navigation, as illustrated in FIG. 13, and the object positions are displayed on a 2D map based on the markers , Detailed information of the fire-fighting inspection object is provided when the marker is selected.
또한 각각의 2D, LBS, 및 AR 표시모드에서 제공되는 자료조회모드는 도 14에 예시된 바와 같이 소방점검 대상물의 목록 전체를 검색할 수 있는 전체 조회모드가 제공되고, 도면 정보, 소방검사서, 검사일정, 미디어, 건물 동현황, 관계자, 경방계획, 소방시설 정비, 작성자, 건물 층현황, 건물 층설비, 건물 층시설 세부 항목이 제공된다.Also, as shown in FIG. 14, the data inquiry mode provided in each 2D, LBS, and AR display mode is provided with an overall inquiry mode for searching the entire list of fire extinguishing check objects, Details of the schedule, media, building operation status, personnel, rescue plan, firefighting facility maintenance, author, building floor status, building floor facility, and building floor facility are provided.
또한 각각의 2D, LBS, 및 AR 표시모드에서 제공되는 정보마당모드는 도 15a에 예시된 바와 같이, 현장에서 활용할 수 있는 소방 관련 컨텐츠를 제공하며, 상기 컨텐츠는 멀티터치 기능을 이용하여 줌인/아웃 가능한 소방관계법규, 소방검사서 작성요령, 소방검사 직무매뉴얼로서, 도 15b에 예시된 바와 같이 현장 소방검사에 필요한 소방 관계 법규를 분류별로 제공하는 소방 관계법규 메뉴, 도 15c에 예시된 바와 같이 현장 소방공무원이 수행하는 소방검사서에 대한 작성요령을 제공하는 소방검사서 작성요령메뉴, 도 15d에 예시된 바와 같이 소방검사에 대한 직무매뉴얼 전체를 제공하는 소방검사 직무 매뉴얼 메뉴가 제공된다. 이러한 정보 마당을 통해 제공되는 소방 관계 법규 및 직무 매뉴얼 등을 이용하는 경우 현장에서 소방 시설물을 점검하기 위해 필요로 하는 관련 법규 및 직무 매뉴얼을 효율적으로 적용할 수 있게 되며, 따라서 소방 점검 업무를 효율적으로 유도할 수 있게 된다.Also, as shown in FIG. 15A, the information mode provided in each 2D, LBS, and AR display mode provides fire-related contents that can be utilized in the field, and the contents can be zoomed in / out As illustrated in FIG. 15B, the menu of fire fighting related laws and regulations, which provides the fire fighting related laws and regulations required for the field fire fighting inspections as classified, as illustrated in FIG. 15B, A menu of fire fighting duties, which provides instructions on how to fill out the fire fighting duties performed by public officials, is provided, as illustrated in FIG. 15d, which provides a fire fighting inspection job manual menu that provides the entire job manual for fire fighting inspections. In case of using the fire related regulations and job manual provided through this information field, it is possible to efficiently apply the relevant laws and regulations and job manuals required for checking the fire fighting facilities in the field, and accordingly, .
또한 각각의 2D, LBS, 및 AR 표시모드에서 제공되는 일정모드는 도 16a에 예시된 바와 같이 소방 공무원이 관할하는 소방 대상물들의 당해연도 주요 검사일정을 달력 형태로 제공하며, 일정 선택을 위한 상세정보가 제공되되, 도 16b에 예시된 바와 같이 여러 소방공무원의 소방검사 일정을 달력 형태로 제공하는 일정검색 메뉴, 이전달의 소방 검사일정을 검색할 수 있는 이전달 검색메뉴, 해당년도 및 월을 선택창을 통해 변경 가능한 월변경 메뉴, 다음달의 소방 검사일정을 검색할 수 있는 다음달 검색메뉴를 포함하여 제공되고, 표시된 일정을 선택하였을 경우 도 16c에 예시된 바와 같이 해당 일자에 등록되어 있는 대상목록을 보여주고, 대상목록을 선택하였을 경우 상세정보가 제공된다. 이러한 일정 정보를 이용하는 경우 현장에서 소방점검을 위한 일정 선택을 편리하면서도 효율적으로 지원할 수 있게 되므로, 소방 시설 점검 업무의 효율성을 극대화시킬 수 있게 될 것이다.The schedule mode provided in each 2D, LBS, and AR display mode provides the main inspection schedule of the fire control objects managed by the firefighting officer in the form of a calendar in the form of a calendar as illustrated in FIG. 16A, As shown in FIG. 16B, a schedule search menu providing various fire fighting inspection schedules of various firefighting officers in the form of a calendar, a previous month search menu in which a fire fighting inspection schedule of the previous month can be searched, a selected year and month A month change menu that can be changed through a window, and a next month search menu in which a fire test schedule of the next month can be searched. When the displayed schedule is selected, as shown in FIG. 16C, Detailed information is provided when the target list is selected. If such schedule information is used, it will be possible to conveniently and efficiently support schedule selection for firefighting inspection in the field, thereby maximizing efficiency of firefighting facility inspection work.
또한 각각의 2D, LBS, 및 AR 표시모드에서 제공되는 자료조회모드에서의 소방점검 대상물 목록은 도 17a에 예시된 바와 같이 사용자 단말기를 사용하는 소방 공무원이 소속된 지역의 대상물 목록으로 제공하며, 대상물을 조건에 따라 검색할 수 있는 검색분류 조건 선택창이 제공된다. 이때 검색분류 조건 선택시 도 17b에 예시된 바와 같이 전체, 대상물명, 주소, 반경(m) 및 주용도를 조건으로 검색 가능한 메뉴가 제공되고, 사용자가 선택한 조건에 따라 제공되는 소방점검 대상물의 상세정보는 도 17c 및 도 17d에 예시된 바와 같이 소방검사시 주로 이용하는 기능(검사서, 미디어, 검사일정)이 빠른 메뉴로 제공되며, 선택한 대상물에 대한 다양한 부가정보를 검색할 수 있는 부가정보 검색 메뉴, 도면정보, 소방검사서, 검사일정, 미디어, 건물 동현황, 관계자 정보로의 즉시 이동이 가능한 바로가기 메뉴, 및 주변 대상물을 쉽게 검색할 수 있는 뷰 플립 메뉴가 제공된다. 이러한 소방점검 대상물 목록을 이용하는 경우 소방 공무원은 현위치에서 그 주변의 소방점검 대상물 정보를 한눈에 파악할 수 있게 되며, 따라서 대상물로의 이동시간을 줄여 대상물 사이를 순차적으로 이동하는 소방 공무원의 움직임을 효율적으로 유도할 수 있으며, 따라서 소방 설비의 점검에 소요되는 인력 및 시간 낭비를 줄일 수 있게 될 것이다.Also, as shown in FIG. 17A, the fire-fighting inspection object list in the data inquiry mode provided in the 2D, LBS, and AR display modes is provided as a list of objects in the area to which the fire-fighting officer using the user terminal belongs, A search classification condition selection window is provided which can search according to conditions. At this time, when a search classification condition is selected, a menu that can be searched based on the whole, object name, address, radius (m) and main usability is provided as illustrated in FIG. 17B, and detailed information As illustrated in FIGS. 17C and 17D, are provided with a quick menu of functions (inspection books, media, inspection schedules) mainly used in the fire inspection, and additional information search menus for searching various additional information on the selected objects A shortcut menu that allows immediate movement to the information of the firefighting attorney, an inspection schedule, a media, a building movement status, an official information, and a view flip menu for easily searching the surrounding objects are provided. In the case of using the list of fire control inspection objects, the fire official can grasp the information of the fire control object in the vicinity at the current position, thereby reducing the movement time to the object and efficiently moving the movement of the fire control officer moving sequentially between the objects Therefore, it will be possible to reduce the manpower and time required for the inspection of the fire fighting equipment.
또한 각각의 2D, LBS, 및 AR 표시모드에서 제공되는 자료조회모드에서의 도면정보 목록은, 도면정보 바로가기 메뉴가 선택되면 도면이 있을 경우 도 18a에 예시된 바와 같이 각 층별 도면정보를 선택할 수 있는 목록으로 제공되고, 각 층별 도면 목록을 선택하는 경우 도 18b에 예시된 바와 같이 해당 층의 도면 상세정보와 함께 도면 이미지가 표출되고, 층시설 버튼으로 세부 시설물 정보가 제공되며, 터치를 통한 원본 이미지의 확인 및 확대/축소가 가능하도록 제공된다. 이러한 도면 정보 목록을 이용하는 경우 현장에서 소방 시설물을 점검하기 위해 동간 또는 층간 이동하는 소방 공무원의 움직임을 효율적으로 유도할 수 있으며, 따라서 소방 설비의 점검에 소요되는 인력 및 시간 낭비를 줄일 수 있게 될 것이다.Also, when the drawing information shortcut menu is selected, the drawing information list in the data inquiry mode provided in each 2D, LBS, and AR display mode can select the drawing information for each floor as illustrated in FIG. 18A When a list of drawings for each floor is selected, the drawing image is displayed together with the drawing detailed information of the floor as illustrated in FIG. 18B, the detailed facility information is provided by the floor facility button, It is provided to enable confirmation and enlargement / reduction of images. Using this list of drawing information, it is possible to efficiently induce the movement of the firefighting officer moving between the dyke or the floor to check the firefighting facilities in the field, and thus it will be possible to reduce manpower and time wasted in checking firefighting facilities .
또한 각각의 2D, LBS, 및 AR 표시모드에서 제공되는 자료조회모드에서의 소방 검사서 목록은, 소방점검 대상물에서 소방검사서 항목을 선택하게 되면 도 19a에 예시된 바와 같이 입력버튼을 이용하여 현재 서면으로 작성중인 소방검사서 양식과 동일한 양식의 소방검사서를 작성할 수 있는 메뉴로 제공된다. 이때 소방 검사서는 도 19b에 예시된 바와 같이 3가지 탭으로 구성되는 순차적인 입력 절차에 따라 필수정보(점검결과와 관계인)와 서명의 입력에 의해 작성 완료되어 시스템에 저장될 수 있게 된다. 여기서 필요에 따라 선택적으로 관계자료를 입력 가능하도록 메뉴가 제공될 수도 있다. 이러한 소방 검사서 목록을 이용하게 되면 현장에서 근무하는 소방 공무원 등은 모바일 환경의 사용자 단말기를 통해 소방 점검 대상물의 점검과 동시에 현장에서 즉시 소방 검사서의 작성이 가능하게 되므로, 현장과 사무실을 반복적으로 오가며 번거롭게 업무를 처리해야 하는 불편함을 줄일 수 있어 업무의 효율성을 높일 수 있게 될 것이다. Also, the list of the fire-fighting inspection books in the data inquiry mode provided in the 2D, LBS, and AR display modes, when the fire-fighting inspection item is selected from the fire-fighting inspection object, It is provided as a menu that allows you to fill out the Fire Prevention Draft in the same form as the Fire DOD form you are writing. At this time, as illustrated in FIG. 19B, the fire extinguishing inspection document can be completed and stored in the system by inputting essential information (related to the inspection result) and signature by a sequential input procedure composed of three tabs. Here, a menu may be provided so that the relationship data can be optionally input as needed. When the list of fire-fighting bills is used, fire-fighting officers working in the field can check the fire-fighting check objects and make the fire-fighting bills immediately on the spot through the user terminal of the mobile environment. This will reduce the inconvenience of having to deal with the task, which will increase the efficiency of the work.
또한 각각의 2D, LBS, 및 AR 표시모드에서 제공되는 자료조회모드에서의 미디어 목록은, 도 20a에 예시된 바와 같이 소방점검 대상물의 기 등록된 미디어 목록이 제공되며 검색 또는 입력 버튼의 선택을 통해 음성, 사진, 동영상의 신규 미디어를 입력할 수 있는 기능을 제공하는 미디어 목록 메뉴, 도 20b에 예시된 바와 같이 소방점검 대상물의 기 등록된 미디어의 검색 조건을 설정할 수 있는 조건 목록이 제공되며 설명에 따른 검색, 분류에 따른 검색, 및 등록 기간에 따른 검색기능을 제공하는 미디어 검색 메뉴, 도 20c에 예시된 바와 같이 소방점검 대상물의 점검내용이 담긴 미디어를 종류별로 구분하여 입력할 수 있도록 미디어 종류 선택 목록이 제공되며 미디어의 종류를 음성, 사진, 동영상, 부가설명으로 구분 입력할 수 있는 기능을 제공하는 미디어 입력메뉴가 제공된다. 이러한 미디어 목록을 이용하여 모바일 환경의 사용자는 음성, 사진, 동영상의 신규 미디어를 입력하거나 또는 기 등록된 미디어를 검색하거나 또는 기록 업무에 참고할 수 있게 된다. Also, as shown in FIG. 20A, the media list in the data display mode provided in each 2D, LBS, and AR display mode is provided with a pre-registered media list of the fire control object, A media list menu providing a function of inputting new media of voice, pictures, and moving pictures, and a list of conditions for setting search conditions of pre-registered media of the fire control object, as illustrated in FIG. 20B, A media search menu that provides a search function according to a registration period, a media search menu that provides a search function according to a registration period, and a media type selection menu, as shown in FIG. 20C, A list is provided, and media that provides the ability to enter media types by voice, photo, video, An input menu is provided. By using such a media list, a user in a mobile environment can input new media of voice, picture, and moving image, or retrieve pre-registered media or refer to a recording job.
따라서 이상의 본 발명은 스마트 폰과 같은 모바일 환경의 사용자 단말기에서 소방 공무원용 또는 일반 사용자용 애플리케이션을 구동시킨 상태에서 카메라 모듈을 통해 소방시설이 있는 건물을 촬영하여 전송하게 되면, 관리시스템에서는 단말기의 위치정보와 촬영 이미지를 이용하여 증강현실 기반의 소방점검 대상물의 정보를 2D, LBS, AR 중에서 선택되는 어느 하나의 표시화면을 통해 단말기로 제공할 수 있게 되므로, 시설에 대한 점검현황 정보를 쉽게 제공할 수 있게 되어 기존 소방시설 점검 업무를 효율적으로 개선할 수 있게 되며, 위험도가 높은 소방시설에 대해서는 소방시설의 점검상태 및 현황을 색상으로 표출하여 제공함으로써 점검 부재 또는 누락에 의한 안전사고를 사전에 예방할 수 있게 된다.Accordingly, in the present invention, when a fire-fighting officer or an ordinary user application is operated in a user terminal of a mobile environment such as a smart phone and the fire-fighting facility is photographed through the camera module, Information of the fire fighting inspection object based on the augmented reality can be provided to the terminal through any one of the display screen selected from 2D, LBS, and AR by using the information and the shot image, It is possible to improve the inspection work of existing firefighting facilities effectively. In case of high-risk firefighting facilities, the inspection status and status of firefighting facilities are displayed in color so as to prevent safety accidents due to inspections or omissions. .
이상과 같이 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Modification is possible. Accordingly, it is intended that the scope of the invention be defined by the claims appended hereto, and that all equivalent or equivalent variations thereof fall within the scope of the present invention.
10 : 모바일용 사용자 단말기 11 : GPS 모듈
12 : 송수신모듈 13 : 카메라 모듈
14 : 디스플레이 모듈 20 : 네트워크
100 : 소방점검 대상물 관리 시스템 110 : 데이터베이스
120 : 정보 송/수신부 130 : 대상물 식별부
140 : 트래킹 처리부 150 : 렌더링 처리부 10: User terminal for mobile 11: GPS module
12: Transmitting / receiving module 13: Camera module
14: Display module 20: Network
100: Fire fighting check object management system 110: Database
120: information transmitting / receiving unit 130:
140: tracking processing unit 150: rendering processing unit
Claims (13)
상기 모바일용 사용자 단말기에서 촬영된 이미지 및 단말기 위치정보를 소방점검 대상물 관리시스템으로 실시간 전송하거나 또는 상기 소방점검 대상물 관리시스템으로부터 데이터베이스의 가상정보가 반영된 증강현실 기반정보를 모바일용 사용자 단말기로 실시간 전송하는 통신 네트워크; 및
상기 모바일용 사용자 단말기로부터 전송되는 사용자 식별정보를 체크하여 사용자 인증을 실시하며, 인증된 사용자 단말기로부터 상기 통신 네트워크를 통해 전송되는 현장의 촬영 이미지 및 단말기 위치정보를 수신하여 데이터베이스의 가상정보를 독출하고, 상기 수신된 이미지에 상기 독출된 데이터베이스의 가상정보를 반영하여 소방점검 대상물에 대한 증강현실 기반정보를 생성하여 모바일용 사용자 단말기로 전송하는 소방점검 대상물 관리시스템;
을 포함하고,
상기 증강현실 기반정보는 소방점검 대상물의 건물개황정보, 시설물정보, 점검현황 및 이력정보를 포함하는 정보이며,
상기 모바일용 사용자 단말기는,
GPS를 수신하여 단말기의 현재 주소 정보를 검색하는 GPS 모듈;
통신 네트워크를 통해 소방점검 대상물 관리시스템과 정보를 송수신하기 위한 송/수신 모듈;
소방점검 대상물을 포함하는 현장 이미지를 촬영하는 카메라 모듈; 및
가상정보가 반영된 증강현실 기반정보를 출력하는 디스플레이 모듈을 포함하며,
상기 소방점검 대상물 관리시스템은,
상기 소방점검 대상물에 대한 가상정보를 2D, LBS, AR 데이터로 각각 저장하며, 사용자 등록 및 인증에 필요한 사용자 정보를 저장하는 데이터베이스;
상기 소방점검 대상물을 포함하여 촬영된 현장 이미지 및 단말기 위치정보를 수신하거나 증강현실 기반의 소방점검 대상물 정보를 상기 네트워크를 통해 모바일용 사용자 단말기로 전송하는 정보 송/수신부;
상기 수신된 이미지 및 단말기 위치정보를 기준으로 데이터베이스의 가상정보를 독출하고, 상기 이미지에 상기 독출된 데이터베이스의 가상정보를 반영하여 증강현실 기반의 소방점검 대상물 정보를 생성하는 증강현실 브라우져;
를 포함하며,
상기 증강현실 브라우져는,
상기 사용자 단말기의 현재 위치정보를 기준으로 상기 수신된 현장 이미지를 분석하여 상기 소방점검 대상물을 식별하는 대상물 식별부;
상기 수신된 이미지로부터 상기 소방점검 대상물의 마커를 추출하고, 상기 추출된 마커로부터 상기 소방점검 대상물의 종류 및 상기 마커 정보를 판독하는 트래킹 처리부; 및
상기 데이터베이스로부터 마커 정보 또는 위치정보에 대응하는 소방점검 대상물의 가상정보를 독출하고, 상기 수신된 이미지에 상기 독출된 소방점검 대상물의 가상정보를 반영하여 상기 증강현실 기반의 소방점검 대상물의 정보를 생성하는 렌더링 처리부;를 포함하며,
상기 렌더링 처리부는, 상기 독출된 소방점검 대상물의 가상정보로부터 점검현황 및 이력정보를 체크하여, 점검 부재로 인한 위험도가 포함된 대상물에 대해 차별화된 색상으로 증강현실 기반의 소방점검 대상물 정보를 생성함으로써, 위험도가 포함된 대상물에 대해서는 사용자 단말기에 다른 색상의 증강현실 기반의 정보가 디스플레이 될 수 있도록 하는 것을 특징으로 하는 소방시설 점검용 모바일 증강현실시스템.
An application for the implementation of a mobile AR system for a fire fighting inspection object is mounted, and user identification information preset or key input is transmitted to a designated management server through activation of the application, A mobile user terminal for transmitting the image and the terminal location information to the network or receiving the augmented reality based information reflecting the virtual information from the network and displaying the received information;
Real-time transmission of the image and terminal position information photographed by the mobile user terminal to the fire fighting object management system in real time or from the fire fighting object management system in real time to the mobile user terminal reflecting the virtual information of the database Communication network; And
The mobile terminal checks the user identification information transmitted from the mobile user terminal to perform user authentication, receives the photographed image and the terminal location information transmitted from the authenticated user terminal through the communication network, and reads the virtual information of the database A fire control inspection object management system for generating the augmented reality based information for the fire control inspection object by reflecting the virtual information of the read database to the received image and transmitting the generated augmented reality based information to the mobile user terminal;
/ RTI >
The augmented reality-based information is information including building profile information, facility information, inspection status and history information of the fire-fighting inspection object,
Wherein the mobile user terminal comprises:
A GPS module for receiving the GPS and searching for current address information of the terminal;
A transmission / reception module for transmitting / receiving information to / from the fire fighting object management system through a communication network;
A camera module for photographing a scene image including a fire-fighting inspection object; And
And a display module for outputting the augmented reality-based information reflecting the virtual information,
The fire fighting inspection object management system comprises:
A database for storing virtual information on the fire fighting inspection object as 2D, LBS, and AR data, respectively, and storing user information necessary for user registration and authentication;
An information transmitting / receiving unit for receiving a scene image and terminal position information including the fire fighting object to be inspected or transmitting an augmented reality based fire fighting object information to the mobile user terminal through the network;
An augmented reality browser for reading virtual information of a database on the basis of the received image and terminal position information and generating augmented reality based fire control object information by reflecting virtual information of the read out database on the image;
/ RTI >
The augmented reality browser includes:
An object identification unit for analyzing the received on-site image based on the current location information of the user terminal to identify the fire-fighting inspection object;
A tracking processor for extracting a marker of the fire control object from the received image and reading the type of the fire control object and the marker information from the extracted marker; And
Reads out the virtual information of the fire fighting object to be inspected corresponding to the marker information or the position information from the database and reflects the virtual information of the readout fire fighting object to be inspected in the received image to generate the information of the fire fighting object to be inspected based on the augmented reality And a rendering processing unit,
The rendering processing unit checks the inspection status and the history information from the virtual information of the read fire control object and generates the augmented reality based fire control object information with the color differentiated with respect to the object including the risk due to the inspection member And augmented reality-based information of a different color is displayed on the user terminal for the object including the risk.
(b) 모바일용 사용자 단말기와 소방점검 대상물 관리시스템이 통신 네트워크를 통해 연동되어 처리되며, 모바일용 사용자 단말기에 탑재된 애플리케이션의 구동과 동시에 상기 소방점검 대상물 관리시스템이 등록된 사용자 정보를 이용하여 사용자 인증을 실시하고, 사용자 인증이 완료된 모바일용 사용자 단말기로부터 단말기 위치정보 및 현장 이미지를 수신하는 단계; 및
(c) 증강현실 브라우져의 렌더링 처리부에서 처리되며, 상기 모바일용 사용자 단말기로부터 수신된 단말기 위치정보 및 이미지를 기준으로 소방점검 대상물의 데이터베이스를 검색하여 소방점검 대상물의 가상정보를 독출하고, 상기 수신된 현장 이미지에 상기 독출된 데이터베이스의 가상정보를 반영하여 증강현실 기반의 소방점검 대상물 정보를 생성하여 사용자 단말기로 전송하는 단계;
를 포함하며,
증강현실 브라우져의 렌더링 처리부에서 처리되는 상기 (c) 단계는,
(c1) 상기 수신된 이미지로부터 상기 소방점검 대상물에 대한 마커를 식별하고, 상기 식별된 마커로부터 상기 소방점검 대상물의 종류 및 상기 마커 정보를 판독하는 단계;
(c2) 상기 판독된 마커 정보 또는 단말기의 위치정보에 대응하는 소방점검 대상물의 가상정보를 상기 데이터베이스로부터 독출하는 단계;
(c3) 상기 수신된 이미지에 상기 독출된 소방점검 대상물의 가상정보를 반영하여 증강현실 기반의 소방점검 대상물 정보를 생성하는 단계; 및
(c4) 상기 생성된 증강현실 기반의 소방점검 대상물 정보를 모바일용 사용자 단말기로 전송하는 단계;
를 포함하며,
상기 (c3) 단계는,
상기 독출된 소방점검 대상물의 가상정보로부터 점검현황 및 이력정보를 체크하여, 점검 부재 또는 누락이 아닌 대상물에 대해서는 정상적인 증강현실 기반의 소방점검 대상물 정보를 생성하고, 점검 부재로 인한 위험도가 포함된 대상물에 대해서는 차별화된 색상으로 증강현실 기반의 소방점검 대상물 정보를 생성함을 통해 사용자 단말기를 이용하는 담당자로 하여금 해당 사실을 용이하게 인지할 수 있도록 하며,
상기 증강현실 기반의 소방점검 대상물 정보는,
2D(2차원) 평면상에서 주변 소방점검 대상물의 위치를 마커를 이용하여 표시하는 2D 표시모드;
AR(증강현실) 및 LBS(위치기반서비스)를 이용하여 소방점검 대상물의 위치를 마커를 이용하여 표시하는 LBS 표시모드; 및
AR(증강현실)을 이용하여 소방점검 대상물을 인식하고 표시하는 AR 표시모드 중에서 선택되는 어느 하나의 표시모드를 통해 제공되며,
상기 2D 표시모드, LBS 표시모드 또는 AR 표시모드 상에는, 현재의 단말기 위치정보를 기준으로 소방점검 대상물의 검색을 위한 반경 및 카테고리 조건을 설정할 수 있는 검색모드, 카메라 영상에 표출되는 마커들의 목록을 표시하는 목록모드, 내비게이션 맵을 통해 마커를 기반으로 소방점검 대상물의 위치를 표출하는 지도모드, 소방점검 대상물의 다양한 조회 조건을 이용하여 검색할 수 있는 자료조회모드, 소방 관련 컨텐츠를 제공하는 정보마당모드, 대상물의 검사 일정을 달력을 기반으로 제공하는 일정모드로의 이동이 가능한 다수의 메뉴바가 표시화면 하단에 함께 제공되는 것을 특징으로 하는 소방시설 점검용 모바일 증강현실 처리방법.
(a) a database of the fire control object management system, which stores virtual information about the fire control object to be managed, in association with the marker information or the location information, to maintain a database of the fire control object, Storing a user's database;
(b) a mobile user terminal and a fire fighting check object management system are interlocked and processed through a communication network, and at the same time as an application installed in a mobile user terminal is operated, the fire control object management system registers user Performing authentication and receiving terminal location information and a site image from a mobile user terminal for which user authentication is completed; And
(c) a rendering processor of the augmented reality browser, which reads the virtual information of the fire-fighting inspection object by searching the database of the fire-fighting inspection object on the basis of the terminal location information and the image received from the mobile user terminal, Generating the augmented reality-based fire control object information by reflecting the virtual information of the read-out database on the scene image, and transmitting the information to the user terminal;
/ RTI >
The step (c) of processing by the rendering processor of the augmented reality browser comprises:
(c1) identifying a marker for the fire control object from the received image, and reading the type of the fire control object and the marker information from the identified marker;
(c2) reading, from the database, the virtual information of the fire control object corresponding to the read marker information or the location information of the terminal;
(c3) generating the augmented reality-based fire control object information by reflecting the virtual information of the read out fire control object to the received image; And
(c4) transmitting the generated augmented reality-based fire control object information to a mobile user terminal;
/ RTI >
The step (c3)
Checking the inspection status and the history information from the virtual information of the readout fire control inspection object to generate normal augmented reality based fire control inspection object information for the inspection member or the non-omission inspection object, The fire prevention inspection object information based on the augmented reality is generated with differentiated colors so that the person using the user terminal can easily recognize the fact,
Wherein the augmented reality-based fire fighting check object information comprises:
A 2D display mode for displaying a position of a peripheral fire-fighting inspection object on a 2D (two-dimensional) plane by using a marker;
An LBS display mode in which a position of a fire-fighting check object is displayed using a marker by using AR (Augmented Reality) and LBS (location-based service); And
An AR display mode for recognizing and displaying an object for fire fighting check using an AR (Augmented Reality)
In the 2D display mode, the LBS display mode, or the AR display mode, a search mode in which a radius and a category condition for searching for a fire control object can be set based on current terminal position information, a list of markers displayed on the camera image is displayed A map mode for displaying the position of the fire control object based on the marker through the navigation map, a data inquiry mode for searching using various inquiry conditions of the fire control object, an information field mode for providing the fire related contents And a plurality of menu bars capable of moving to a schedule mode for providing an inspection schedule of the object based on a calendar are provided together at the bottom of the display screen.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120056755A KR101409964B1 (en) | 2012-05-29 | 2012-05-29 | Mobile augmented reality system and method for fire extinguish equipment inspection |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120056755A KR101409964B1 (en) | 2012-05-29 | 2012-05-29 | Mobile augmented reality system and method for fire extinguish equipment inspection |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130133478A KR20130133478A (en) | 2013-12-09 |
| KR101409964B1 true KR101409964B1 (en) | 2014-06-20 |
Family
ID=49981446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120056755A KR101409964B1 (en) | 2012-05-29 | 2012-05-29 | Mobile augmented reality system and method for fire extinguish equipment inspection |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101409964B1 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101879252B1 (en) * | 2016-08-03 | 2018-07-17 | 우희석 | fire management integration system |
| US10297129B2 (en) * | 2015-09-24 | 2019-05-21 | Tyco Fire & Security Gmbh | Fire/security service system with augmented reality |
| WO2020205968A1 (en) * | 2019-04-01 | 2020-10-08 | Fire Solutions Group | Providing a simulation of fire protection features and hazards to aid the fire industry |
| KR20220019909A (en) | 2020-08-11 | 2022-02-18 | 나기성 | Facilities supervision inspection reporting system |
| KR20220028001A (en) * | 2019-06-28 | 2022-03-08 | 스냅 인코포레이티드 | Real-time Augmented Reality Costume |
| US11441048B2 (en) | 2018-09-26 | 2022-09-13 | Dvorchak Enterprises Llc | One component UV curable compositions and methods for making same |
| WO2024106599A1 (en) * | 2022-11-15 | 2024-05-23 | 주식회사정평이앤씨 | Method for providing fire fighting equipment management service of building, and computer program for performing same |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101649070B1 (en) * | 2015-02-25 | 2016-08-17 | 단국대학교 산학협력단 | Method for verifying seismic design using registered building data |
| KR101656499B1 (en) * | 2015-11-30 | 2016-09-22 | 한동현 | System for management of fire extinguish equipment |
| US11308773B2 (en) | 2017-11-16 | 2022-04-19 | Carrier Corporation | Virtual assistant based emergency evacuation guiding system |
| KR101949934B1 (en) * | 2017-11-30 | 2019-02-19 | 주식회사 위즈커뮤니케이션즈 | Apparatus and Method for Monitering Equipment Using Augmented Reality Image |
| CN111937051B (en) * | 2018-06-15 | 2022-09-27 | 谷歌有限责任公司 | Smart home device placement and installation using augmented reality visualization |
| KR102080327B1 (en) * | 2018-07-06 | 2020-04-23 | 김영대 | Control method for fire and safety management based on mobile video at the real work site |
| KR102011342B1 (en) * | 2018-11-12 | 2019-08-14 | 주식회사 리퓨어유니맥스 | Fire Safety Inspecting Method and System |
| KR102234346B1 (en) * | 2018-12-13 | 2021-03-31 | (주) 파이디언 | Firefighting safety management service providing system and method performing thereof |
| KR102364468B1 (en) * | 2019-11-15 | 2022-02-18 | 주식회사테스앤테스 | Augmented reality-based firefighting facility history management device that can check the layout of firefighting facilities and generate the drawings of firefighting facilities using space recognition technology |
| KR102203173B1 (en) * | 2019-11-22 | 2021-01-15 | 한방유비스 주식회사 | Method, apparatus and computer-readable medium for inspection of fire fighting facility based on augmented reality |
| KR102231648B1 (en) * | 2019-11-22 | 2021-03-25 | 한방유비스 주식회사 | Method, apparatus and computer-readable medium for managing inspection history information of fire fighting facility |
| KR102383777B1 (en) * | 2020-10-27 | 2022-04-07 | 노아에스앤씨 주식회사 | System, method and computer-readable recording medium for intergrated management of fire fighting information based on spatial information |
| KR102467779B1 (en) * | 2020-11-09 | 2022-11-15 | 동서대학교 산학협력단 | Fire safety inspection education system using AR technology |
| KR102584863B1 (en) * | 2021-03-18 | 2023-10-05 | 한방유비스 주식회사 | Firefighting facility management and inspection apparatus based on augmented reality and building property information |
| KR102538056B1 (en) * | 2021-12-14 | 2023-05-30 | 주식회사 넥스텝스튜디오 | Building management system using augmented reality |
| KR20230138130A (en) * | 2022-03-23 | 2023-10-05 | 주식회사정평이앤씨 | Fire safety management method and system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110000843A (en) * | 2009-06-29 | 2011-01-06 | 주식회사 아이디폰 | System for scene mornitoring using mobile terminal and method therefore |
| KR101103333B1 (en) * | 2010-05-27 | 2012-01-11 | 한창수 | Method for supplying sea traffic information using smart phone application |
| KR101135774B1 (en) * | 2010-09-29 | 2012-04-16 | 한국전력공사 | Watt hour meter management system and method using technology of augmented reality |
-
2012
- 2012-05-29 KR KR1020120056755A patent/KR101409964B1/en not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110000843A (en) * | 2009-06-29 | 2011-01-06 | 주식회사 아이디폰 | System for scene mornitoring using mobile terminal and method therefore |
| KR101103333B1 (en) * | 2010-05-27 | 2012-01-11 | 한창수 | Method for supplying sea traffic information using smart phone application |
| KR101135774B1 (en) * | 2010-09-29 | 2012-04-16 | 한국전력공사 | Watt hour meter management system and method using technology of augmented reality |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10297129B2 (en) * | 2015-09-24 | 2019-05-21 | Tyco Fire & Security Gmbh | Fire/security service system with augmented reality |
| KR101879252B1 (en) * | 2016-08-03 | 2018-07-17 | 우희석 | fire management integration system |
| US11441048B2 (en) | 2018-09-26 | 2022-09-13 | Dvorchak Enterprises Llc | One component UV curable compositions and methods for making same |
| WO2020205968A1 (en) * | 2019-04-01 | 2020-10-08 | Fire Solutions Group | Providing a simulation of fire protection features and hazards to aid the fire industry |
| KR20220028001A (en) * | 2019-06-28 | 2022-03-08 | 스냅 인코포레이티드 | Real-time Augmented Reality Costume |
| KR102596504B1 (en) * | 2019-06-28 | 2023-11-01 | 스냅 인코포레이티드 | Real-time Augmented Reality Costume |
| KR20220019909A (en) | 2020-08-11 | 2022-02-18 | 나기성 | Facilities supervision inspection reporting system |
| WO2024106599A1 (en) * | 2022-11-15 | 2024-05-23 | 주식회사정평이앤씨 | Method for providing fire fighting equipment management service of building, and computer program for performing same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130133478A (en) | 2013-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101409964B1 (en) | Mobile augmented reality system and method for fire extinguish equipment inspection | |
| US11146758B1 (en) | Controlling a route based on priority levels associated with delivery action or surveillance action | |
| ES2705848T3 (en) | Systems and methods to provide emergency resources | |
| KR102011342B1 (en) | Fire Safety Inspecting Method and System | |
| US10026302B1 (en) | Mobile alarm device | |
| US8624727B2 (en) | Personal safety mobile notification system | |
| US7634156B2 (en) | System and method for rapid emergency information distribution | |
| CN107438766B (en) | Image-based monitoring system | |
| WO2017072923A1 (en) | Digital safety support system, method, and program | |
| KR101321444B1 (en) | A cctv monitoring system | |
| US10322801B1 (en) | Unmanned aerial vehicle based surveillance as a service | |
| KR102159966B1 (en) | Intelligent Fire Extinguisher Management System Using Smart Box | |
| JP6529062B1 (en) | DIGITAL ACCURATE SECURITY SYSTEM, METHOD, AND PROGRAM | |
| JP6067197B1 (en) | Digital smart safety system, method and program | |
| KR102245769B1 (en) | System and method for navigating fire exit using augmented reality | |
| JP6664150B2 (en) | Monitoring system | |
| KR20160099931A (en) | Disaster preventing and managing method for the disaster harzard and interest area | |
| KR101515434B1 (en) | Disaster reporting system and method | |
| CN103345722A (en) | Fire-fighting geographic information system and implementation method thereof | |
| CA2807878A1 (en) | A building having an emergency information facility | |
| KR102449203B1 (en) | Method for managing safty condition information | |
| KR20200112560A (en) | Integrated support system of monitoring field, and methof thereof | |
| KR102364468B1 (en) | Augmented reality-based firefighting facility history management device that can check the layout of firefighting facilities and generate the drawings of firefighting facilities using space recognition technology | |
| Li | Intelligent Science Empowers: Building Fire Protection Technology Development | |
| JP6674251B2 (en) | Disaster notification system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| LAPS | Lapse due to unpaid annual fee |