KR102311532B1 - Facility maintain management system and method performing the same - Google Patents

Facility maintain management system and method performing the same Download PDF

Info

Publication number
KR102311532B1
KR102311532B1 KR1020190094838A KR20190094838A KR102311532B1 KR 102311532 B1 KR102311532 B1 KR 102311532B1 KR 1020190094838 A KR1020190094838 A KR 1020190094838A KR 20190094838 A KR20190094838 A KR 20190094838A KR 102311532 B1 KR102311532 B1 KR 102311532B1
Authority
KR
South Korea
Prior art keywords
code
maintenance target
management
drone
facility
Prior art date
Application number
KR1020190094838A
Other languages
Korean (ko)
Other versions
KR20200024083A (en
Inventor
조한광
Original Assignee
조한광
(주)에이치앤씨 건설연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조한광, (주)에이치앤씨 건설연구소 filed Critical 조한광
Publication of KR20200024083A publication Critical patent/KR20200024083A/en
Priority to KR1020210130996A priority Critical patent/KR102385428B1/en
Priority to KR1020210130993A priority patent/KR102390552B1/en
Application granted granted Critical
Publication of KR102311532B1 publication Critical patent/KR102311532B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • B64C2201/127—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Abstract

본 발명에 따른 스마트 글라스, QR 코드 관리 장치 및 드론을 포함하는 시설물 유지 관리 시스템은 시설물의 유지 관리 대상 부위가 관리자가 접근이 가능한지 여부에 따라 상기 유지 관리 대상 부위에 부착되어 있는 QR 코드 또는 상기 드론과 동기화된 상태에서 상기 드론으로부터 수신된 영상에서 QR 코드를 스캔한 후 분석하여 관리 정보를 추출하고, 상기 관리 정보 및 상기 유지 관리 대상 부위의 영상 데이터를 정합 처리하여 제공하는 스마트 글라스, 상기 시설물의 유지 대상 관리 부위 별 관리 정보를 이용하여 상기 시설물의 유지 대상 관리 부위 각각에 부착되는 QR 코드를 생성하는 QR 코드 관리 장치 및 상기 스마트 글라스의 제어에 따라 상기 유지 관리 대상 부위에 해당하는 위치 정보로 이동하여 상기 유지 관리 대상 부위를 촬영하여 영상 데이터를 상기 스마트 글라스에 제공하는 드론을 포함한다. 따라서, 본 발명은 시설물의 유지 관리에 필요한 부위에 QR 코드를 부착한 후 스마트 글라스를 이용하여 현실 세계 및 가상 세계를 동시에 인식할 수 있다는 장점이 있다.The facility maintenance management system including the smart glass, the QR code management device and the drone according to the present invention is a QR code attached to the maintenance target part or the drone depending on whether the maintenance target part of the facility is accessible by the manager. A smart glass that scans a QR code from the image received from the drone in synchronization with the drone, analyzes it, extracts management information, and provides the management information and image data of the maintenance target area by matching processing; A QR code management device that generates a QR code attached to each of the maintenance target management parts of the facility using management information for each maintenance target management part and the location information corresponding to the maintenance target part move to the location information corresponding to the maintenance target part according to the control of the smart glass and a drone that provides image data to the smart glasses by photographing the maintenance target part. Therefore, the present invention has the advantage that the real world and the virtual world can be recognized at the same time by using smart glasses after attaching the QR code to the part required for maintenance of the facility.

Figure R1020190094838
Figure R1020190094838

Description

시설물 유지 관리 시스템 및 이의 실행 방법{FACILITY MAINTAIN MANAGEMENT SYSTEM AND METHOD PERFORMING THE SAME}FACILITY MAINTAIN MANAGEMENT SYSTEM AND METHOD PERFORMING THE SAME

본 발명은 시설물 유지 관리 시스템 및 이의 실행 방법에 관한 것으로, 보다 상세하게는 시설물의 유지 관리에 필요한 부위에 QR 코드를 부착한 후 스마트 글라스를 이용하여 현실 세계 및 가상 세계를 동시에 인식할 수 있도록 하는 시설물 유지 관리 시스템 및 이의 실행 방법에 관한 것이다.The present invention relates to a facility maintenance management system and a method for implementing the same, and more particularly, to enable recognition of the real world and the virtual world simultaneously using smart glasses after attaching a QR code to a part required for facility maintenance It relates to a facility maintenance management system and a method for implementing the same.

최근 4차 산업의 주요 분야로 드론과 증강현실 및 가상 현실 기술이 주목 받고 있다. 드론의 경우 배달, 농약 살포, 교통 감시, 산불 감시 등 다양한 분야에 활용되고 있으며, 드론 자체는 단순히 무인으로 공중, 지상, 수상 및 수중으로 이동하는 기기를 지칭한다. Recently, drones, augmented reality, and virtual reality technologies are attracting attention as major fields of the 4th industry. In the case of drones, they are being used in various fields such as delivery, pesticide spraying, traffic monitoring, and forest fire monitoring.

또한, 드론 운행 기술의 발전으로 장애물을 스스로 피하고 GPS 위치 정보를 활용하여 제자리 회귀나 목표물에 스스로 접근하는 인공지능 기술을 채택하고 있다.In addition, with the development of drone operation technology, artificial intelligence technology that avoids obstacles by itself and uses GPS location information to return to the same place or approach a target by itself is adopted.

하지만, 드론 자체만으로는 시설물의 유지관리에 적용할 수 없으며, 영상 촬영, 데이터 수집 등을 위해서는 드론에 추가적인 콘텐츠의 설치와 운영 소프트웨어가 필요하게 된다.However, the drone itself cannot be applied to the maintenance of facilities, and additional content installation and operation software are required in the drone for video shooting and data collection.

또한, 드론에 영상 카메라를 부착하여 구조물의 균열이나 누수 부위, 오염 부위 등의 촬영이 가능하게 되며 열화상 카메라를 부착할 경우 시설물의 온도 변화에 따른 단열성능 평가, 구조물의 위험성 파악 등을 파악하여 화재 진압에 활용할 수 있게 된다. In addition, by attaching a video camera to the drone, it is possible to take pictures of cracks, leaks, and contamination of the structure. It can be used for fire suppression.

여기서 영상활용 분야의 경우 증강현실이나 가상현실 체험이 가능한 고글이나 스마트 글라스가 주로 사용되고 있다. Here, in the case of image utilization, goggles or smart glasses capable of experiencing augmented reality or virtual reality are mainly used.

최근에는 드론에 부착하여 단일 목적으로 활용하는 연구 및 제품 유통 중에 있으나 드론과 주변 IT 기술을 융합하여 재난분야 시설물 점검 등의 분야에 활용되고 있는 사례가 부족하기에 시설물 유지관리 분야에서도 4차 산업의 핵심인 기술 융합을 활용 시설물의 유지관리 분야에 적용의 연구가 필요한 시점이며, 4차 산업의 핵심기술인 드론, 스마트 글라스는 시설물의 유지 관리에 활용 가능한 콘텐츠라 판단된다. Recently, there is research and product distribution that is attached to drones and used for a single purpose, but there are not enough cases where drones and surrounding IT technologies are used in the field of facility inspection in the disaster area by convergence. It is time to study the application of the core technology convergence to the maintenance of facilities, and drones and smart glasses, which are the core technologies of the 4th industry, are judged to be contents that can be used for the maintenance of facilities.

한편, 드론에 카메라, 열화상 카메라 등을 부착하여 관리자의 접근이 어려운 부분의 현상 파악은 현 기술을 즉시 적용할 수 있지만, 드론과 스마트 글라스 등 유지관리에 효율적으로 활용할 수 있는 융합관리 기법의 적용성에 대한 기술 검토가 필요하다.On the other hand, although the current technology can be immediately applied to the situation where it is difficult for the manager to access by attaching a camera or thermal imaging camera to the drone, the application of convergence management techniques that can be efficiently used for maintenance such as drones and smart glasses A technical review of gender is required.

또한, 드론 기반의 융합 기술은 소방 및 재난분야에 일부 도입되고 있으나 시설물 유지관리 분야에서의 융합 기술의 활용 가능성 및 적용 범위에 대한 사례가 부족하여 적용 가능한 범위에 대한 연구가 부족하여 적용성에 대한 연구가 필요한 실정이다. In addition, although drone-based convergence technology is being partially introduced in the field of firefighting and disaster management, research on applicability is lacking due to lack of examples on the applicability and scope of application of convergence technology in the field of facility maintenance. is needed.

한편, 특정 규모 이상의 시설물은 정기적으로 안전점검 및 정밀안전진단을 실시하여야 하며 재난 발생 우려가 있는 경우 긴급안전점검을 실시하도록 특별법에서 규정하고 있으며, 최근에는 안전점검 및 안전진단을 위해 교량의 경우 교통을 차단하거나 일부 통제를 실시하면서 사다리차 등을 이용하여 기술 인력이 장비에 승차하여 육안 관찰을 통해 이상 부위를 확인하고 이상 부위 발생 시 진단 장비 등을 활용하여 정밀 진단을 실시하고 있다.On the other hand, facilities over a certain size must undergo regular safety inspections and precise safety inspections, and the special law stipulates that emergency safety inspections should be conducted if there is a risk of a disaster. While blocking or controlling some areas, technical personnel board the equipment using ladder trucks, check the abnormal parts through visual observation, and perform precise diagnosis using diagnostic equipment when abnormal parts occur.

하지만 고층 구조물의 구조물 외부의 경우 크레인 또는 고가 사다리를 활용하거나 구조물에 설치되어 있는 곤도라 등을 활용하여 점검자가 장비에 직접 탑승하여 점검하여야 한다는 문제점이 있다.However, in the case of the outside of the structure of a high-rise structure, there is a problem that the inspector must directly board the equipment and inspect it by using a crane or an elevated ladder or by using a gondola installed in the structure.

여기서 고가 사다리나 곤도라의 전도 등으로 점검 중 추락사고가 발생하여 사회 문제화 되는 경우가 발생하고 있으며 관리자는 직접 확인을 위해 장비에 탑승하여 이상 부위에 접근하기에 현실적으로 어려움이 있다.In this case, fall accidents occur during inspection due to overturning of an elevated ladder or gondola, etc., which becomes a social problem.

그리고, 점검에 사용되는 점검 기술자가 직접 시설물에 접근하여 관찰하고 분석할 수 있는 장점이 있으나, 장비의 경우 교량 상부에 정차하여야 하는 특성상 통행을 방해라 수 있고 교량 하부나 사장교의 주탑 등의 접근이 불가능한 사각 부위가 있어 운영에 어려움이 있다.In addition, the inspection technician used for inspection has the advantage of being able to directly approach the facility to observe and analyze it, but in the case of equipment, the nature of having to stop at the upper part of the bridge may impede passage, and access to the lower part of the bridge or the pylon of the cable-stayed bridge may be difficult. There is an impossible blind spot, making it difficult to operate.

또한, 점검용 장비를 사용하는 경우 대부분 특수 장비로 구입 시 고가의 투자비가 요구된다. 임대로 운영할 경우 역시 장비 및 장비 조작 인원의 동행 등 고 비용이 발생하게 된다. 특히 장비의 설치 및 해제 시 점검원의 대기 시간이 필요하여 점검 외적인 시간과 비용 역시 과다하게 투입되는 단점이 있다. In addition, when inspection equipment is used, expensive investment is required when purchasing it as a special equipment in most cases. In case of rental operation, high costs such as accompanying equipment and equipment operation personnel are also incurred. In particular, there is a disadvantage in that the time and cost outside the inspection are also excessively invested because the waiting time of the inspector is required when installing and dismounting the equipment.

본 발명은 시설물의 유지 관리에 필요한 부위에 QR 코드를 부착한 후 스마트 글라스를 이용하여 현실 세계 및 가상 세계를 동시에 인식할 수 있도록 하는 시설물 유지 관리 시스템 및 이의 실행 방법을 제공하는 것을 목적으로 한다. An object of the present invention is to provide a facility maintenance management system and a method for implementing the same, which allow the real world and the virtual world to be simultaneously recognized using smart glasses after attaching a QR code to a part required for facility maintenance.

또한, 본 발명은 관리자가 접근이 어려운 고층 부위, 시설물의 주탑 등의 유지 관리를 위해 드론과 스마트 글라스를 융합하여 드론의 영상 데이터를 통해 QR 코드를 인식하여 판단하고 관리할 수 있도록 하는 시설물 유지 관리 시스템 및 이의 실행 방법을 제공하는 것을 목적으로 한다. In addition, the present invention provides facility maintenance that allows the administrator to recognize, judge, and manage the QR code through the image data of the drone by fusion of the drone and smart glass for maintenance of high-rise parts that are difficult to access, the main tower of the facility, etc. An object of the present invention is to provide a system and a method for implementing the same.

또한, 본 발명은 드론에 열화상 카메라를 융합하여 시설물의 외부 단열 부위의 누락, 하자 등을 외부에서 판단할 수 있도록 하는 시설물 유지 관리 시스템 및 이의 실행 방법을 제공하는 것을 목적으로 한다. In addition, an object of the present invention is to provide a facility maintenance management system and a method for implementing the same by fusing a thermal imaging camera with a drone so that omissions, defects, etc. of an external insulation part of a facility can be determined from the outside.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention not mentioned may be understood by the following description, and will be more clearly understood by the examples of the present invention. Moreover, it will be readily apparent that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.

본 발명의 바람직한 일실시예에 따르면, 스마트 글라스, QR 코드 관리 장치 및 드론을 포함하는 시설물 유지 관리 시스템에 있어서, 시설물의 유지 관리 대상 부위가 관리자가 접근이 가능한지 여부에 따라 상기 유지 관리 대상 부위에 부착되어 있는 QR 코드 또는 상기 드론과 동기화된 상태에서 상기 드론으로부터 수신된 영상 데이터에서 QR 코드를 스캔한 후 분석하여 관리 정보를 추출하고, 상기 관리 정보 및 상기 유지 관리 대상 부위의 영상 데이터를 정합 처리하여 제공하는 스마트 글라스; 상기 시설물의 유지 대상 관리 부위 별 관리 정보를 이용하여 상기 시설물의 유지 대상 관리 부위 각각에 부착되는 QR 코드를 생성하는 QR 코드 관리 장치; 및 상기 스마트 글라스의 제어에 따라 상기 유지 관리 대상 부위에 해당하는 위치 정보로 이동하여 상기 유지 관리 대상 부위를 촬영하여 영상 데이터를 상기 스마트 글라스에 제공하는 드론을 포함하는 것을 특징으로 한다.According to a preferred embodiment of the present invention, in a facility maintenance management system including smart glasses, a QR code management device, and a drone, the maintenance target part of the facility is located on the maintenance target part according to whether the manager can access it. After scanning the QR code from the attached QR code or the image data received from the drone in synchronization with the drone, analysis is performed to extract management information, and the management information and the image data of the maintenance target site are matched provided by smart glasses; a QR code management device for generating a QR code attached to each of the maintenance target management parts of the facility by using management information for each maintenance target management part of the facility; and a drone that moves to the location information corresponding to the maintenance target part according to the control of the smart glasses and provides image data to the smart glasses by photographing the maintenance target part.

본 발명의 다른 일실시예에 따르면, 상기 스마트 글라스는 상기 유지 관리 대상 부위가 관리자가 접근이 가능하면 상기 유지 관리 대상 부위에 부착되어 있는 QR 코드를 스캔하고, 상기 유지 관리 대상 부위가 관리자가 접근이 불가능하면 상기 드론에 의해 촬영된 영상 데이터에서 QR 코드를 스캔하는 것을 특징으로 한다.According to another embodiment of the present invention, the smart glass scans a QR code attached to the maintenance target part if the maintenance target part is accessible by the manager, and the maintenance target part is accessed by the manager If this is not possible, it is characterized in that the QR code is scanned from the image data taken by the drone.

본 발명의 또 다른 일실시예에 따르면, 상기 스마트 글라스는 상기 유지 관리 대상 부위가 관리자가 접근이 가능하면 상기 QR 코드를 분석하여 추출한 관리 정보 및 상기 유지 관리 대상 부위의 영상 데이터를 정합 처리하여 표시하고, 상기 유지 관리 대상 부위가 관리자가 접근이 불가능하면 상기 영상 데이터의 QR 코드를 분석하여 추출한 관리 정보 및 상기 드론에 의해 촬영된 유지 관리 대상 유지 대상 관리 부위의 영상 데이터를 정합 처리하여 표시하는 것을 특징으로 한다.According to another embodiment of the present invention, the smart glasses display by matching the management information extracted by analyzing the QR code and the image data of the maintenance target part when the maintenance target part is accessible by the manager And, if the manager cannot access the maintenance target part, the management information extracted by analyzing the QR code of the image data and the image data of the maintenance target maintenance part managed by the drone are matched and displayed. characterized.

본 발명의 또 다른 일실시예에 따르면, 상기 스마트 글라스는 상기 드론으로부터 단열 하자 부위에 대한 실제 유지 대상 관리 부위 영상 데이터를 수신하면, 상기 단열 하자 부위에 부착된 QR 코드를 스캔하여 추출한 관리 정보 및 상기 단열 하자 부위에 대한 실제 유지 대상 관리 부위 영상 데이터를 정합 처리하여 표시하는 것을 특징으로 한다.According to another embodiment of the present invention, when the smart glass receives image data of an actual maintenance target management site for an insulation defect portion from the drone, management information extracted by scanning a QR code attached to the insulation defect portion and It is characterized in that the image data of the actual maintenance target management part for the thermal insulation defect part is matched and displayed.

본 발명의 또 다른 일실시예에 따르면, 시설물의 유지 관리 대상 부위가 관리자가 접근이 가능한지 여부에 따라 스마트 글라스가 유지 관리 대상 부위에 부착되어 있는 QR 코드를 촬영하거나 드론과 동기화하여 드론의 비행을 시작시키는 단계; 상기 드론이 상기 스마트 글라스의 제어에 따라 상기 유지 관리 대상 부위에 해당하는 위치 정보로 비행하여 유지 관리 대상 부위를 촬영하여 영상 데이터를 상기 스마트 글라스에 제공하는 단계; 상기 스마트 글라스가 상기 드론으로부터 수신된 영상 데이터에서 QR 코드를 스캔한 후 분석하여 관리 정보를 추출하는 단계; 및 상기 관리 정보 및 상기 유지 관리 대상 부위의 영상 데이터를 정합 처리하여 표시하는 단계를 포함하는 것을 특징으로 한다.According to another embodiment of the present invention, depending on whether the manager can access the maintenance target part of the facility, the smart glass shoots the QR code attached to the maintenance target part or synchronizes it with the drone to control the flight of the drone. starting; providing the image data to the smart glasses by flying the drone with the location information corresponding to the maintenance target part under the control of the smart glasses, photographing the maintenance target part; extracting management information by the smart glasses scanning a QR code from the image data received from the drone and analyzing it; and matching and displaying the management information and the image data of the maintenance target site.

본 발명의 또 다른 일실시예에 따르면, 상기 유지 관리 대상 부위가 관리자가 접근이 가능하면 상기 유지 관리 대상 부위에 부착되어 있는 QR 코드를 스캔하는 단계; 및 상기 유지 관리 대상 부위가 관리자가 접근이 불가능하면 상기 드론에 의해 촬영된 영상 데이터에서 QR 코드를 스캔하는 단계를 포함하는 것을 특징으로 한다.According to another embodiment of the present invention, if the maintenance target site is accessible by an administrator, scanning the QR code attached to the maintenance target site; and scanning a QR code from the image data captured by the drone when the manager cannot access the maintenance target site.

본 발명의 또 다른 일실시예에 따르면, 상기 유지 관리 대상 부위가 관리자가 접근이 가능하면 상기 스마트 글라스가 상기 QR 코드를 분석하여 추출한 관리 정보 및 상기 유지 관리 대상 부위의 영상을 정합 처리하여 표시하는 단계; 및 상기 유지 관리 대상 부위가 관리자가 접근이 불가능하면 상기 스마트 글라스가 상기 드론으로부터 수신된 상기 영상 데이터의 QR 코드를 분석하여 추출한 관리 정보 및 상기 드론에 의해 촬영된 유지 관리 대상 유지 대상 관리 부위의 영상 데이터를 정합 처리하여 표시하는 단계를 포함하는 것을 특징으로 한다.According to another embodiment of the present invention, when the maintenance target part is accessible by the manager, the smart glass analyzes the QR code and displays the management information extracted by the matching process and the image of the maintenance target part step; and when the maintenance target part is inaccessible to the manager, the smart glass analyzes the QR code of the image data received from the drone and extracts management information and an image of the maintenance target maintenance target part taken by the drone It characterized in that it comprises the step of matching and displaying the data.

본 발명의 또 다른 일실시예에 따르면, 상기 스마트 글라스가 상기 드론으로부터 단열 하자 부위에 대한 실제 유지 대상 관리 부위 영상을 수신하면, 상기 단열 하자 부위에 부착된 QR 코드를 스캔하여 추출한 관리 정보 및 상기 단열 하자 부위에 대한 실제 유지 대상 관리 부위 영상를 정합 처리하여 표시하는 단계를 포함하는 것을 특징으로 한다.According to another embodiment of the present invention, when the smart glass receives an image of an actual maintenance target management site for an insulation defective portion from the drone, the management information extracted by scanning a QR code attached to the insulation defective portion and the It characterized in that it comprises the step of displaying the image of the actual maintenance target management site for the thermal insulation defect portion by matching processing.

전술한 바와 같은 본 발명에 의하면, 시설물의 유지 관리에 필요한 부위에 QR 코드를 부착한 후 스마트 글라스를 이용하여 현실 세계 및 가상 세계를 동시에 인식할 수 있다는 장점이 있다.According to the present invention as described above, there is an advantage that the real world and the virtual world can be recognized at the same time by using smart glasses after attaching the QR code to the part required for maintenance of the facility.

또한 본 발명에 의하면, 관리자가 접근이 어려운 고층 부위, 시설물의 주탑 등의 유지 관리를 위해 드론과 스마트 글라스를 융합하여 드론의 영상 데이터를 통해 QR 코드를 인식하여 판단하고 관리할 수 있다는 장점이 있다.In addition, according to the present invention, there is an advantage that the administrator can recognize, judge, and manage the QR code through the image data of the drone by fusion of the drone and smart glass for maintenance of high-rise parts that are difficult to access, the main tower of facilities, etc. .

또한 본 발명에 의하면, 드론에 열화상 카메라를 융합하여 시설물의 외부 단열 부위의 누락, 하자 등을 외부에서 판단할 수 있다는 장점이 있다. In addition, according to the present invention, there is an advantage in that omissions, defects, etc. of external insulation parts of facilities can be determined from the outside by fusing a thermal imaging camera with a drone.

도 1은 본 발명의 일 실시예에 따른 시설물 유지 관리 시스템을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 시설물 유지 관리 방법의 일 실시예를 설명하기 위한 흐름도이다.
도 3은 본 발명에 따른 시설물 유지 관리 방법의 다른 일 실시예를 설명하기 위한 흐름도이다.1 is a view for explaining a facility maintenance management system according to an embodiment of the present invention.
2 is a flowchart for explaining an embodiment of a facility maintenance and management method according to the present invention.
3 is a flowchart for explaining another embodiment of the facility maintenance management method according to the present invention.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.The above-described objects, features and advantages will be described below in detail with reference to the accompanying drawings, and accordingly, those of ordinary skill in the art to which the present invention pertains will be able to easily implement the technical idea of the present invention. In describing the present invention, if it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to indicate the same or similar components.

도 1은 본 발명의 일 실시예에 따른 시설물 유지 관리 시스템을 설명하기 위한 도면이다.1 is a view for explaining a facility maintenance management system according to an embodiment of the present invention.

도 1을 참조하면, 시설물 유지 관리 시스템은 스마트 글라스(100), 드론(200) 및 QR 코드 관리 장치(300)를 포함한다.Referring to FIG. 1 , the facility maintenance management system includes a smart glass 100 , a drone 200 , and a QR code management device 300 .

스마트 글라스(100)는 시설물(400)의 유지 관리 대상 부위에 부착되어 있는 QR 코드(310)를 스캔한 후 QR 코드(310)를 분석하여 QR 코드(310)에서 해당 유지 대상 관리 부위의 관리 정보를 추출하여 표시한다.The smart glass 100 scans the QR code 310 attached to the maintenance target part of the facility 400 , and then analyzes the QR code 310 to obtain management information of the maintenance target part from the QR code 310 . is extracted and displayed.

일 실시예에서, 유지 관리 대상 부위가 관리자가 접근이 가능한 부위인 경우 관리자가 스마트 글라스(100)를 착용한 후 유지 대상 관리 부위의 QR 코드(310)를 응시하면, 스마트 글라스(100)는 유지 관리 대상 유지 대상 관리 부위에 부착되어 있는 QR 코드(310)를 스캔한 후 분석하여 관리 정보를 추출하여 표시할 수 있다. In one embodiment, when the maintenance target part is a part accessible by the manager, when the manager gazes at the QR code 310 of the maintenance target management part after wearing the smart glasses 100, the smart glasses 100 are maintained After scanning the QR code 310 attached to the management target maintenance target management site, it is possible to extract management information and display it.

상기의 실시예에서, 스마트 글라스(100)는 QR 코드(310)를 분석하여 관리 정보를 추출한 후 관리 정보 및 상기 유지 관리 대상 유지 대상 관리 부위의 영상 데이터를 정합 처리한 후 증강현실 화면에 제공한다. 따라서, 스마트 글라스(100)를 착용한 관리자가 증강 현실을 통해 표시된 일부 정보 및 실제 정보를 동시에 확인할 수 있도록 한다. In the above embodiment, the smart glass 100 analyzes the QR code 310 to extract the management information, and then provides the management information and the image data of the maintenance target to be maintained to the augmented reality screen after matching processing. . Therefore, it allows the manager wearing the smart glasses 100 to simultaneously check some information and actual information displayed through augmented reality.

예를 들어, 스마트 글라스(100)는 QR 코드(310)를 분석하여 추출한 관리 정보가 표시되면 관리 정보 중 해당 유지 대상 관리 부위의 설계 도면 및 유지 관리 대상 유지 대상 관리 부위의 영상 데이터를 정합 처리한 후 증강현실 화면에 제공하여 스마트 글라스(100)를 착용한 관리자가 설계 도면 및 실제 유지 관리 대상 부위를 동시에 확인할 수 있도록 한다. For example, when the management information extracted by analyzing the QR code 310 is displayed, the smart glass 100 matches the design drawing of the maintenance target management part and the image data of the maintenance target maintenance part of the management information. Then, it is provided on the augmented reality screen so that the manager wearing the smart glasses 100 can simultaneously check the design drawing and the actual maintenance target part.

다른 일 실시예에서, 유지 관리 대상 부위가 관리자가 접근이 불가능한 부위인 경우 관리자가 스마트 글라스(100)를 착용한 후 드론(200)과 연결하여 동기화를 실행하고, 드론(200)의 비행을 제어하여 드론(200)이 유지 관리 대상 부위로 이동하도록 하며, 드론(200)으로부터 수신된 유지 관리 대상 부위의 영상 데이터에서 QR 코드(310)를 스캔한 후 분석하여 관리 정보를 추출하여 표시할 수 있다. In another embodiment, when the maintenance target part is a part that the manager cannot access, the manager wears the smart glasses 100 and then connects with the drone 200 to perform synchronization, and control the flight of the drone 200 to allow the drone 200 to move to the maintenance target part, and scan the QR code 310 from the image data of the maintenance target part received from the drone 200 and analyze it to extract and display management information .

예를 들어, 스마트 글라스(100)는 드론(200)으로부터 수신된 유지 관리 대상 부위의 영상 데이터에서 QR 코드(310)를 분석하여 추출한 관리 정보가 표시되면, 관리 정보 중 해당 유지 대상 관리 부위의 설계 도면 및 드론(200)에 의해 촬영된 유지 관리 대상 유지 대상 관리 부위의 영상 데이터를 정합 처리하여 표시할 수 있다. For example, when the smart glass 100 displays management information extracted by analyzing the QR code 310 from the image data of the maintenance target part received from the drone 200, the design of the maintenance target part of the management information Drawing and image data of a maintenance target maintenance site photographed by the drone 200 may be matched and displayed.

상기의 실시예에서, 스마트 글라스(100)는 드론(200)과 연결하여 동기화를 실행한 후 드론(200)으로부터 수신된 영상 데이터를 확인하면서 손상 부위 또는 안전이 의심스러운 부위가 확인되면 영상 데이터의 촬영 지시 신호를 드론(200)에 제공하고, 드론(200)에 의해 촬영된 영상 데이터를 수신하여 저장한다. In the above embodiment, the smart glasses 100 are connected to the drone 200 to perform synchronization, and then check the image data received from the drone 200. A shooting instruction signal is provided to the drone 200 , and image data captured by the drone 200 is received and stored.

종래의 드론을 조작하는 방식의 경우 스마트 패드(예르 들어, 스마트 폰의 화면이나 전용 패드)를 사용하여 드론과 스마트 패드를 번갈아 가며 확인하는 불편함과 드론이 시설물(400)에 근접할 경우 통제에 어려움이 있었다. 하지만, 본 발명은 관리자가 스마트 글라스를 착용한 후 드론과 영상 데이터를 동시에 확인이 가능하여 드론 제어가 용이하다.In the case of the conventional method of operating a drone, the inconvenience of alternately checking the drone and the smart pad using a smart pad (for example, the screen of a smart phone or a dedicated pad), and the control when the drone approaches the facility 400 There were difficulties. However, in the present invention, it is possible to simultaneously check the drone and image data after the administrator wears the smart glasses, so that the drone control is easy.

또한, 스마트 글라스(100)는 드론(200)으로부터 수신된 영상 데이터를 이용하여 유지 관리 대상 부위의 열손실 여부를 확인한 후, 영상 데이터를 기초로 특정 부위에 열손실이 발생하였다고 판단하는 경우 드론(200)을 제어하여 드론(200)이 열손실이 발생한 특정 부위를 촬영하여 제공하도록 하도록 한다.In addition, the smart glass 100 uses the image data received from the drone 200 to check whether the maintenance target part has heat loss, and then, based on the image data, if it is determined that heat loss has occurred in a specific part, the drone ( 200) so that the drone 200 captures and provides a specific portion where heat loss occurs.

이때, 스마트 글라스(100)는 드론(200)으로부터 수신된 영상 데이터를 기초로 QR 코드(310)를 스캔하여 분석한 후 관리 정보를 추출하고, 관리 정보 및 드론(200)으로부터 수신된 영상 데이터를 정합 처리한 후 증강현실 화면에 제공한다. At this time, the smart glass 100 scans and analyzes the QR code 310 based on the image data received from the drone 200 , and then extracts management information, and collects the management information and the image data received from the drone 200 . After matching, it is provided on the augmented reality screen.

예를 들어, 스마트 글라스(100)는 드론(200)으로부터 수신된 영상 데이터를 기초로 QR 코드(310)를 스캔하여 분석한 후 열손실이 발생한 특정 부위의 자재 특성 및 하자 보수 업체의 정보 등과 드론(200)으로부터 수신된 영상 데이터를 정합 처리한 후 증강현실 화면에 제공한다. For example, the smart glass 100 scans and analyzes the QR code 310 based on the image data received from the drone 200, and then the material characteristics of the specific area where the heat loss occurred and information of the defect repair company, etc. After matching the image data received from 200, it is provided on the augmented reality screen.

상기의 실시예와는 달리, 스마트 글라스(100)는 관리자의 등급에 따라 QR 코드에서 추출한 관리 정보 중 관리자 등급에 해당하는 정보만을 표시할 수 있다. 이를 위해, 스마트 글라스(100)는 관리자 인증 과정을 실행한 후 관리자의 등급을 확인할 수 있다. Unlike the above embodiment, the smart glasses 100 may display only information corresponding to the manager's grade among the management information extracted from the QR code according to the manager's grade. To this end, the smart glasses 100 may check the administrator's grade after executing the administrator authentication process.

일 실시예에서, 스마트 글라스(100)에는 생체 정보 인식 모듈이 구비되어 있어 생체 정보 인식 모듈을 통해 관리자의 생체 정보가 수신되면 생체 정보(예를 들어, 지문 정보, 홍체 정보 등) 및 미리 저장된 관리자 등급 별 생체 정보를 비교하여 관리자의 등급을 확인할 수 있다. In one embodiment, the smart glasses 100 are provided with a biometric information recognition module, and when biometric information of an administrator is received through the biometric information recognition module, biometric information (eg, fingerprint information, iris information, etc.) and a pre-stored manager You can check the manager's grade by comparing biometric information by grade.

다른 일 실시예에서, 스마트 글라스(100)는 관리자 단말(미도시됨)과 통신하여 관리자 단말로부터 인증 정보를 수신하면, 인증 정보 및 미리 저장된 관리자 등급 별 인증 정보를 비교하여 관리자의 등급을 확인할 수 있다. In another embodiment, when the smart glasses 100 communicate with the manager terminal (not shown) and receive authentication information from the manager terminal, the manager's grade can be confirmed by comparing the authentication information and the pre-stored authentication information for each manager grade. have.

상기의 실시예와 같이, 스마트 글라스(100)는 관리자 인증 과정을 실행한 후 관리자의 등급이 확인되면 실행된다. 이와 같은 이유는 스마트 글라스(100)가 관리자가 아닌 일반 사용자에 의해 악의적으로 사용되는 경우 시설물에 대한 기밀 정보가 악의적인 사용자에게 노출될 수 있기 때문이다. As in the above embodiment, the smart glasses 100 are executed when the administrator's grade is confirmed after executing the administrator authentication process. The reason for this is that when the smart glasses 100 are maliciously used by a general user other than an administrator, confidential information about the facility may be exposed to the malicious user.

상기와 같은 과정을 통해 스마트 글라스(100)가 실행된 후 유지 관리 대상 부위에 부착되어 있는 QR 코드(310) 또는 드론(200)으로부터 수신된 영상 데이터에서 QR 코드(310)를 스캔한 후 분석하여 관리 정보를 추출한다. 이때, 관리 정보는 관리자 등급 별로 구분되어 저장되어 있다.After the smart glass 100 is executed through the above process, the QR code 310 attached to the maintenance target area or the QR code 310 from the image data received from the drone 200 is scanned and analyzed. Extract management information. In this case, the management information is stored separately for each manager level.

따라서, 스마트 글라스(100)는 QR 코드(310)에서 추출한 관리 정보 중 관리자의 등급에 해당하는 관리 정보가 존재하는지 여부를 확인하고, 확인 결과에 따라 관리자의 등급에 해당하는 관리 정보를 추출하여 관리 정보 및 유지 관리 대상 부위의 영상 데이터를 정합 처리한 후 증강현실 화면에 제공한다. Therefore, the smart glass 100 checks whether management information corresponding to the manager's grade exists among the management information extracted from the QR code 310, and extracts and manages the management information corresponding to the manager's grade according to the check result After processing the information and image data of the maintenance target area, it is provided on the augmented reality screen.

일 실시예에서, 스마트 글라스(100)는 QR 코드(310)에서 추출한 관리 정보 중 관리자의 등급에 해당하는 관리 정보가 존재하면 관리자의 등급에 해당하는 관리 정보를 추출하여 관리 정보 및 유지 관리 대상 부위의 영상 데이터를 정합 처리한 후 증강현실 화면에 제공할 수 있다.In one embodiment, the smart glass 100 extracts management information corresponding to the manager's grade if there is management information corresponding to the manager's grade among the management information extracted from the QR code 310 to extract the management information and the maintenance target part After matching the image data of the image data can be provided to the augmented reality screen.

다른 일 실시예에서, 스마트 글라스(100)는 QR 코드에서 추출한 관리 정보 중 관리자의 등급에 해당하는 관리 정보가 존재하지 않으면 관리 정보를 표시하지 않고 유지 관리 대상 부위의 영상 데이터를 제공한다. In another embodiment, the smart glasses 100 provide image data of the maintenance target site without displaying the management information if there is no management information corresponding to the manager's grade among the management information extracted from the QR code.

상기의 실시예와는 달리, 스마트 글라스(100)가 다른 스마트 글라스와 동기화되어 실행될 수 있으며, 스마트 글라스(100)를 사용하는 관리자의 등급 및 다른 스마트 글라스를 사용하는 관리자의 등급 중 높은 등급을 기준으로 QR 코드에서 추출한 관리 정보를 제공할 수 있다. Unlike the above embodiment, the smart glasses 100 may be executed in synchronization with other smart glasses, and based on the higher grade among the grade of the administrator using the smart glasses 100 and the grade of the administrator using the other smart glasses management information extracted from the QR code can be provided.

이와 같은 이유는, 스마트 글라스(100) 및 스마트 글라스(100)와 동기화된 다른 스마트 글라스를 사용하는 관리자의 등급이 서로 동일할 수도 있지만 상이할 수도 있기 때문이다. The reason for this is that the smart glasses 100 and the grades of managers who use other smart glasses synchronized with the smart glasses 100 may be the same or different from each other.

예를 들어, 대리급 관리자 A가 제1 스마트 글라스를 착용하고 부장급 관리자 B가 제2 스마트 글라스를 착용한 상태에서 시설물을 함께 관찰하는 경우, 제1 스마트 글라스 및 제2 스마트 글라스를 착용한 관리자의 등급이 다르기 때문에 동일한 유지 관리 대상 부위의 QR 코드를 스캔하더라도 제1 스마트 글라스 상에 표시되는 관리 정보 및 제2 스마트 글라스 상에 표시되는 관리 정보가 상이할 것이다.For example, when the assistant level manager A wears the first smart glasses and the department manager B wears the second smart glasses while observing the facility together, the grade of the manager wearing the first smart glasses and the second smart glasses Because this is different, even if the QR code of the same maintenance target part is scanned, the management information displayed on the first smart glasses and the management information displayed on the second smart glasses will be different.

따라서, 스마트 글라스(100) 및 다른 스마트 글라스는 관리자의 등급을 공유하여 스마트 글라스(100)를 사용하는 관리자의 등급 및 다른 스마트 글라스를 사용하는 관리자의 등급 중 높은 등급을 관리자의 등급으로 결정한다. 예를 들어, 제1 스마트 글라스를 착용한 관리자의 등급이 대리급이고 제2 스마트 글라스를 착용한 관리자의 등급이 과장급인 경우, 제1 스마트 글라스 및 제2 스마트 글라스는 관리자의 등급을 공유함으로써 제1 스마트 글라스 및 제2 스마트 글라스를 사용하는 관리자의 등급을 과장급으로 결정할 수 있다. Accordingly, the smart glasses 100 and other smart glasses share the manager's grade, and the higher grade among the manager's grade using the smart glasses 100 and the manager's grade using the other smart glasses is determined as the manager's grade. For example, if the grade of the manager wearing the first smart glasses is a manager grade and the grade of the manager wearing the second smart glasses is a manager grade, the first smart glasses and the second smart glasses share the manager's grade, so that the first The grade of the manager who uses the smart glass and the second smart glass may be determined as a manager level.

따라서, 스마트 글라스(100)가 다른 스마트 글라스와 동기화되어 실행될 경우 관리자의 등급이 상이하더라도 동일한 관리 정보를 확인하여 대화할 수 있다는 장점이 있다. Accordingly, when the smart glasses 100 are executed in synchronization with other smart glasses, there is an advantage that the same management information can be checked and communicated even if the grades of the managers are different.

QR 코드 관리 장치(300)는 시설물(400)의 유지 대상 관리 부위 별 관리 정보를 이용하여 QR 코드(310)를 생성한다. 이때, 시설물(400)의 유지 대상 관리 부위 별 관리 정보는 시설물(400)의 유지 대상 관리 부위 각각에 대한 매뉴얼, A/S 정보, 업체 정보, 설계 도면 및 시공사 정보를 포함한다. The QR code management device 300 generates a QR code 310 by using management information for each maintenance target management part of the facility 400 . In this case, the management information for each maintenance target management part of the facility 400 includes manuals, A/S information, company information, design drawings, and construction company information for each maintenance target management part of the facility 400 .

일 실시예에서, QR 코드 관리 장치(300)는 시설물(400)의 준공전에 시설물(400)의 복수의 부위 중 유지 대상 관리 부위를 결정한 후 유지 대상 관리 부위 별 관리 정보를 이용하여 QR 코드(310)를 생성할 수 있다. In one embodiment, the QR code management apparatus 300 determines a maintenance target management part among a plurality of parts of the facility 400 before completion of the facility 400 and then uses the management information for each maintenance target management part to the QR code 310 ) can be created.

상기와 같이 QR 코드 관리 장치(300)에 의해 생성된 시설물(400)의 유지 대상 관리 부위 별 QR 코드(310)는 해당 유지 대상 관리 부위에 부착된다. QR 코드(310)가 부착된 부위가 유지 관리 대상 부위가 관리자가 접근이 가능한 부위인 경우, 관리자는 스마트 글라스(100)를 착용한 후 유지 관리 대상 부위의 QR 코드(310)를 응시하면, 스마트 글라스(100)는 QR 코드(310)를 스캔한 후 분석하여 관리 정보를 추출하여 표시할 수 있다. As described above, the QR code 310 for each maintenance target management part of the facility 400 generated by the QR code management device 300 is attached to the corresponding maintenance target management part. When the part to which the QR code 310 is attached is a part that the maintenance target part can be accessed by the manager, the manager wears the smart glasses 100 and then gazes at the QR code 310 of the maintenance target part, the smart The glass 100 scans the QR code 310 and then analyzes it to extract and display management information.

한편, QR 코드(310)가 부착된 부위가 유지 관리 대상 부위가 관리자가 접근이 불가능한 부위인 경우 스마트 글라스(100)의 제어에 따라 드론(200)이 이동하면서 유지 관리 대상 부위를 촬영하여 영상 데이터를 스마트 글라스(100)에 제공함으로써 스마트 글라스(100)는 영상 데이터의 QR 코드(310)를 스캔한 후 분석하여 관리 정보를 추출하여 표시할 수 있다. On the other hand, if the part to which the QR code 310 is attached is a part that the manager cannot access, the drone 200 moves according to the control of the smart glass 100 and captures the maintenance target part to capture the image data. By providing to the smart glasses 100, the smart glasses 100 can scan and analyze the QR code 310 of the image data to extract and display management information.

QR 코드 관리 장치(300)는 시설물(400)의 유지 대상 관리 부위 별 관리 정보를 이용하여 QR 코드(310)를 생성할 때, 관리 정보 별로 관리자 등급을 할당한 후 QR 코드(310)를 생성한다. The QR code management device 300 generates the QR code 310 after allocating a manager level for each management information when generating the QR code 310 using the management information for each maintenance target management part of the facility 400 . .

이와 같은 이유는, 관리 정보는 시설물의 관리자의 등급에 상관없이 누구나 확인할 수 있는 정보(예를 들어, A/S 정보, 업체 정보 등) 뿐만 아니라 특정 등급 이상의 관리자만이 확인할 수 있는 정보(예를 들어, 상세 설계 도면)를 포함하기 때문이다. For this reason, management information is information that can be checked by anyone regardless of the level of the manager of the facility (for example, after-sales service information, company information, etc.) For example, detailed design drawings) are included.

이를 위해, QR 코드 관리 장치(300)는 관리 정보 별로 기밀성 등급을 결정한 후, 관리 정보 별 기밀성 등급에 따라 해당 관리 정보를 확인할 수 있는 관리자의 등급을 결정한다. To this end, the QR code management device 300 determines the level of confidentiality for each management information, and then determines the level of the manager who can check the corresponding management information according to the confidentiality level for each management information.

일 실시예에서, QR 코드 관리 장치(300)는 관리 정보가 시설물의 시공 관련 정보(예를 들어, 시공 방법, 재료 등)인 경우 기밀성 등급을 상급으로 설정할 수 있다.In an embodiment, the QR code management device 300 may set the confidentiality level to an advanced level when the management information is construction-related information (eg, construction method, material, etc.) of a facility.

다른 일 실시예에서, QR 코드 관리 장치(300)는 관리 정보가 시설물의 유지 보수 정보(예를 들어, A/S 방법, A/S 센터 정보 등)인 경우 기밀성 등급을 중급으로 설정할 수 있다.In another embodiment, the QR code management device 300 may set the confidentiality level to intermediate when the management information is maintenance information (eg, A/S method, A/S center information, etc.) of the facility.

또 다른 일 실시예에서, QR 코드 관리 장치(300)는 관리 정보가 시설물의 시설 업체 정보(예를 들어, 시설 업체 홈페이지, 시설 업체 전화번호 등)인 경우 기밀성 등급을 하급으로 설정할 수 있다.In another embodiment, the QR code management device 300 may set the confidentiality level to low when the management information is facility company information (eg, facility company homepage, facility company phone number, etc.) of the facility.

그 후, QR 코드 관리 장치(300)는 관리 정보의 기밀성 등급에 따라 관리 정보 별 관리자 등급을 할당한 후 QR 코드(310)를 생성한다. Thereafter, the QR code management device 300 generates a QR code 310 after allocating a manager level for each management information according to the confidentiality level of the management information.

드론(200)은 스마트 글라스(100)와 연결되어 동기화되면 스마트 글라스(100)의 제어에 따라 이동하면서 유지 관리 대상 유지 대상 관리 부위에 해당하는 위치 정보로 이동하여 유지 관리 대상 유지 대상 관리 부위를 촬영하여 영상 데이터를 상기 스마트 글라스(100)에 제공한다.When the drone 200 is connected and synchronized with the smart glass 100, the drone 200 moves under the control of the smart glass 100 and moves to the location information corresponding to the maintenance target maintenance target management part to photograph the maintenance target maintenance target management part. to provide the image data to the smart glasses 100 .

이를 위해, 드론(200)은 스마트 글라스(100)의 제어에 따라 유지 관리 대상 유지 대상 관리 부위를 촬영하기 위한 카메라 모듈(210)을 구비하고 있으며, 카메라 모듈(210)을 통해 유지 관리 대상 유지 대상 관리 부위를 촬영하여 스마트 글라스(100)에 제공할 수 있다. To this end, the drone 200 is provided with a camera module 210 for photographing the maintenance target maintenance target area under the control of the smart glass 100 , and the maintenance target maintenance target through the camera module 210 . The management site may be photographed and provided to the smart glasses 100 .

드론(200)에 형성된 카메라 모듈(210)의 종류는 다양한 형태로 구현될 수 있으며, 카메라 모듈(210)이 열화상 카메라로 구현되는 경우 시설물(400)을 외부에서 시설물(400)의 단열 손상 여부에 대한 영상 데이터를 촬영하여 영상 데이터를 스마트 글라스(100)에 제공할 수 있다. The type of the camera module 210 formed in the drone 200 may be implemented in various forms, and when the camera module 210 is implemented as a thermal imaging camera, whether the facility 400 is damaged in the insulation of the facility 400 from the outside It is possible to provide the image data to the smart glasses 100 by photographing the image data for the .

도 2는 본 발명에 따른 시설물 유지 관리 방법의 일 실시예를 설명하기 위한 흐름도이다.2 is a flowchart for explaining an embodiment of a facility maintenance management method according to the present invention.

도 2를 참조하면, 스마트 글라스(100)는 시설물의 유지 관리 대상 부위가 관리자가 접근이 가능하면 관리 대상 부위에 부착되어 있는 QR 코드를 스캔한다(단계 S210).Referring to FIG. 2 , the smart glass 100 scans the QR code attached to the management target part if the manager can access the maintenance target part of the facility (step S210 ).

스마트 글라스(100)는 QR 코드를 분석하여 QR 코드에서 관리 정보를 추출한다(단계 S220). 이때, 관리 정보는 시설물의 유지 대상 관리 부위 각각에 대한 매뉴얼, A/S 정보, 업체 정보, 설계 도면 및 시공사 정보를 포함한다. The smart glass 100 analyzes the QR code to extract management information from the QR code (step S220). In this case, the management information includes a manual, A/S information, company information, design drawings, and construction company information for each of the maintenance target management parts of the facility.

스마트 글라스(100)는 QR 코드에서 추출한 관리 정보 및 상기 유지 관리 대상 부위의 영상을 정합 처리하여 표시한다(단계 S230).The smart glasses 100 match and display the management information extracted from the QR code and the image of the maintenance target site (step S230).

도 2에는 도시하지 않았지만, 스마트 글라스(100)는 관리자의 등급에 따라 QR 코드에서 추출한 관리 정보 중 관리자 등급에 해당하는 정보만을 표시할 수 있다. 이를 위해, 스마트 글라스(100)는 관리자 인증 과정을 실행한 후 관리자의 등급을 확인할 수 있다. Although not shown in FIG. 2 , the smart glasses 100 may display only information corresponding to the manager's grade among the management information extracted from the QR code according to the manager's grade. To this end, the smart glasses 100 may check the administrator's grade after executing the administrator authentication process.

일 실시예에서, 스마트 글라스(100)는 생체 정보 인식 모듈이 구비되어 있어 생체 정보 인식 모듈을 통해 관리자의 생체 정보가 수신되면 생체 정보(예를 들어, 지문 정보, 홍체 정보 등) 및 미리 저장된 관리자 등급 별 생체 정보를 비교하여 관리자의 등급을 확인할 수 있다. In one embodiment, the smart glasses 100 are provided with a biometric information recognition module, so that when biometric information of an administrator is received through the biometric information recognition module, biometric information (eg, fingerprint information, iris information, etc.) and a pre-stored manager You can check the manager's grade by comparing biometric information by grade.

다른 일 실시예에서, 스마트 글라스(100)는 관리자 단말(미도시됨)과 통신하여 관리자 단말로부터 인증 정보를 수신하면, 인증 정보 및 미리 저장된 관리자 등급 별 인증 정보를 비교하여 관리자의 등급을 확인할 수 있다. In another embodiment, when the smart glasses 100 communicate with the manager terminal (not shown) and receive authentication information from the manager terminal, the manager's grade can be confirmed by comparing the authentication information and the pre-stored authentication information for each manager grade. have.

상기의 실시예와 같이, 스마트 글라스(100)는 관리자 인증 과정을 실행한 후 관리자의 등급이 확인되면 실행된다. 이와 같은 이유는 스마트 글라스(100)가 관리자가 아닌 일반 사용자에 의해 악의적으로 사용되는 경우 시설물에 대한 기밀 정보가 악의적인 사용자에게 노출될 수 있기 때문이다. As in the above embodiment, the smart glasses 100 are executed when the administrator's grade is confirmed after executing the administrator authentication process. The reason for this is that when the smart glasses 100 are maliciously used by a general user other than an administrator, confidential information about the facility may be exposed to the malicious user.

상기와 같은 과정을 통해 스마트 글라스(100)가 실행된 후 유지 관리 대상 부위에 부착되어 있는 QR 코드(310) 또는 드론(200)으로부터 수신된 영상 데이터에서 QR 코드(310)를 스캔한 후 분석하여 관리 정보를 추출한다. 이때, 관리 정보는 관리자 등급 별로 구분되어 저장되어 있다.After the smart glass 100 is executed through the above process, the QR code 310 attached to the maintenance target area or the QR code 310 from the image data received from the drone 200 is scanned and analyzed. Extract management information. In this case, the management information is stored separately for each manager level.

도 3은 본 발명에 따른 시설물 유지 관리 방법의 다른 일 실시예를 설명하기 위한 흐름도이다.3 is a flowchart for explaining another embodiment of the facility maintenance management method according to the present invention.

도 3을 참조하면, 스마트 글라스(100)는 시설물의 유지 관리 대상 부위가 관리자가 접근이 가능하면 드론과 동기화하여 드론의 비행을 시작시킨다(단계 S210).Referring to FIG. 3 , the smart glass 100 synchronizes with the drone and starts the flight of the drone when the maintenance target part of the facility is accessible by the manager (step S210).

드론(200)은 스마트 글라스(100)의 제어에 따라 시설물의 외부를 촬영하면서(단계 S215) 영상 데이터를 스마트 글라스(100)에 제공한다(단계 S220).The drone 200 provides image data to the smart glasses 100 while photographing the outside of the facility under the control of the smart glasses 100 (step S215) (step S220).

스마트 글라스(100)는 드론(200)으로부터 수신된 영상 데이터를 기초로 유지 관리 대상 부위 중 하자 부위가 존재하는지 여부를 확인한다(단계 S230).The smart glasses 100 check whether there is a defective part among the maintenance target parts based on the image data received from the drone 200 (step S230).

스마트 글라스(100)는 하자 부위가 존재하면(단계 S240), 드론(200)으로부터 수신된 영상 데이터에서 QR 코드를 스캔한 후 분석하여 관리 정보를 추출한다(단계 S250).When there is a defect (step S240), the smart glasses 100 scan a QR code from the image data received from the drone 200 and analyze it to extract management information (step S250).

스마트 글라스(100)는 상기 관리 정보 및 상기 유지 관리 대상 부위의 영상 데이터를 정합 처리하여 표시한다(단계 S260).The smart glasses 100 match and display the management information and the image data of the maintenance target site (step S260).

도 3에는 도시하지 않았지만, 스마트 글라스(100)는 관리자의 등급에 따라 QR 코드에서 추출한 관리 정보 중 관리자 등급에 해당하는 정보만을 표시할 수 있다. 이를 위해, 스마트 글라스(100)는 관리자 인증 과정을 실행한 후 관리자의 등급을 확인할 수 있다. Although not shown in FIG. 3 , the smart glasses 100 may display only information corresponding to the manager's grade among the management information extracted from the QR code according to the manager's grade. To this end, the smart glasses 100 may check the administrator's grade after executing the administrator authentication process.

일 실시예에서, 스마트 글라스(100)는 생체 정보 인식 모듈이 구비되어 있어 생체 정보 인식 모듈을 통해 관리자의 생체 정보가 수신되면 생체 정보(예를 들어, 지문 정보, 홍체 정보 등) 및 미리 저장된 관리자 등급 별 생체 정보를 비교하여 관리자의 등급을 확인할 수 있다. In one embodiment, the smart glasses 100 are provided with a biometric information recognition module, so that when biometric information of an administrator is received through the biometric information recognition module, biometric information (eg, fingerprint information, iris information, etc.) and a pre-stored manager You can check the manager's grade by comparing biometric information by grade.

다른 일 실시예에서, 스마트 글라스(100)는 관리자 단말(미도시됨)과 통신하여 관리자 단말로부터 인증 정보를 수신하면, 인증 정보 및 미리 저장된 관리자 등급 별 인증 정보를 비교하여 관리자의 등급을 확인할 수 있다. In another embodiment, when the smart glasses 100 communicate with the manager terminal (not shown) and receive authentication information from the manager terminal, the manager's grade can be confirmed by comparing the authentication information and the pre-stored authentication information for each manager grade. have.

상기의 실시예와 같이, 스마트 글라스(100)는 관리자 인증 과정을 실행한 후 관리자의 등급이 확인되면 실행된다. 이와 같은 이유는 스마트 글라스(100)가 관리자가 아닌 일반 사용자에 의해 악의적으로 사용되는 경우 시설물에 대한 기밀 정보가 악의적인 사용자에게 노출될 수 있기 때문이다. As in the above embodiment, the smart glasses 100 are executed when the administrator's grade is confirmed after executing the administrator authentication process. The reason for this is that when the smart glasses 100 are maliciously used by a general user other than an administrator, confidential information about the facility may be exposed to the malicious user.

상기와 같은 과정을 통해 스마트 글라스(100)가 실행된 후 유지 관리 대상 부위에 부착되어 있는 QR 코드(310) 또는 드론(200)으로부터 수신된 영상 데이터에서 QR 코드(310)를 스캔한 후 분석하여 관리 정보를 추출한다. 이때, 관리 정보는 관리자 등급 별로 구분되어 저장되어 있다.After the smart glass 100 is executed through the above process, the QR code 310 attached to the maintenance target area or the QR code 310 from the image data received from the drone 200 is scanned and analyzed. Extract management information. In this case, the management information is stored separately for each manager level.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.As described above, although the present invention has been described with reference to the limited examples and drawings, the present invention is not limited to the above examples, which are various modifications and Transformation is possible. Accordingly, the spirit of the present invention should be understood only by the claims described below, and all equivalents or equivalent modifications thereof will fall within the scope of the spirit of the present invention.

100: 스마트 글라스
200: 드론
300: QR 코드 관리 장치
310: QR 코드
400: 시설물100: smart glass
200: drone
300: QR code management device
310: QR code
400: facility

Claims (6)

스마트 글라스(100), QR 코드 관리 장치(300) 및 드론(200)을 포함하는 시설물 유지 관리 시스템에 있어서,
시설물(400)의 유지 관리 대상 부위가 관리자가 접근이 가능한지 여부에 따라 상기 유지 관리 대상 부위에 부착되어 있는 QR 코드(310) 또는 상기 드론(200)과 동기화된 상태에서 상기 드론(200)으로부터 수신된 영상 데이터에서 QR 코드(310)를 스캔한 후 분석하여 관리 정보를 추출하고, 상기 관리 정보 및 유지 관리 대상 부위의 영상 데이터를 정합 처리하여 제공하는 스마트 글라스(100);
상기 시설물(400)의 유지 대상 관리 부위 별 관리 정보를 이용하여 상기 시설물(400)의 유지 대상 관리 부위 각각에 부착되는 QR 코드(310)를 생성하는 QR 코드 관리 장치(300); 및
상기 스마트 글라스(100)의 제어에 따라 상기 유지 관리 대상 부위에 해당하는 위치 정보로 이동하여 상기 유지 관리 대상 부위를 촬영하여 영상 데이터를 스마트 글라스(100)에 제공하는 드론(200)을 포함하여 구성되고,
상기 스마트 글라스(100)는 상기 유지 관리 대상 부위가 관리자가 접근이 가능한 경우, 상기 유지 관리 대상 부위에 부착되어 있는 QR 코드(310)를 스캔하고, 상기 유지 관리 대상 부위가 관리자가 접근이 불가능한 경우, 상기 드론(200)에 의해 촬영된 영상 데이터에서 QR 코드(310)를 스캔하도록 구성되며,
상기 스마트 글라스(100)는 생체 정보 인식 모듈을 구비하고 상기 생체 정보 인식 모듈을 통해 관리자의 인증 과정을 실행하여 관리자의 등급이 확인되는 경우, QR 코드(310)에서 추출한 관리 정보 중 관리자의 등급에 해당하는 관리 정보를 추출하여 증강현실로 제공되고,
상기 스마트 글라스(100)가 다른 스마트 글라스와 동기화되는 경우, 스마트 글라스(100)를 사용하는 관리자의 등급 및 다른 스마트 글라스를 사용하는 관리자의 등급 중 높은 등급을 기준으로 QR 코드(310)에서 추출한 관리 정보를 제공되는 것을 특징으로 하는 시설물 유지 관리 시스템.
In the facility maintenance management system including the smart glass 100, the QR code management device 300 and the drone 200,
Received from the drone 200 in synchronization with the QR code 310 attached to the maintenance target part or the drone 200 depending on whether the maintenance target part of the facility 400 is accessible by the manager A smart glass 100 that scans and analyzes the QR code 310 from the image data to extract management information, and provides the management information and the image data of the maintenance target site by matching;
a QR code management device 300 for generating a QR code 310 attached to each maintenance target management part of the facility 400 using management information for each maintenance target management part of the facility 400; and
Including a drone 200 that moves to the location information corresponding to the maintenance target part under the control of the smart glasses 100 and provides image data to the smart glasses 100 by photographing the maintenance target part become,
The smart glass 100 scans the QR code 310 attached to the maintenance target part when the maintenance target part is accessible by the manager, and when the maintenance target part is inaccessible to the manager , is configured to scan the QR code 310 from the image data taken by the drone 200,
The smart glass 100 includes a biometric information recognition module, and when the administrator's grade is confirmed by executing the administrator's authentication process through the biometric information recognition module, the administrator's grade among the management information extracted from the QR code 310 is The corresponding management information is extracted and provided as augmented reality,
When the smart glasses 100 are synchronized with other smart glasses, management extracted from the QR code 310 based on the higher of the manager's grade using the smart glasses 100 and the manager's grade using other smart glasses Facility maintenance management system, characterized in that the information is provided.
 ◈청구항 2은(는) 설정등록료 납부시 포기되었습니다.◈◈Claim 2 was abandoned when paying the registration fee.◈ 제 1 항에 있어서,
상기 스마트 글라스(100)는 상기 드론(200)으로부터 단열 하자 부위에 대한 실제 유지 대상 관리 부위 영상 데이터를 수신하면, 상기 단열 하자 부위에 부착된 QR 코드(310)를 스캔하여 열손실이 발생한 특정 부위의 자재 특성과, 하자 보수 업체의 정보와, 단열 하자 부위에 대한 실제 영상 데이터를 정합 처리하여 표시하는 하는 것을 특징으로 하는 시설물 유지 관리 시스템.
The method of claim 1,
When the smart glass 100 receives the image data of an actual maintenance target management part for the thermal insulation defect part from the drone 200, it scans the QR code 310 attached to the thermal insulation defect part and a specific part where heat loss occurs. A facility maintenance management system, characterized in that the material characteristics of the , information of the defect repair company, and the actual image data on the insulation defect area are matched and displayed.
 ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈◈Claim 3 was abandoned when paying the registration fee.◈ 제 1 항에 있어서,
스마트 글라스(100)는 QR 코드에서 추출한 관리 정보 중 관리자의 등급에 해당하는 관리 정보가 존재하지 않는 경우, 관리 정보를 표시하지 않고 유지 관리 대상 부위의 영상 데이터를 제공하는 것을 특징으로 하는 시설물 유지 관리 시스템.The method of claim 1,
Smart glass 100 is facility maintenance, characterized in that when there is no management information corresponding to the manager's grade among the management information extracted from the QR code, it does not display the management information and provides image data of the maintenance target site system. 삭제delete 삭제delete 삭제delete
KR1020190094838A 2018-08-27 2019-08-05 Facility maintain management system and method performing the same KR102311532B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210130996A KR102385428B1 (en) 2018-08-27 2021-10-01 Facility maintain management system using smart glass and qr code
KR1020210130993A KR102390552B1 (en) 2018-08-27 2021-10-01 Facility inspection system using drones and smart glasses

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180100719 2018-08-27
KR1020180100719 2018-08-27

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR1020210130996A Division KR102385428B1 (en) 2018-08-27 2021-10-01 Facility maintain management system using smart glass and qr code
KR1020210130993A Division KR102390552B1 (en) 2018-08-27 2021-10-01 Facility inspection system using drones and smart glasses

Publications (2)

Publication Number Publication Date
KR20200024083A KR20200024083A (en) 2020-03-06
KR102311532B1 true KR102311532B1 (en) 2021-10-13

Family

ID=69802532

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020190094838A KR102311532B1 (en) 2018-08-27 2019-08-05 Facility maintain management system and method performing the same
KR1020210130993A KR102390552B1 (en) 2018-08-27 2021-10-01 Facility inspection system using drones and smart glasses
KR1020210130996A KR102385428B1 (en) 2018-08-27 2021-10-01 Facility maintain management system using smart glass and qr code

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020210130993A KR102390552B1 (en) 2018-08-27 2021-10-01 Facility inspection system using drones and smart glasses
KR1020210130996A KR102385428B1 (en) 2018-08-27 2021-10-01 Facility maintain management system using smart glass and qr code

Country Status (1)

Country Link
KR (3) KR102311532B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210122765A (en) * 2018-08-27 2021-10-12 (주)에이치앤씨 건설연구소 Facility inspection system using drones and smart glasses

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102594649B1 (en) * 2020-03-16 2023-10-27 주식회사 홈포유터치 Building pre-check system and method using smart check list
CN113160615B (en) * 2021-03-03 2022-11-29 上海凌苇智能科技合伙企业(有限合伙) Method and system for realizing safety detection before takeoff of unmanned aerial vehicle based on AR technology
KR102558084B1 (en) 2021-09-14 2023-07-21 코스맥스 주식회사 Scalp microbiome complex and its use for improving hair or scalp condition

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101715001B1 (en) * 2015-12-30 2017-03-23 연세대학교 산학협력단 Display system for safety evaluation in construction sites using of wearable device, and thereof method
KR101765235B1 (en) * 2016-11-28 2017-08-04 한국건설기술연구원 FACILITY MAINTENANCE SYSTEM USING INTERNET OF THINGS (IoT) BASED SENSOR AND UNMANNED AIR VEHICLE (UAV), AND METHOD FOR THE SAME

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130076844A (en) * 2013-06-18 2013-07-08 이상윤 Unmanned aerial vehicle system for monitoring jellyfish and trip currents, water-bloom
KR101699372B1 (en) * 2014-09-15 2017-02-14 한국에너지기술연구원 Building energy diagnosis method, apparatus and server
KR102311532B1 (en) 2018-08-27 2021-10-13 조한광 Facility maintain management system and method performing the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101715001B1 (en) * 2015-12-30 2017-03-23 연세대학교 산학협력단 Display system for safety evaluation in construction sites using of wearable device, and thereof method
KR101765235B1 (en) * 2016-11-28 2017-08-04 한국건설기술연구원 FACILITY MAINTENANCE SYSTEM USING INTERNET OF THINGS (IoT) BASED SENSOR AND UNMANNED AIR VEHICLE (UAV), AND METHOD FOR THE SAME

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210122765A (en) * 2018-08-27 2021-10-12 (주)에이치앤씨 건설연구소 Facility inspection system using drones and smart glasses
KR102390552B1 (en) 2018-08-27 2022-05-04 (주)에이치앤씨 건설연구소 Facility inspection system using drones and smart glasses

Also Published As

Publication number Publication date
KR102385428B1 (en) 2022-04-14
KR20210122765A (en) 2021-10-12
KR20210122766A (en) 2021-10-12
KR102390552B1 (en) 2022-05-04
KR20200024083A (en) 2020-03-06

Similar Documents

Publication Publication Date Title
KR102311532B1 (en) Facility maintain management system and method performing the same
CN110971878B (en) Engineering field management system
CN108957240A (en) Electric network fault is remotely located method and system
CN108830967B (en) Visual power inspection method and device
CN109118081B (en) Operation safety supervision system and method based on image processing mode
CN108647627A (en) A kind of safety inspection method and safe examination system of vehicle
CN110543866A (en) Safety management system and method for capital construction engineering constructors
CN112085232A (en) Operation inspection system and method based on augmented reality technology
CN104335252A (en) Method for identifying a person
CN110930566A (en) Safe rechecking method, system and device for vehicles to and from prisons and storable medium
CN107333101B (en) Court trial personnel behavior patrol method and system based on court announcements
CN113935645A (en) High-risk operation management and control system and method based on identification analysis technology
CN111259682A (en) Method and device for monitoring the safety of a construction site
CN112487976B (en) Monitoring method, device and storage medium based on image recognition
CN108460357B (en) Windowing alarm detection system and method based on image recognition
CN213128247U (en) Intelligent safety helmet system
KR101800297B1 (en) Outside crack of concrete structures detection system utilizing flight
CN104169977B (en) Person recognition method
CN108319956A (en) The automatic identification equipment and system of certificate information
KR20170124231A (en) Automatic tesing method for normal condition of a display device screen and system of the same
CN110751125A (en) Wearing detection method and device
CN114187675B (en) Fire-fighting inspection method and equipment, medium and product
KR102153609B1 (en) Accident Guidance System using CCTV Camera
CN111126771B (en) Safety inspector identification picture quality supervision and guarantee system and method based on regional attention prediction
JP7211484B2 (en) Image processing device, control method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant