KR102195890B1 - Safety Diagnosis System and Method Using Smart Glasses - Google Patents

Safety Diagnosis System and Method Using Smart Glasses Download PDF

Info

Publication number
KR102195890B1
KR102195890B1 KR1020200112571A KR20200112571A KR102195890B1 KR 102195890 B1 KR102195890 B1 KR 102195890B1 KR 1020200112571 A KR1020200112571 A KR 1020200112571A KR 20200112571 A KR20200112571 A KR 20200112571A KR 102195890 B1 KR102195890 B1 KR 102195890B1
Authority
KR
South Korea
Prior art keywords
deterioration
damage
server
image
mobile terminal
Prior art date
Application number
KR1020200112571A
Other languages
Korean (ko)
Inventor
양민철
김종만
박명애
유필재
유성훈
이희중
신동환
조창희
김세원
김시안
손영대
Original Assignee
한세이엔씨(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한세이엔씨(주) filed Critical 한세이엔씨(주)
Priority to KR1020200112571A priority Critical patent/KR102195890B1/en
Application granted granted Critical
Publication of KR102195890B1 publication Critical patent/KR102195890B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

The present invention relates to a safety diagnosis system and a safety diagnosis method using smart glasses. According to the present invention, the safety diagnosis system using smart glasses comprises: a portable terminal; smart glasses; a server; and a database configured to store and update information necessary for the inspection of a structure. According to the present invention, the safety diagnosis of a structure can be rapidly and accurately performed.

Description

스마트글래스 안전진단 시스템 및 안전진단 방법{Safety Diagnosis System and Method Using Smart Glasses}Safety Diagnosis System and Method Using Smart Glasses}

본 발명은 스마트글래스 안전진단 시스템 및 안전진단 방법에 관한 것으로서, 현장에서 구조물의 안전진단을 함에 있어서 스마트 글래스를 착용하고 화면 입력이 가능한 휴대단말기를 휴대하며, 스마트 글래스가 기존 손상, 열화 또는 신규 손상, 열화 의심 징후를 감지하면 해당 손상, 열화 및 손상, 열화 의심 징후를 촬영하고 휴대단말기에 출력된 도면에 해당 감지 위치와 촬영 이미지를 함께 표기한 후 서버에 전송하거나 또는 스마트글래스에서 음성인식 기술로 해당 손상, 열화 및 손상, 열화 의심 징후에 대한 영상 및 사진 촬영을 지시하고 이를 촬영하면 해당 감지 위치 및 이미지를 함께 서버에 전송하고, 서버에서는 기존 손상, 열화의 경우 성장도를 분석하여 손상, 열화의 위험도를 판독하거나 또는 신규 감지 손상, 열화 의심 징후의 경우 손상, 열화에 관한 일반적인 이미지 및 특징과 비교 분석하여 손상, 열화 여부를 판독하며, 상기 판독 결과를 스마트글래스 및 휴대단말기에 해당 손상, 열화 또는 손상, 열화 의심 징후의 정확한 위치 좌표와 함께 송신하면, 스마트글래스가 손상, 열화 또는 손상, 열화 의심 징후에 대한 이미지 및 위치 정보를 증강현실을 이용하여 QR코드로 생성한 후 증강현실 기술을 이용하기 위한 방법으로 휴대단말기의 도면에 마커로서 표시하고, 와이파이 무선통신과 모바일 데이터통신을 이용하여 상기 도면을 서버에 전송하여 데이터베이스에 업데이트된 디지털 도면을 저장하며, 스마트글래스가 손상, 열화의 QR코드를 인식하면 증강현실로 해당 손상, 열화의 정보를 스마트글래스에 출력할 수 있도록 함으로써 구조물에 대한 안전진단을 신속, 정확, 안전, 편리하게 할 수 있도록 하는 스마트글래스를 이용한 안전진단 시스템 및 안전진단 방법에 관한 것이다.The present invention relates to a smart glass safety diagnosis system and a safety diagnosis method, in which a smart glass is worn and a portable terminal capable of screen input is carried in the safety diagnosis of a structure in the field, and the smart glass is damaged, deteriorated, or newly damaged. , When a suspicious sign of deterioration is detected, the corresponding damage, deterioration and damage, and suspicious signs of deterioration are photographed, and the detection location and photographed image are marked together in a drawing printed on the mobile terminal, and then transmitted to the server or by voice recognition technology in smart glasses. Instructs to take images and photos for the damage, deterioration and damage, and suspicious signs of deterioration, and when it is taken, the detection location and image are transmitted to the server together. In the case of new detection damage or suspected signs of deterioration, the risk of damage or deterioration is read by comparing and analyzing with general images and characteristics of damage and deterioration, and the reading result is corresponding to the damage or deterioration in smart glasses and mobile terminals. Or, if it is transmitted with the exact location coordinates of the signs of damage or deterioration, the smart glass generates images and location information of the signs of damage, deterioration or damage, or suspected deterioration using augmented reality as a QR code, and then uses augmented reality technology. As a method to display the drawing of the mobile terminal as a marker, transmit the drawing to the server using Wi-Fi wireless communication and mobile data communication to store the updated digital drawing in the database, and the QR code of damage or deterioration of the smart glass A safety diagnosis system and safety diagnosis method using smart glasses that enable rapid, accurate, safe, and convenient safety diagnosis for structures by enabling the information of the damage and deterioration to be output to the smart glass with augmented reality when recognized. It is about.

교량이나 건축물 등 구조물의 안전진단은 검사자가 구조물에 올라가서 구조물에 새로 생성되었거나 기존에 생성되었던 손상, 열화를 육안으로 확인하는 방법으로 시행이 될 수 있다.The safety diagnosis of structures such as bridges and buildings can be conducted by a method by which an inspector climbs to the structure and visually checks the damage or deterioration that has been newly created or created in the structure.

그런데 구조물에 접근하여 직접 손상, 열화를 일일이 육안으로 확인하고 또한 기존 손상, 열화와 점검 시점의 손상, 열화를 비교하면서 기존 손상, 열화인지 여부, 기존 손상, 열화인 경우 성장이 되었는지 여부, 그리고 신규로 발견된 손상, 열화 의심 징후라면 손상, 열화라고 판단할 수 있는 지 여부 등을 확인할 수 있어야 한다.However, by approaching the structure, direct damage and deterioration are checked with the naked eye. Also, by comparing the existing damage, deterioration and damage and deterioration at the time of inspection, whether it is the existing damage or deterioration, whether the existing damage or deterioration has grown, and the new If it is a sign of damage or deterioration that is found to be damaged, it should be possible to determine whether the damage or deterioration can be determined.

그런데 종전에는 방대한 구조물에 관한 종이 도면을 지참하고 도면에 손상, 열화 정보를 마킹하고 설명을 부가하기 위한 필기구를 지참하며 사진 촬영을 위한 카메라와 현장 상황 보고 또는 추가 정보 요청을 위한 통신단말을 지참하여 작업을 진행해야 했다.However, in the past, you should bring a paper drawing of a vast number of structures, a writing instrument for marking damage and deterioration information on the drawing, and adding an explanation, a camera for taking photos, and a communication terminal for reporting on-site status or requesting additional information. I had to work on it.

이에 도면과 필기구, 카메라 등을 지참한 상태에서 교량 등 대규모 구조물에 탑승한 채 이동하는 것이 대단히 위험할 뿐 아니라, 손상, 열화 또는 손상, 열화 의심 징후를 발견 시 해당 손상, 열화 또는 손상, 열화 의심 징후의 발견 위치 및 형태를 도면에 표시하기 위해서는 해당 종이 도면을 전체 도면 더미 중에서 찾아내어 좁고 위험한 자세로 필기를 해야 하고 사진을 촬영하고 관련 정보를 기입해야 해서 위험도가 증가할 뿐 아니라 사진 촬영의 어려움으로 인한 정확한 손상, 열화 이미지 확보에 난항을 겪게 되고, 또한 손상, 열화 또는 손상, 열화 의심 징후를 발견한 지점의 정확한 위치를 도면에서 찾기가 수월하지 않을 뿐 아니라 해당 지점을 찾아서 정보를 기입한다고 해도 해당 지점의 정확한 위치를 신뢰할 수 없어 향후 재방문 시 정확히 해당 손상, 열화 또는 손상, 열화 의심 징후를 찾아낸다고 장담할 수 없는 등 종전의 안전진단 시스템에 있어서는 위치 및 이미지 정확도에 중대한 신뢰성 하락이 우려될 뿐 아니라 검사자의 안전에도 위험 요소가 있어 부정확하고 안전하지 못한 안전진단 방법이라 하겠다.Therefore, it is very dangerous to move while on board a large structure such as a bridge with drawings, writing instruments, and cameras, and if any signs of damage, deterioration or damage, or suspected deterioration are found, the damage, deterioration or damage, or deterioration is suspected. In order to indicate the location and shape of the signs on the drawing, the paper drawing needs to be found out of the entire pile of drawings and written in a narrow and dangerous posture, taking pictures and filling in relevant information, increasing the risk and making it difficult to take pictures. It is not easy to find the exact location of the spot where the signs of damage, deterioration or damage, or suspicious deterioration were found on the drawing, and even if you find the point and fill in the information As the exact location of the corresponding point cannot be trusted, it is not possible to guarantee that the damage, deterioration or damage, and signs of suspicion of deterioration can be accurately detected when revisiting in the future. In addition, there is a risk factor in the safety of the inspector, so it is an inaccurate and unsafe safety diagnosis method.

이에 검사자가 안전하게 이동할 수 있도록 간편화 된 도구, 손상, 열화 발견 지점의 정확한 위치 좌표 산출, 편리한 사진 촬영 및 전송, 현장에서 손상, 열화 정보에 대해 정확하고 신속한 정보 취득 등이 보강되어 구조물에 대한 안전진단이 시행되어야 할 필요성이 강하게 대두되는 실정이다.Accordingly, the safety diagnosis of the structure has been reinforced with simplified tools so that the inspector can move safely, accurate position coordinate calculation of the point of damage and deterioration detection, convenient photographing and transmission, and accurate and quick information acquisition of damage and deterioration information at the site. There is a strong need for this to be implemented.

대한민국 등록특허공보 10-2133330Korean Registered Patent Publication 10-2133330

본 발명은 상기 종래 기술상의 제반 문제점을 감안하여 이를 해결하고자 창출된 것으로, 현장에서 구조물의 안전진단을 함에 있어서 스마트 글래스를 착용하고 화면 입력이 가능한 휴대단말기를 휴대하며, 스마트 글래스가 기존 손상, 열화 또는 신규 손상, 열화 의심 징후를 감지하면 해당 손상, 열화 및 손상, 열화 의심 징후를 촬영하고 휴대단말기에 출력된 도면에 해당 감지 위치와 촬영 이미지를 함께 표기한 후 서버에 전송하거나 또는 스마트글래스에서 음성인식 기술로 해당 손상, 열화 및 손상, 열화 의심 징후에 대한 영상 및 사진 촬영을 지시하고 이를 촬영하면 해당 감지 위치 및 이미지를 함께 서버에 전송하고, 서버에서는 기존 손상, 열화의 경우 성장도를 분석하여 손상, 열화의 위험도를 판독하거나 또는 신규 감지 손상, 열화 의심 징후의 경우 손상, 열화에 관한 일반적인 이미지 및 특징과 비교 분석하여 손상, 열화 여부를 판독하며, 상기 판독 결과를 스마트글래스 및 휴대단말기에 해당 손상, 열화 또는 손상, 열화 의심 징후의 정확한 위치 좌표와 함께 송신하면, 스마트글래스가 손상, 열화 또는 손상, 열화 의심 징후에 대한 이미지 및 위치 정보를 증강현실을 이용하여 QR코드로 생성한 후 증강현실 기술을 이용하기 위한 방법으로 휴대단말기의 도면에 마커로서 표시하고, 상기 도면을 와이파이 무선통신과 모바일 데이터통신을 이용하여 서버에 전송하여 데이터베이스에 업데이트된 디지털 도면을 저장하며, 스마트글래스가 손상, 열화의 QR코드를 인식하면 증강현실로 해당 손상, 열화의 정보를 스마트글래스에 출력할 수 있도록 함으로써 구조물에 대한 안전진단을 신속, 정확, 안전, 편리하게 할 수 있도록 하는 스마트글래스 안전진단 시스템 및 안전진단 방법을 제공하는 데 그 목적이 있다.The present invention was created to solve this problem in consideration of the problems of the prior art, and wears smart glasses and carries a portable terminal capable of screen input in safety diagnosis of structures in the field, and the smart glasses are damaged or deteriorated. Or, if a new damage or suspicious sign of deterioration is detected, the corresponding damage, deterioration and damage, and suspicious signs of deterioration are photographed, and the detection location and photographed image are marked together in a drawing printed on the mobile terminal, and then transmitted to the server or voiced from smart glasses Recognition technology instructs the shooting of images and photos for the damage, deterioration and damage, and suspicious signs of deterioration, and when this is taken, the detection location and image are transmitted to the server together, and the server analyzes the growth rate in the case of existing damage and deterioration. It reads the risk of damage or deterioration or, in the case of new detection damage or suspected signs of deterioration, compares and analyzes general images and characteristics of damage and deterioration to read the damage or deterioration, and the reading result corresponds to smart glasses and mobile terminals. When transmitted with the exact position coordinates of the signs of damage, deterioration or damage, or suspicious deterioration, the smart glasses generate images and location information for the signs of damage, deterioration or damage, or suspicious deterioration using augmented reality, and then augmented reality. As a method for using technology, it is displayed as a marker on a drawing of a portable terminal, and the drawing is transmitted to the server using Wi-Fi wireless communication and mobile data communication, and the updated digital drawing is stored in the database, and the smart glasses are damaged or deteriorated. Smart glass safety diagnosis system and safety diagnosis that enable quick, accurate, safe, and convenient safety diagnosis for structures by enabling the information of damage and deterioration to be output on smart glasses by recognizing the QR code of Its purpose is to provide a method.

본 발명의 상기 목적과 여러 가지 장점은 이 기술 분야에 숙련된 사람들에 의해 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.The above objects and various advantages of the present invention will become more apparent from the preferred embodiments of the present invention by those skilled in the art.

본 발명은 상기 목적을 달성하기 위한 것으로, The present invention is to achieve the above object,

손상, 열화 정보 및 마커가 포함된 구조물의 도면을 화면에 출력하고 화면 입력이 가능한 휴대단말기; 현장 구조물에 있는 기존 손상, 열화 또는 신규 손상, 열화 의심 징후를 촬영하고 촬영 이미지와 관련 도면 정보를 서버 및 휴대단말기에 전송하는 스마트글래스; 기존 손상, 열화 또는 신규 손상, 열화 의심 징후 이미지를 수신한 후 기존 손상, 열화는 기 저장된 해당 손상, 열화의 이미지와 비교하여 성장여부를 판독하고, 신규 손상, 열화 의심 징후는 일반적인 손상, 열화 관련 영상 및 사진과 비교하여 손상, 열화 여부를 판독하며, 상기 판독 결과를 서버 및 휴대단말기에 전송하는 서버; 및 구조물의 도면, 상기 도면에 기록된 기존 손상, 열화 및 마커 정보, 및 일반적인 손상, 열화 관련 영상 및 사진 등 구조물 점검, 손상, 열화 판독 및 성장도 분석에 필요한 정보가 저장되고 업데이트되는 데이터베이스;를 포함하되, 서버는 스마트글래스 및 휴대단말기로부터 좌표값을 수신하여 상기 좌표에 해당되는 구조물 도면을 데이터베이스에서 호출하여 휴대단말기에 전송할 수 있으며, 기존 손상, 열화는 도면에 좌표값이 포함되어 스마트글래스가 인식하면 증강현실로 투영되고, 신규 손상, 열화 의심 징후는 스마트글래스가 촬영한 이미지를 포함하여 서버가 마커를 생성한 후 도면에 삽입하는 것을 더 포함한다.A portable terminal capable of outputting a drawing of a structure including damage and deterioration information and a marker on a screen and enabling screen input; Smart glasses that photograph existing damage, deterioration or new damage, or signs of deterioration suspicion in the on-site structure and transmit the photographed image and related drawing information to the server and mobile terminal; After receiving an image of existing damage, deterioration or new damage, or signs of deterioration, the existing damage or deterioration is compared with the previously stored image of the corresponding damage and deterioration to read whether it has grown, and new damage or deterioration suspicious signs are related to general damage and deterioration. A server that compares images and photos to read damage or deterioration, and transmits the read results to the server and the mobile terminal; And a database for storing and updating information necessary for structure inspection, damage, deterioration reading and growth degree analysis, such as a drawing of a structure, existing damage, deterioration and marker information recorded in the drawing, and general damage and deterioration-related images and photos. Including, but the server receives the coordinate values from the smart glasses and the mobile terminal and can call the structure drawings corresponding to the coordinates from the database and transmit them to the mobile terminal.In case of damage or deterioration, the coordinate values are included in the drawings so that the smart glasses Upon recognition, it is projected to augmented reality, and the new signs of damage or deterioration include the image captured by the smart glass, and the server generates a marker and then inserts it into the drawing.

일 실시예에 따르면, 서버는 스마트글래스에서 전송하는 구조물에 대한 실시간 영상을 데이터베이스에 저장된 일반적인 손상, 열화의 이미지와 비교하여 손상, 열화로 의심되는 손상, 열화 의심 징후 여부를 판독할 수 있으며, 스마트글래스에서 인지하지 못하고 지나친 의심 손상, 열화 의심 징후에 대해서는 해당 이미지 및 좌표값을 휴대단말기 및 스마트글래스에 전송하고 알람을 고지할 수 있는 것을 더 포함한다.According to an embodiment, the server compares the real-time image of the structure transmitted from the smart glass with the image of general damage and deterioration stored in the database to read whether damage, suspected deterioration, or signs of deterioration suspected. In the case of excessive suspicious damage or signs of deterioration that the glasses do not recognize, the image and coordinate values are transmitted to the mobile terminal and smart glasses, and an alarm may be notified.

일 실시예에 따르면, 서버는 스마트글래스로부터 수신한 기존 손상, 열화에 대한 현재 이미지를 기 저장된 기존 손상, 열화 대비 길이 및 영상 비교 분석을 통해 손상, 열화의 성장 여부 및 성장 속도를 판독하여 구조물의 위험도를 평가할 수 있으며, 손상, 열화의 성장이 기 설정된 위험도를 초과하면 유관기관에 신고할 수 있는 것을 더 포함한다.According to an embodiment, the server reads the growth rate and growth rate of damage and deterioration through a pre-stored existing damage, length versus deterioration, and image comparison analysis of the current image of the existing damage and deterioration received from the smart glass. The risk level can be evaluated, and if the growth of damage or deterioration exceeds the preset risk level, it further includes the reportable to the relevant agency.

본 발명의 실시 예에 따른 스마트글래스 안전진단 방법은, (1) 안전진단 구조물에 위치한 스마트글래스 및 휴대단말기가 기동되고 스마트글래스, 휴대단말기, 서버가 상호 연동되는 단계; (2) 스마트글래스 및 휴대단말기의 좌표값이 서버에 송신되고, 서버는 데이터베이스에서 상기 좌표에 해당되는 구조물 도면을 호출하여 스마트글래스 및 휴대단말기에 전송하며 휴대단말기에 도면이 출력되는 단계; (3) 스마트글래스는 구조물의 안전진단을 위해 구조물에 대한 영상 촬영을 진행하며 실시간으로 서버에 송신하고, 스마트글래스가 도면에 첨부된 마커를 인식하면 손상, 열화 이미지 및 제원이 스마트글래스에 증강현실로 디스플레이 되며 현장 구조물에 오버랩되는 단계; (4) 스마트글래스가 마커를 이용하여 기존 손상, 열화를 감지하고 해당 손상, 열화를 촬영하여 이미지 및 제원을 서버 및 휴대단말기에 전송하는 단계; (5) 서버가 현재 시점의 손상, 열화 이미지 및 제원을 기존 진단 시점에서의 이미지 및 제원과 비교하여 손상, 열화의 성장도를 판독하는 단계; (6) 서버는 스마트글래스로부터 수신한 손상, 열화의 이미지와 제원을 포함하여 현재 진단 시점의 마커를 생성하여 기존 마커를 갱신할 수 있으며 이를 해당 도면에 업데이트하는 단계; (7) 서버는 업데이트 된 도면을 데이터베이스에 전송하여 저장하고, 휴대단말기에도 전송하는 단계;를 포함한다.The smart glasses safety diagnosis method according to an embodiment of the present invention includes the steps of: (1) a smart glass and a mobile terminal located in a safety diagnosis structure are activated, and the smart glasses, a mobile terminal, and a server are interlocked with each other; (2) the coordinate values of the smart glasses and the portable terminal are transmitted to the server, and the server calls the structure drawing corresponding to the coordinates from the database and transmits it to the smart glasses and the portable terminal, and the drawing is output to the portable terminal; (3) Smart glass takes images of the structure for safety diagnosis of the structure and transmits it to the server in real time.If the smart glass recognizes the marker attached to the drawing, the damage, deterioration image and specifications are displayed on the smart glass. Displayed as and overlapping the on-site structure; (4) smart glasses detecting existing damage and deterioration using a marker, photographing the damage and deterioration, and transmitting the image and specifications to the server and the portable terminal; (5) the server comparing the damage and deterioration images and specifications at the current time point with the images and specifications at the time of the existing diagnosis to read the degree of growth of damage and deterioration; (6) The server may update the existing marker by generating a marker at the time of diagnosis including images and specifications of damage and deterioration received from the smart glass, and updating the existing marker in the corresponding drawing; (7) The server transmits and stores the updated drawing to the database, and transmits the updated drawing to the mobile terminal.

일 실시 예에 따르면, 상기 (2)단계는 스마트글래스 및 휴대단말기가 이동하는 지점마다 서버가 스마트글래스 및 휴대단말기의 변경된 GPS 좌표를 수신하고 각 지점에 해당되는 도면을 실시간으로 휴대단말기에 전송하는 것을 더 포함한다.According to an embodiment, in step (2), the server receives the changed GPS coordinates of the smart glasses and the mobile terminal at each point where the smart glasses and the mobile terminal move, and transmits a drawing corresponding to each point to the mobile terminal in real time. It includes more.

일 실시 예에 따르면, 상기 (3)단계에서 서버는 스마트글래스로부터 수신하는 현장 영상을 분석하여 도면에 마커가 없는 신규 손상, 열화 의심 징후가 감지되면 상기 손상, 열화 의심 징후의 이미지를 데이터베이스에 저장된 일반적인 손상, 열화 이미지와 비교 분석한 후 손상, 열화로 의심되면 상기 이미지 및 분석결과를 스마트글래스 및 휴대단말기에 전송하여 점검 할 것을 지시하는 단계를 더 포함한다.According to an embodiment, in step (3), the server analyzes the field image received from the smart glass, and if a new damage or deterioration suspicious sign is detected in the drawing, the image of the damage and deterioration suspicious sign is stored in the database. The method further comprises the step of instructing to inspect the image and the analysis result by transmitting the image and the analysis result to the smart glasses and the portable terminal when a damage or deterioration is suspected after comparing and analyzing the normal damage or deterioration image.

일 실시 예에 따르면, 상기 (4)단계에서 스마트글래스가 QR코드 없는 신규 손상, 열화 의심 징후를 감지하면 상기 손상, 열화 의심 징후의 이미지를 촬영 후 서버에 송신하며 서버는 상기 손상, 열화 의심 징후에 관한 QR코드를 생성하여 도면을 업데이트하는 것을 더 포함한다.According to an embodiment, when the smart glasses detects a new damage or deterioration suspicious sign without a QR code in step (4), the image of the damage or deterioration suspicious sign is captured and sent to the server, and the server sends the damage or deterioration suspicious sign. It further includes generating a QR code for updating the drawing.

일 실시 예에 따르면, 상기 (5)단계에서 서버는 손상, 열화의 성장도를 근거로 구조물의 위험도를 평가할 수 있으며, 손상, 열화의 성장이 기 설정된 위험도를 초과하면 유관기관에 신고할 수 있는 것을 더 포함한다.According to an embodiment, in step (5), the server may evaluate the risk of the structure based on the degree of growth of damage and deterioration, and if the growth of damage or deterioration exceeds a preset risk, it can report to the relevant agency. It includes more.

기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Details of other embodiments are included in the detailed description and drawings.

본 발명의 스마트글래스 안전진단 시스템 및 안전진단 방법에 의하면 다음과 같은 효과를 얻을 수 있다. According to the smart glasses safety diagnosis system and safety diagnosis method of the present invention, the following effects can be obtained.

첫째, 종이 도면, 필기구, 통신장치, 카메라를 지참하지 않고 스마트글래스를 착용하고 휴대단말기만 지참한 채 구조물에 올라 점검할 수 있어 이동이 자유롭고 안전하며 간편하고 신속하다.First, without bringing paper drawings, writing instruments, communication devices, and cameras, you can wear smart glasses and go up and inspect the structure with only a portable terminal, so movement is free, safe, simple and quick.

둘째, 구조물 점검 중 손상, 열화 또는 신규 손상, 열화 의심 징후를 발견하면 스마트글래스로 바로 촬영하여 해당 이미지를 생성할 수 있으며, 검사자가 손상, 열화 또는 손상, 열화 의심 징후를 발견하지 못해도 스마트글래스가 자동으로 인지함으로써 안전진단 검수 신뢰성을 높일 수 있다.Second, if damage, deterioration or new damage, or signs of deterioration are found during the inspection of the structure, the corresponding image can be created by shooting directly with smart glasses. Even if the inspector does not find any signs of damage, deterioration or damage, or suspicious deterioration, the smart glass By automatically recognizing it, the reliability of safety diagnosis inspection can be increased.

셋째, 스마트글래스가 촬영한 손상, 열화 이미지와 휴대단말기의 도면 QR코드를 바탕으로 서버에서 해당 손상, 열화의 정확한 위치 좌표를 산출할 수 있어 도면 정보의 정확성이 증가하고, 손상, 열화의 성장도를 현장에서 바로 확인할 수 있으며 손상, 열화의 위험수준을 유관기관에 즉시 통보할 수 있어 즉각적이고 적절한 대처가 이뤄질 수 있다.Third, it is possible to calculate the exact location coordinates of the damage and deterioration in the server based on the damage and deterioration image captured by smart glasses and the drawing QR code of the mobile terminal, thereby increasing the accuracy of the drawing information, and the growth of damage and deterioration. It can be checked immediately on site, and the level of risk of damage and deterioration can be immediately notified to the relevant organizations, so that immediate and appropriate actions can be taken.

넷째, 서버에서 산출한 정확한 위치 좌표를 스마트글래스가 수신하고 구조물의 손상, 열화 위에 증강현실로 구현한 후 휴대단말기에 QR코드를 생성 또는 갱신함으로써 필기 입력 절차 없이 이미지를 포함한 많은 분량의 정보를 정확하고 신속하게 도면에 저장할 수 있다.Fourth, smart glasses receive the exact location coordinates calculated by the server, implement augmented reality over damage or deterioration of the structure, and then generate or update a QR code on the mobile terminal to accurately record a large amount of information including images without a handwriting input procedure. And you can quickly save it to your drawing.

다섯째, 휴대단말기의 디지털 도면에 표시된 QR코드를 스마트글래스가 인식하면 점검 중인 구조물의 현재 위치와 기존 손상, 열화의 정보를 별도의 검색 절차 없이 바로 생성할 수 있고 이를 증강현실 및 휴대단말기에 구현함에 따라 편리, 정확, 신속한 점검이 이뤄질 수 있어 작업시간이 대폭 감소하고 인건비가 절감될 수 있다.Fifth, if smart glass recognizes the QR code displayed on the digital drawing of the mobile terminal, the current location of the structure being inspected, information on existing damage, and deterioration can be immediately generated without a separate search procedure, and this is implemented in augmented reality and mobile terminals. As a result, convenient, accurate, and quick inspection can be achieved, which can greatly reduce working hours and reduce labor costs.

도 1은 본 발명의 일 실시예에 따른 스마트글래스 안전진단 시스템의 간략한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 스마트글래스 안전진단 시스템의 휴대단말기 도면 예시도이다.
도 3은 본 발명의 일 실시예에 따른 스마트글래스 안전진단 시스템의 동작 예시도이다.
도 4는 본 발명의 일 실시예에 따른 스마트글래스 안전진단 방법의 간략한 순서도이다.1 is a simplified configuration diagram of a smart glasses safety diagnosis system according to an embodiment of the present invention.
2 is an exemplary diagram of a portable terminal of a smart glasses safety diagnosis system according to an embodiment of the present invention.
3 is an exemplary view of the operation of the smart glasses safety diagnosis system according to an embodiment of the present invention.
4 is a simplified flow chart of a smart glasses safety diagnosis method according to an embodiment of the present invention.

본 발명을 충분히 이해하기 위해서 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 보다 상세하게 설명하기로 한다. In order to fully understand the present invention, preferred embodiments of the present invention will be described in more detail with reference to the accompanying drawings.

본 발명 설명에 앞서, 이하의 특정한 구조 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 여러 가지 형태로 변형되어 실시될 수 있으며, 본 발명의 범위가 아래에서 상세히 설명하는 실시예로 한정되는 것으로 해석되어서는 안 된다. Prior to the description of the present invention, the following specific structure or functional descriptions are exemplified only for the purpose of describing embodiments according to the concept of the present invention, and embodiments according to the concept of the present invention are modified in various forms to be implemented. It may be, and the scope of the present invention should not be construed as being limited to the examples described in detail below.

또한 본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로, 특정 실시 예들은 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. In addition, since embodiments according to the concept of the present invention can be modified in various ways and have various forms, specific embodiments are illustrated in the drawings and will be described in detail in the present specification.

그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태에 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경물, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. However, this is not intended to limit the embodiments according to the concept of the present invention to a specific form of disclosure, it is to be understood to include modifications, equivalents, or substitutes included in the spirit and scope of the present invention.

본 실시 예는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공 되어지는 것이다. 따라서 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어 표현될 수 있다. This embodiment is provided to more completely describe the present invention to those with average knowledge in the industry. Therefore, the shape of the element in the drawings may be exaggerated to emphasize a clearer description.

각 도면에서 동일한 부재는 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략된다.It should be noted that in each drawing, the same member may be indicated by the same reference numeral. Detailed descriptions of known functions and configurations that are determined to unnecessarily obscure the subject matter of the present invention will be omitted.

도 1은 본 발명의 일 실시예에 따른 스마트글래스 안전진단 시스템의 간략한 구성도이고, 도 2는 본 발명의 일 실시예에 따른 스마트글래스 안전진단 시스템의 휴대단말기 도면 예시도이며, 도 3은 본 발명의 일 실시 예에 따른 스마트글래스 안전진단 시스템의 동작 예시도이고, 도 4는 본 발명의 일 실시 예에 따른 스마트글래스 안전진단 방법의 간략한 순서도이다.1 is a simplified configuration diagram of a smart glasses safety diagnosis system according to an embodiment of the present invention, FIG. 2 is an exemplary diagram of a portable terminal of the smart glasses safety diagnosis system according to an embodiment of the present invention, and FIG. An exemplary view of the operation of a smart glasses safety diagnosis system according to an embodiment of the present invention is shown, and FIG. 4 is a simplified flowchart of a smart glasses safety diagnosis method according to an embodiment of the present invention.

본 발명의 바람직한 실시예에 따른 스마트글래스 안전진단 시스템(10)은 스마트글래스(100), 휴대단말기(200), 서버(300), 데이터베이스(400)를 포함한다.The smart glasses safety diagnosis system 10 according to a preferred embodiment of the present invention includes a smart glasses 100, a portable terminal 200, a server 300, and a database 400.

스마트글래스(100)는 카메라, 명령어 입력이 가능한 인터페이스 장치(가령 마이크), 무선통신 장치, 증강현실(AR;Augmented Reality) 기능이 탑재되어 투시 기능과 컴퓨터의 기능을 수행할 수 있는 안경 형태의 디바이스로서 사용자가 착용할 수 있다. The smart glasses 100 is a glasses-type device that can perform a perspective function and a computer function by being equipped with a camera, an interface device (eg, a microphone) capable of inputting commands, a wireless communication device, and an augmented reality (AR) function. As can be worn by the user.

스마트글래스(100)의 세부 구조 및 작동방식은 공지의 기술을 참조하기로 하고 본 명세서에서는 자세한 설명을 생략하기로 한다. The detailed structure and operation method of the smart glasses 100 will be described with reference to known techniques, and detailed descriptions will be omitted herein.

휴대단말기(200)는 휴대 가능하고 통신 및 컴퓨터 기능이 있는 단말기로서 스마트폰, 태블릿PC 등이 사용될 수 있으며, 휴대단말기(200)의 액정 화면에 터치 방식으로 내용을 기입할 수 있는 화면 입력이 가능한 휴대단말기(200)인 것이 바람직하다.The portable terminal 200 is a portable terminal that has communication and computer functions, and a smartphone, a tablet PC, etc. can be used, and a screen input capable of writing contents in a touch method on the liquid crystal screen of the portable terminal 200 is possible. It is preferably a portable terminal 200.

휴대단말기(200)에는 진단 중인 구조물에 대한 디지털 도면(210)이 상시 출력된 상태일 수 있으며, 해당 구조물에 기 발견되어 관리되는 손상, 열화가 존재한다면 이미 마커(220)가 생성되어 표시된 상태일 수 있다.The digital drawing 210 of the structure being diagnosed may be always output to the portable terminal 200, and if there is damage or deterioration previously discovered and managed in the structure, the marker 220 has already been created and displayed. I can.

마커(220)는 도면(210) 상에서 손상, 열화가 위치하는 지점을 십자가로 표시하는 등의 단순한 표식일 수 있으나 본 발명의 일 실시예로서 마커(220)는 QR코드(221)인 것이 바람직하며, QR코드(221)로서 마커(220)는 도면(210) 상에서 해당 구조물, 구조물 내에서 손상, 열화의 위치, 손상, 열화의 형상 및 길이, 발견 시기, 발생 추정시기 등 손상, 열화에 관한 모든 정보가 망라되어 포함될 수 있고, 스마트글래스(100)의 인식부(120)가 QR코드(221)를 인식하면 손상, 열화 관련 정보가 증강현실로 스마트글래스(100)에 디스플레이 될 수 있다.Marker 220 may be a simple mark, such as marking a point where damage or deterioration is located on the drawing 210 with a cross, but as an embodiment of the present invention, the marker 220 is preferably a QR code 221. , As the QR code 221, the marker 220 is all about damage, deterioration, such as the structure, the damage within the structure, the location of the deterioration, the damage, the shape and length of the deterioration, the time of discovery, and the estimated time of occurrence. Information may be included and included, and when the recognition unit 120 of the smart glass 100 recognizes the QR code 221, information related to damage and deterioration may be displayed on the smart glass 100 in augmented reality.

스마트글래스(100) 및 휴대단말기(200)는 구조물 점검 시 검사자가 직접 몸에 착용하고 휴대하며 지참하는 장치로서 현장에서 사용될 수 있다.The smart glasses 100 and the portable terminal 200 can be used in the field as devices that the inspector wears, carries, and carries directly on the body during structure inspection.

반면 서버(300) 및 데이터베이스(400)는 원격지의 중앙관제센터 혹은 관리사무소 등에 위치할 수 있다.On the other hand, the server 300 and the database 400 may be located in a remote central control center or a management office.

서버(300)는 본 발명의 일 실시 예로 인공지능 기능이 탑재된 서버(300)인 것이 바람직하며, 스마트글래스(100) 및 휴대단말기(200)와 무선 네트워크를 통해 통신 연결될 수 있어서, 구조물 현장에서 스마트글래스(100) 및 휴대단말기(200)가 영상 형식으로 송신하는 손상, 열화에 대해서는 성장도 여부를 판독하고 새로 발견하여 감지한 손상, 열화 의심 징후에 대해서는 손상, 열화 여부를 판독하며, 손상, 열화의 위험도를 판단하여 관계기관에 통보할지 여부를 결정하는 기능을 포함하여 수행할 수 있다.The server 300 is preferably a server 300 equipped with an artificial intelligence function as an embodiment of the present invention, and can be communicated with the smart glasses 100 and the mobile terminal 200 through a wireless network, For damage and deterioration transmitted by the smart glasses 100 and the portable terminal 200 in an image format, it reads the degree of growth, and for newly discovered and detected damage and signs of deterioration, reads the damage or deterioration. It can be performed by including the function of determining whether to notify the related agency by determining the risk of deterioration.

따라서 서버(300)는 본 발명의 일 실시예로 통신부(310), 프로세서부(320), 저장부(330)를 포함할 수 있으며 통신부(310)는 유,무선 통신 기능을 담당하고, 프로세서부(320)는 인공지능 기능으로 비교분석 및 판독을 수행하며, 저장부(330)는 구조물 관련 정보, 안전진단 기준 및 절차, 안전진단 일정, 유관기관 연락망 등이 저장할 수 있다.Accordingly, the server 300 may include a communication unit 310, a processor unit 320, and a storage unit 330 as an embodiment of the present invention, and the communication unit 310 is responsible for wired and wireless communication functions, and the processor unit (320) performs comparative analysis and reading with an artificial intelligence function, and the storage unit 330 may store structure-related information, safety diagnosis standards and procedures, safety diagnosis schedules, contact networks of related organizations, and the like.

데이터베이스(400)는 구조물의 도면(210)을 저장하고, 또한 구조물에 발생할 수 있는 일반적인 손상, 열화의 이미지, 세부 특성 등에 관한 방대한 자료를 저장할 수 있어서 서버(300)가 구조물 현장에서 송신한 손상, 열화 또는 손상, 열화 의심 징후의 이미지를 보고 관련 도면(210)을 찾거나 또는 신규 감지 손상, 열화 의심 징후에 대해 손상, 열화 여부를 판독할 때 사용하는 자료를 제공할 수 있으며, 구조물의 안전진단에 따라 업데이트 되는 구조물의 도면(210)을 버전 순서대로 저장할 수 있다.The database 400 stores the drawings 210 of the structure, and can also store vast amounts of data on general damage, images of deterioration, detailed characteristics, etc. that may occur to the structure, so that the damage transmitted by the server 300 from the structure site, Deterioration or damage, can provide data used to find the related drawing 210 by looking at the image of the signs of deterioration or deterioration, or to read the damage or deterioration of the newly detected damage or deterioration suspicious signs, and the safety diagnosis of the structure It is possible to store the drawing 210 of the structure updated according to the version order.

서버(300)는 데이터베이스(400)와 유선 또는 무선의 방식으로 로컬 연결될 수 있으며, 구조물 현장의 스마트글래스(100) 및 휴대단말기(200)와는 무선 네트워크를 통해 연결될 수 있다.The server 300 may be locally connected to the database 400 in a wired or wireless manner, and may be connected to the smart glasses 100 and the portable terminal 200 at the structure site through a wireless network.

본 발명의 스마트글래스 안전진단 시스템(10)의 바람직한 실시 예에 따라 구조물에 대한 현장 점검 시 기존 손상, 열화의 감지, 또는 신규 손상, 열화 의심 징후의 감지로 나누어 절차가 달리 진행될 수 있다.According to a preferred embodiment of the smart glass safety diagnosis system 10 of the present invention, when on-site inspection of a structure is performed, a procedure may be divided into detection of existing damage, detection of deterioration, or detection of new damage or suspected signs of deterioration.

우선 구조물 현장에서 스마트글래스(100) 및 휴대단말기(200)의 전원이 온(ON) 되어 기동될 수 있으며 스마트글래스(100) 및 휴대단말기(200)는 블루투스와 같은 근거리 통신수단을 통해 상호 연동될 수 있다.First, the power of the smart glass 100 and the mobile terminal 200 can be turned on and started at the structure site, and the smart glass 100 and the mobile terminal 200 can be interworked with each other through a short-range communication means such as Bluetooth. I can.

또한 스마트글래스(100) 및 휴대단말기(200)는 기동과 동시에 무선 네트워크를 통해 서버(300)와 연동될 수 있으며, 스마트글래스(100) 및 휴대단말기(200)에 내장된 지구지리정보 시스템 모듈에 의해 생성되는 위치 정보값, 즉 위치 좌표값이 산출되어 서버(300)에 제공될 수 있다.In addition, the smart glasses 100 and the mobile terminal 200 can be linked with the server 300 through a wireless network at the same time as they are started up, and the geospatial information system module built in the smart glasses 100 and the mobile terminal 200 A location information value, that is, a location coordinate value generated by this may be calculated and provided to the server 300.

본 발명의 일 실시예로서 상기 위치 좌표값은 스마트글래스(100) 및 휴대단말기(200)에 내장된 GPS(Global Positioning System) 칩으로부터 스마트글래스(100) 및 휴대단말기(200)의 위치 정보값으로 산출된 GPS 좌표일 수 있으며 후술하는 설명에서는 위치 좌표값을 GPS 좌표로 설명이 이뤄지되 본 발명에 사용될 수 있는 지구지리정보 시스템에 의한 위치 좌표값이 GPS 좌표에 한정되는 것은 아니다. As an embodiment of the present invention, the position coordinate value is a position information value of the smart glass 100 and the mobile terminal 200 from the GPS (Global Positioning System) chip built in the smart glass 100 and the mobile terminal 200. It may be the calculated GPS coordinates, and in the description to be described later, the location coordinate values are described as GPS coordinates, but the location coordinate values by the geo-geographic information system that can be used in the present invention are not limited to the GPS coordinates.

서버(300)는 스마트글래스(100) 및/또는 휴대단말기(200)에서 수신한 GPS 좌표를 이용하여 현재 스마트글래스(100)가 화상 촬영하는 대상인 구조물, 즉 현재 검사 진행 중인 대상 구조물에 해당되는 도면(210)을 데이터베이스(400)에서 검색하여 찾아낼 수 있으며, 상기 도면(210)을 데이터베이스(400)로부터 호출한 후 휴대단말기(200)에 제공할 수 있다.The server 300 is a diagram corresponding to a structure that is currently being imaged by the smart glass 100 using the GPS coordinates received from the smart glass 100 and/or the mobile terminal 200, that is, a target structure currently undergoing inspection. 210 may be found by searching in the database 400, and the drawing 210 may be called from the database 400 and then provided to the portable terminal 200.

상술한 바와 같이 스마트글래스(100) 및 휴대단말기(200)에서 서버(300)에 GSP 좌표를 송신함에 따라 서버(300)는 스마트글래스(100) 및 휴대단말기(200)가 이동하는 것에 맞춰 해당 위치의 구조물 도면(210)을 실시간으로 휴대단말기(200)에 제공할 수 있게 됨에 따라서, 휴대단말기(200)에 도면(210)을 저장할 필요도 없고, 휴대단말기(200) 또는 스마트글래스(100)에서 이동 위치마다 위치 정보를 서버(300)에 송신할 필요도 없이, 휴대단말기(200)에는 현재 진단 중인 대상 구조물의 도면(210)이 화면 출력된 상태로 상시 유지될 수 있다.As described above, as the smart glasses 100 and the mobile terminal 200 transmit GSP coordinates to the server 300, the server 300 is positioned according to the movement of the smart glasses 100 and the mobile terminal 200. As it becomes possible to provide the structure drawing 210 of the mobile terminal 200 in real time to the mobile terminal 200, there is no need to store the drawing 210 in the mobile terminal 200, and in the mobile terminal 200 or the smart glass 100 It is not necessary to transmit location information to the server 300 for each moving location, and the drawing 210 of the target structure currently being diagnosed may be always maintained in a screen output state in the portable terminal 200.

서버(300)가 도면(210)을 호출하는 방법에 있어서 상술한 GPS 좌표를 이용하는 방법 외에 서버(300)가 스마트글래스(100)에서 실시간으로 전송해오는 현장 구조물의 화면을 분석하여 화면 속 구조물의 형상을 인식함으로써 해당 구조물 지점을 파악하고 상기 구조물에 해당되는 도면을 호출할 수도 있고, 또는 서버(300)가 화면 속 구조물의 고유 지정번호를 자동 화면 인식하여 해당 도면(210)을 호출해 낼 수도 있다. In the method for the server 300 to call the drawing 210, in addition to the method of using the above-described GPS coordinates, the server 300 analyzes the screen of the field structure transmitted from the smart glass 100 in real time, and the shape of the structure in the screen By recognizing the structure point and calling the drawing corresponding to the structure, the server 300 may automatically recognize the unique designation number of the structure on the screen and call the drawing 210 .

다른 방법으로는 검사자가 구조물에 부착된 구조물 지정 고유번호를 확인 후 음성으로 말하면 해당 음성을 스마트글래스(100)가 인식하여 기계어로 전환 후 서버(300)에 전송하여 서버(300)가 음성정보를 토대로 해당 도면(210)을 호출해 낼 수도 있다.Alternatively, if the inspector checks the structure designation identification number attached to the structure and speaks it with voice, the smart glass 100 recognizes the voice, converts it to machine language, and transmits the voice information to the server 300 so that the server 300 transmits the voice information. Based on the drawing 210 may be called.

이때 상기 도면(210)에 QR코드(221)가 포함되어 있다면 상기 도면(210)에 해당되는 구조물에 기 발견된 손상, 열화가 존재한다는 의미가 될 수 있다.At this time, if the QR code 221 is included in the drawing 210, it may mean that damage or deterioration already found in the structure corresponding to the drawing 210 is present.

스마트글래스(100)의 인식부(120)가 도면(210)을 응시하여 상기 QR코드(221)를 인식하면 기 발견 손상, 열화에 대한 이미지와 제원이 증강현실 기술로 팝업되어 투영되고, 스마트글래스(100)가 구조물을 향해 응시하면 상기 증강현실 손상, 열화가 구조물에 오버랩 되면서 스마트글래스(100) 화면에 디스플레이 될 수 있다.When the recognition unit 120 of the smart glass 100 gazes at the drawing 210 and recognizes the QR code 221, images and specifications of previously found damage and deterioration are popped up with augmented reality technology and projected. When the 100 stares toward the structure, the augmented reality damage and deterioration may be displayed on the screen of the smart glass 100 while overlapping the structure.

따라서 검사자는 스마트글래스(100)에 디스플레이된 증강현실 손상, 열화와 실제 현장의 구조물을 대조하면서 기존 손상, 열화를 쉽게 찾을 수 있다.Therefore, the inspector can easily find the existing damage and deterioration while comparing the augmented reality damage and deterioration displayed on the smart glass 100 with the structure at the actual site.

스마트글래스(100)는 카메라부(110)를 기동시켜 상기 손상, 열화를 촬영하여 현재 이미지를 저장하고, 라이브줄자 등을 이용하여 현재 시점의 손상, 열화 제원을 산출한 후 기존 손상, 열화의 현재 이미지와 제원 정보를 와이파이 무선통신과 모바일 데이터통신을 이용하여 서버(300) 및 휴대단말기(200)에 송신할 수 있다.The smart glass 100 activates the camera unit 110 to capture the damage and deterioration, stores the current image, calculates the current damage and deterioration specifications using a live tape measure, etc., and then calculates the current damage and deterioration. The image and specification information may be transmitted to the server 300 and the mobile terminal 200 using Wi-Fi wireless communication and mobile data communication.

서버(300)는 현재 시점의 상기 손상, 열화 이미지 및 제원을 직전 진단 시점에서의 기존 손상, 열화 이미지 및 제원과 비교하여 길이가 커졌는지, 세부 갈라짐이 추가 및 확장되었는지 등 길이와 외형을 비교하면서 손상, 열화의 성장도를 분석할 수 있다.The server 300 compares the damage and deterioration images and specifications at the current time with the existing damage and deterioration images and specifications at the time of the previous diagnosis, and compares the length and appearance, such as whether the length has been increased or detailed cracks have been added or expanded. The degree of growth of damage and deterioration can be analyzed.

서버(300)는 또한 현재 시점의 이미지 및 제원 정보를 포함하는 현재 시점의 QR코드(221)를 생성하여 도면(210)에 첨부하여 변경 이력이 포함된 QR코드(221)를 관리할 수 있으며, 업데이트 된 QR코드(221)가 첨부된 도면(210)을 데이터베이스(400)에 저장하고 동시에 휴대단말기(200)에도 전송하여 휴대단말기(200) 화면에 업데이트 된 도면(210)이 출력될 수 있도록 제공할 수 있다.The server 300 can also manage the QR code 221 including the change history by generating the QR code 221 of the current view including the current view image and specification information and attaching it to the drawing 210, The drawing 210 with the updated QR code 221 attached is stored in the database 400 and simultaneously transmitted to the mobile terminal 200 so that the updated drawing 210 can be displayed on the screen of the mobile terminal 200. can do.

손상, 열화의 성장도 판독결과는 상기 업데이트 된 QR코드(221)에 포함되어 도면(210)과 함께 데이터베이스(400)에 저장될 수 있으며, 또한 휴대단말기(200) 및 스마트글래스(100)에도 전송되어 휴대단말기(200)에는 화면 출력 형식으로 표시되고, 스마트글래스(100)에는 증강현실로 디스플레이 될 수 있다.The result of reading the degree of growth of damage and deterioration may be included in the updated QR code 221 and stored in the database 400 along with the drawing 210, and also transmitted to the mobile terminal 200 and the smart glasses 100. Thus, the mobile terminal 200 may be displayed in a screen output format, and the smart glass 100 may be displayed in augmented reality.

서버(300)가 상기 손상, 열화의 성장도를 분석한 결과 손상, 열화가 과거로부터 더 이상 성장하지 않는 손상, 열화인지 혹은 계속 성장 중인 위험한 손상, 열화인지를 판독하게 되고 구조물의 위험도를 평가할 수 있다.As a result of analyzing the growth degree of the damage and deterioration by the server 300, it is possible to read whether the damage or deterioration is a damage that does not grow from the past, a deterioration, or a dangerous damage or deterioration that continues to grow, and can evaluate the risk of the structure. have.

만일 손상, 열화가 계속 성장 중에 있으면 과거 시간대별로 생성된 QR코드(221) 비교분석을 통해 손상, 열화의 성장속도를 산출할 수 있으며, 손상, 열화의 성장 속도가 기준치를 초과하여 급격하게 증가하고 있거나 또는 손상, 열화의 크기가 기준치를 초과하여 확대된 경우라면 서버(300)에서는 기 설정된 유관기관에 위험성 진단, 추가 정밀검사 필요, 즉각 조치 필요 등 단계를 구분하여 신고할 수 있다.If damage or deterioration continues to grow, the growth rate of damage and deterioration can be calculated through comparative analysis of the QR code 221 generated by past time period, and the growth rate of damage and deterioration exceeds the reference value and increases rapidly. Or, if the size of damage or deterioration is expanded beyond the reference value, the server 300 may classify and report a risk diagnosis, additional detailed inspection, and immediate action required to a predetermined related institution.

서버(300)는 상기 유관기관 신고와 동시에 스마트글래스(100) 및 휴대단말기(200)에도 해당 위험도를 송신할 수 있으며, 검사자는 스마트글래스(100) 또는 휴대단말기(200)를 통해 손상, 열화의 위험을 통지받게 되면 정해진 절차에 따라 추가 확인 작업을 진행할 수 있으며 추가 확인된 정보를 QR코드(221)에 저장하고 서버(300)에 송신할 수 있다.The server 300 may transmit the corresponding risk to the smart glasses 100 and the mobile terminal 200 at the same time as the report of the relevant institution, and the inspector may cause damage or deterioration through the smart glasses 100 or the mobile terminal 200. When the risk is notified, additional verification may be performed according to a predetermined procedure, and additional verified information may be stored in the QR code 221 and transmitted to the server 300.

한편 상기 도면(210)에 QR코드(221)가 포함되어 있지 않다면 기존 진단 시에는 발견되지 않았던 새로운 손상, 열화 의심 징후로서 현재 진단 시점에서 처음 발견된 손상, 열화 의심 징후일 수 있다.On the other hand, if the QR code 221 is not included in the drawing 210, it may be a new damage or deterioration suspicious sign that was not found during the previous diagnosis, and may be the first damage or deterioration suspicious sign at the time of the current diagnosis.

여기서 손상, 열화 의심 징후라 함은 손상, 열화로 분류하기 이전 단계로 손상, 열화와 구분하기 위한 개념이며 손상, 열화 의심 징후로 의심되어 살펴본 결과 실제로 금이 가고 파손된 것이면 손상, 열화로 분류하여 QR코드(221)을 생성하여 관리하게 되고 단순한 이물질 또는 자국이 묻은 것이라면 손상, 열화로 분류하지 않고 제거하게 된다.Here, the signs of suspected damage or deterioration are a stage prior to classification as damage and deterioration, and are a concept to distinguish them from damage and deterioration, and if they are actually cracked and damaged as a result of examining suspected signs of damage or deterioration, they are classified as damage and deterioration. The QR code 221 is generated and managed, and if it is a simple foreign substance or trace, it is removed without being classified as damage or deterioration.

신규 손상, 열화 의심 징후의 발견 및 진단은 수동 감지 및 자동 감지로 나눠질 수 있다.Detection and diagnosis of new damage and suspicious signs of deterioration can be divided into manual detection and automatic detection.

우선 수동 감지는 스마트글래스(100) 및 휴대단말기(200)를 지참한 검사자의 육안으로 손상, 열화 의심 징후가 발견된 경우이다.First of all, manual detection is a case in which signs of suspected damage or deterioration are found with the naked eye of an inspector carrying the smart glasses 100 and the portable terminal 200.

검사자는 육안으로 손상, 열화 의심 징후를 발견하면 스마트글래스(100)의 카메라부(110)를 기동시켜 상기 손상, 열화 의심 징후를 촬영하고, 스마트글래스(100)는 촬영 이미지 및 이미지 관련 정보, 가령 일시, 도면번호, 구조물번호를 포한한 정보를 서버(300)에 송신할 수 있다.When the inspector detects signs of damage or deterioration with the naked eye, the camera unit 110 of the smart glass 100 is activated to capture the signs of damage or deterioration, and the smart glasses 100 captures a photographed image and image-related information, such as Information including date and time, drawing number, and structure number may be transmitted to the server 300.

또는 음성으로 스마트글래스(100)에 촬영 지시를 명령하고, 스마트글래스(100)는 음성인식 기술로 상기 명령을 인지한 후 해당 손상, 열화 및 손상, 열화 의심 징후에 대한 영상 및 사진 촬영을 실시하여 해당 감지 위치 등 이미지 관련 정보와 이미지를 함께 서버(300)에 전송할 수 있다.Alternatively, a voice command is given to the smart glasses 100 for shooting, and the smart glasses 100 recognizes the command with voice recognition technology and then takes images and photos for the corresponding damage, deterioration and damage, and suspicious signs of deterioration. Image-related information such as a corresponding detection location and an image may be transmitted to the server 300 together.

상기 신규 손상, 열화 의심 징후가 손상, 열화인지 아닌지 여부는 우선 현장의 검사자에 의해 자체 판단이 가능할 수 있는데, 가령 손상, 열화 의심 징후로 의심되어 검사자가 면밀히 살펴본 결과 이물질, 자국 등에 불과하여 손상, 열화 의심 징후로 오인된 것이라면 휴대단말기(200) 및 서버(300)에 판단 결과를 송신하고 손상, 열화 미분류 대상으로 설정할 수 있다.Whether the new damage or deterioration suspicious sign is damage or deterioration can be determined by the inspector at the site first. For example, it is suspected as a sign of damage or deterioration. If it is mistaken as a sign of deterioration, the determination result may be transmitted to the portable terminal 200 and the server 300 and may be set as targets for damage or deterioration unclassified.

그런데 상기 신규 손상, 열화 의심 징후가 손상, 열화로 의심되는 경우라면 스마트글래스(100)에서 촬영한 이미지는 휴대단말기(200) 및 서버(300)에 송신됨과 동시에, 휴대단말기(200)에 디스플레이 된 도면(210)에는 손상, 열화 의심 징후의 발견 위치에 십자가 등의 마커(220)가 표시되고 상기 촬영 이미지 및 제원, 발견 일시 및 조치사항 등의 손상, 열화 의심 징후 관련 정보를 음성 또는 필기입력으로 포함시킬 수 있으며, 휴대단말기(200)는 상기 손상, 열화 의심 징후 관련 정보를 서버(300)에 송신할 수 있다.However, if the new signs of damage or deterioration are suspected of being damaged or deteriorated, the image captured by the smart glasses 100 is transmitted to the mobile terminal 200 and the server 300 and displayed on the mobile terminal 200 at the same time. In the drawing 210, a marker 220 such as a cross is displayed at the location of the detection of the signs of damage or deterioration, and information related to the signs of damage and deterioration such as the photographed image and specifications, the date and time of discovery, and actions taken, etc. May be included, and the portable terminal 200 may transmit the information related to the signs of damage or deterioration to the server 300.

서버(300)는 스마트글래스(1000 및 휴대단말기(200)로부터 수신한 신규 손상, 열화 의심 징후에 관한 이미지 및 정보를 토대로 QR코드(221)를 신규 생성할 수 있으며, 새로 발견된 신규 손상, 열화 의심 징후는 손상, 열화로서 분류되고 QR코드(221)가 포함됨으로서 상기 QR코드(221)가 포함된 도면은 업데이트되어 서버(300)에 의해 데이터베이스(400)에 저장되어 관리될 수 있다.The server 300 can generate a new QR code 221 based on images and information about new damage and suspected signs of deterioration received from the smart glasses 1000 and the mobile terminal 200, and newly discovered new damage and deterioration. Suspicious signs are classified as damage or deterioration, and as the QR code 221 is included, the drawing including the QR code 221 may be updated and stored and managed in the database 400 by the server 300.

서버(300)는 새로 생성한 신규 손상, 열화의 QR코드(221)를 휴대단말기(200)에 송신하며, 도면(210)에 표시된 QR코드(221)를 스마트글래스(100)의 인식부(120)가 인식을 하면 증강현실로 손상, 열화의 이미지 및 제원이 오버랩되어 나타나며 스마트글래스(100)가 구조물을 응시했을 때 상기 이미지 및 제원이 구조물의 손상, 열화에 오버랩 될 수 있다.The server 300 transmits the newly created QR code 221 of new damage and deterioration to the mobile terminal 200, and transmits the QR code 221 displayed in the drawing 210 to the recognition unit 120 of the smart glass 100 ) Is recognized, images and specifications of damage and deterioration are overlapped with augmented reality, and when the smart glass 100 stares at the structure, the images and specifications may overlap with damage or deterioration of the structure.

다음으로 신규 손상, 열화 의심 징후의 발견은 스마트글래스(100)의 화상 촬영 정보를 근거로 서버(300)의 인공지능 기능에 의해 자동 감지될 수도 있다.Next, the discovery of new signs of damage or deterioration may be automatically detected by the artificial intelligence function of the server 300 based on the image capturing information of the smart glasses 100.

즉 스마트글래스(100)는 작동이 온(ON) 된 상태에서 검사자가 육안으로 구조물의 손상, 열화 의심 징후를 살펴봄에 따라 현장 구조물을 촬영하면서 영상정보를 실시간으로 서버(300)에 전송을 하게 되는데, 서버(300)는 스마트글래스(100)로부터 들어오는 영상을 실시간 또는 소정의 단위 시간마다 분석하면서 데이터베이스(400)에 있는 각종 형태의 손상, 열화들과 비교하는 절차를 수행하게 된다.That is, the smart glass 100 transmits image information to the server 300 in real time while photographing the on-site structure as the inspector visually checks the signs of damage and deterioration of the structure with the naked eye while the operation is on. , The server 300 performs a procedure of comparing the image received from the smart glass 100 with various types of damage and deterioration in the database 400 while analyzing the image received from the smart glass 100 in real time or every predetermined unit time.

상기 비교 절차 수행 중 손상, 열화로 의심되는 손상, 열화 의심 징후 이미지를 발견하게 되었는데 검사자가 해당 이미지에 대해 스마트글래스(100) 촬영을 하지 않고 그냥 지나치게 되면 서버(300)는 스마트글래스(100) 및 휴대단말기(200)에 상기 의심 손상, 열화 의심 징후의 발견 위치 및 이미지를 전송하고 기 설정된 특정한 알람 형식에 따라 검사자가 인식할 수 있도록 고지할 수 있다.During the above comparison procedure, if damage, suspected damage, and signs of deterioration are found, but the inspector does not take a picture of the smart glass 100 for the image, the server 300 returns the smart glass 100 and The detection position and image of the suspicious damage or deterioration suspicious sign may be transmitted to the portable terminal 200 and notified so that the inspector can recognize it according to a predetermined specific alarm format.

이에 검사자가 서버(300)의 알람을 인지하면 휴대단말기(200)에 표시된 손상, 열화 의심 징후 의심 이미지의 위치를 보고 해당 지점으로 이동한 후에 서버(300)에서 전송하여 스마트글래스(100)에 증강현실로 오버랩 된 이미지와 구조물의 실제 모습을 비교한 후 해당 의심 손상, 열화 의심 징후를 찾게 된다.Accordingly, when the inspector recognizes the alarm of the server 300, the position of the image of the suspected damage or deterioration suspicious sign displayed on the mobile terminal 200 is moved to the corresponding point, and then transmitted from the server 300 to be augmented in the smart glass 100. After comparing the image overlapped with reality and the actual appearance of the structure, the suspected damage or deterioration suspected signs are found.

우선 검사자가 육안으로 상기 의심 손상, 열화 의심 징후를 살펴본 결과 손상, 열화가 아니라고 판단되면 손상, 열화 의심 징후 의심 이미지를 촬영한 후 판단 결과를 휴대단말기(200)의 도면(210)에 첨부해서 스마트글래스(100) 및 휴대단말기(200)는 상기 이미지 및 판단 결과를 와이파이 무선통신과 모바일 데이터통신을 이용하여 서버(300)에 전송할 수 있다.First, if the inspector visually checks the suspected damage and signs of deterioration and determines that there is no damage or deterioration, the tester takes a suspicious image of the signs of damage or deterioration, and then attaches the determination result to the drawing 210 of the mobile terminal 200 to be smart. The glass 100 and the portable terminal 200 may transmit the image and the determination result to the server 300 using Wi-Fi wireless communication and mobile data communication.

반면 검사자가 육안으로 상기 의심 손상, 열화 의심 징후를 살펴본 결과 손상, 열화가 맞다고 판단되면 스마트글래스(100)의 카메라부(110)를 작동시켜 상기 손상, 열화 의심 징후를 촬영하고 인식부(120)가 가동되어 상기 손상, 열화 의심 징후의 제원을 파악하게 되며, 스마트글래스(100)는 촬영된 이미지와 파악된 제원을 휴대단말기(200)에 제공하고 휴대단말기(200)는 제공받은 이미지와 제원을 이용해서 해당 손상, 열화 의심 징후를 손상, 열화로 분류하는 QR코드(221)을 생성할 수 있다.On the other hand, when the inspector visually examines the suspected damage or signs of deterioration and determines that the damage or deterioration is correct, the camera unit 110 of the smart glass 100 is operated to capture the signs of damage or deterioration, and the recognition unit 120 Is operated to determine the specifications of the signs of damage or deterioration, and the smart glasses 100 provides the captured image and the identified specifications to the mobile terminal 200, and the mobile terminal 200 provides the received images and specifications. Using this, a QR code 221 that classifies the signs of damage or deterioration into damage or deterioration may be generated.

휴대단말기(200)는 신규 손상, 열화의 QR코드(221)가 첨부된 도면(210)을 와이파이 무선통신과 모바일 데이터통신을 이용하여 서버(300)에 전송하며 서버(300)는 데이터베이스(400)에 상기 도면(210)을 송신하여 저장, 관리되도록 할 수 있다.The portable terminal 200 transmits the drawing 210 to which the QR code 221 of new damage or deterioration is attached to the server 300 using Wi-Fi wireless communication and mobile data communication, and the server 300 is a database 400 The drawing 210 may be transmitted to and stored and managed.

즉 신규 손상, 열화 의심 징후에 대한 서버(300)의 인공지능 자동 감지 기능은 스마트글래스(100)가 실시간 전송하는 구조물 현장 영상을 서버(300)가 데이터베이스(400)에 저장된 손상, 열화 이미지 정보들과 비교하면서 손상, 열화 의심 이미지를 찾아낸 후 스마트글래스(100)에 알람 전송하여 해당 이미지를 검사할 것을 명하고 검사자로 하여금 손상, 열화 여부를 판단하게끔 하는 절차로 진행될 수 있다.In other words, the artificial intelligence automatic detection function of the server 300 for new signs of damage and deterioration suspicious of damage and deterioration image information stored in the database 400 by the server 300 is the structure site image transmitted in real time by the smart glass 100 After finding an image that is suspicious of damage or deterioration while comparing with, an alarm is sent to the smart glasses 100 to order the image to be inspected, and the procedure may proceed with a procedure for allowing the inspector to determine whether the image is damaged or deteriorated.

이상의 설명을 토대로 하여 본 발명의 바람직한 실시 예에 따른 스마트글래스 안전진단 방법(10)은 다음과 같다. Based on the above description, the smart glasses safety diagnosis method 10 according to a preferred embodiment of the present invention is as follows.

우선 구조물 현장에서 스마트글래스(100)와 휴대단말기(200)의 전원이 켜지고 작동이 시작된다. First, the power of the smart glass 100 and the portable terminal 200 is turned on at the structure site and the operation starts.

휴대단말기(200)는 전원이 켜지면서 안전진단 애플리케이션이 실행되고, 스마트글래스(100)와 휴대단말기(200)는 블루투스와 같은 근거리 통신망을 이용하여 연동될 수 있다.(S100)The portable terminal 200 executes a safety diagnosis application when the power is turned on, and the smart glasses 100 and the portable terminal 200 can be interlocked using a local area network such as Bluetooth (S100).

스마트글래스(100)와 휴대단말기(200)는 각각 기동되고 상호 연동이 이뤄짐과 동시에 원격지 관제센터에 위치한 서버(300)와 연동될 수 있으며, 서버(300)는 이미 데이터베이스(400)와 로컬 연결된 상태이므로, 스마트글래스(100), 휴대단말기(200), 서버(300), 데이터베이스(400)가 모두 연동이 완료된 상태가 된다.The smart glasses 100 and the portable terminal 200 are each activated and interlocked, and at the same time, they can be interlocked with the server 300 located in the remote control center, and the server 300 is already connected to the database 400 locally. Therefore, the smart glasses 100, the portable terminal 200, the server 300, and the database 400 are all connected to each other.

상기 연동이 완료되면 스마트글래스(100) 및 휴대단말기(200)의 GPS(Global Positioning System) 좌표가 서버(300)로 전송되고 서버(300)는 스마트글래스(100) 및 휴대단말기(200)의 위치를 인지할 수 있게 되어 현재 스마트글래스(100) 및 휴대단말기(200)가 위치한 지점의 해당 도면(210)을 데이터베이스(400)로부터 호출해 낼 수 있으며 상기 도면(210)을 휴대단말기(200)에 송신하여 휴대단말기(200)에 화면 출력시킬 수 있다.When the linkage is completed, the GPS (Global Positioning System) coordinates of the smart glasses 100 and the mobile terminal 200 are transmitted to the server 300, and the server 300 is the location of the smart glasses 100 and the mobile terminal 200. The drawing 210 of the point where the smart glasses 100 and the portable terminal 200 are currently located can be called from the database 400, and the drawing 210 can be transferred to the portable terminal 200. It can be transmitted to display a screen on the portable terminal 200.

스마트글래스(100)는 구조물에 대한 영상 촬영을 하면서 현장의 안전진단 절차를 진행하게 되고, 스마트글래스(100) 및 휴대단말기(200)의 위치가 전체 구조물의 각 지점에 이동 위치하는 순간마다 서버(300)는 각 지점에 해당되는 도면(210)을 데이터베이스(400)로부터 실시간으로 호출하여 휴대단말기(200)에 전송함으로써 어느 지점에 있든 별도의 도면(210) 요청 없이도 해당 지점의 도면(210)이 휴대단말기(200)에 화면 출력된 상태가 유지될 수 있다.(S200)The smart glass 100 proceeds with the safety diagnosis procedure on the site while taking an image of the structure, and every moment the location of the smart glass 100 and the mobile terminal 200 moves to each point of the entire structure, the server ( 300) calls the drawing 210 corresponding to each point in real time from the database 400 and transmits it to the portable terminal 200, so that the drawing 210 of the corresponding point is not required without a separate drawing 210 request at any point. The screen output state may be maintained on the portable terminal 200 (S200).

상기 도면(210)에는 기존에 발견된 손상, 열화에 관한 QR코드(221)가 포함된 상태일 수 있으며, 상기 QR코드(221)에는 손상, 열화의 이미지, 길이 및 폭 등 제원, 발견 시기 및 발생 추정 시기 등 손상, 열화 관련 모든 정보가 포함될 수 있다.The drawing 210 may include a QR code 221 related to damage and deterioration previously found, and the QR code 221 includes specifications such as damage and deterioration images, length and width, and the time of discovery and All information related to damage and deterioration, such as the estimated timing of occurrence, can be included.

도면(210)에 QR코드(221)가 포함된 경우라면 기존에 발견된 손상, 열화가 구조물에 있다는 것을 의미하며, 스마트글래스(100)의 인식부(120)가 도면(210)의 QR코드(221)을 인식하면 기존 손상, 열화의 이미지 및 제원이 증강현실로 팝업되고 스마트글래스(100)가 구조물을 향하고 영상 촬영할 때 구조물의 손상, 열화에 오버랩 될 수 있다.If the QR code 221 is included in the drawing 210, it means that the previously discovered damage or deterioration is in the structure, and the recognition unit 120 of the smart glass 100 is the QR code of the drawing 210 ( When 221) is recognized, images and specifications of the existing damage and deterioration are popped up in augmented reality, and when the smart glass 100 faces the structure and takes an image, it may overlap with damage or deterioration of the structure.

이때 도면(210)에 QR코드(221)가 포함되지 않고 스마트글래스(100)도 손상, 열화 의심 징후를 인지하지 못한 상태에서, 서버(300)는 스마트글래스(100)로부터 수신하는 현장 영상을 분석하여 도면(210)에 QR코드(221)가 없는 신규 손상, 열화 의심 징후가 감지되면 상기 손상, 열화 의심 징후의 이미지를 데이터베이스(400)에 저장된 일반적인 손상, 열화 이미지와 비교 분석한 후 손상, 열화로 의심되면 상기 이미지 및 분석결과를 스마트글래스(100) 및 휴대단말기(200)에 전송하여 점검 할 것을 지시할 수 있다.(S300)At this time, in the state that the QR code 221 is not included in the drawing 210 and the smart glass 100 does not recognize any signs of damage or deterioration, the server 300 analyzes the field image received from the smart glass 100 Therefore, if a new damage or deterioration suspicious sign is detected in the drawing 210, the damage and deterioration after comparing and analyzing the image of the damage or deterioration suspicious sign with the general damage and deterioration images stored in the database 400 If suspected, the image and the analysis result may be transmitted to the smart glasses 100 and the portable terminal 200 to be instructed to be inspected (S300).

스마트글래스(100)가 QR코드(221)를 이용하여 기존 손상, 열화를 감지하면 해당 손상, 열화를 촬영하여 이미지 및 제원을 서버(300) 및 휴대단말기(200)에 전송한다.(S400)When the smart glasses 100 detects the existing damage or deterioration using the QR code 221, the corresponding damage or deterioration is photographed and the image and specifications are transmitted to the server 300 and the portable terminal 200 (S400).

이때 스마트글래스(100)의 카메라부(110)를 기동시켜 상기 손상, 열화 의심 징후를 촬영하고 촬영 이미지 및 이미지 관련 정보, 가령 일시, 도면번호, 구조물번호를 포한한 정보를 서버(300)에 송신할 수도 있고, 또는 스마트글래스(100)에 음성인식 기술로 해당 손상, 열화 및 손상, 열화 의심 징후에 대한 영상 및 사진 촬영을 지시하고 이를 촬영하면 해당 감지 위치 및 이미지를 함께 서버(300)에 전송할 수도 있다.(S400) At this time, the camera unit 110 of the smart glass 100 is activated to capture the signs of damage or deterioration, and transmit information including the photographed image and image-related information, such as date and time, drawing number, and structure number, to the server 300 Alternatively, the smart glass 100 is instructed to take images and photos for the corresponding damage, deterioration and damage, and suspicious signs of deterioration with voice recognition technology, and when the photographing is taken, the detection location and image are transmitted to the server 300 together. May be. (S400)

서버(300)가 현재 시점의 손상, 열화 이미지 및 제원을 기존 진단 시점에서의 이미지 및 제원과 비교하여 손상, 열화의 성장도를 판독한다.The server 300 compares the damage and deterioration images and specifications at the current time point with the images and specifications at the existing diagnosis time to read the degree of growth of damage and deterioration.

이때 서버는 손상, 열화의 성장도를 근거로 구조물의 위험도를 평가할 수 있으며, 손상, 열화의 성장이 기 설정된 위험도를 초과하면 유관기관에 신고할 수 있다.(S500)At this time, the server can evaluate the risk of the structure based on the degree of growth of damage and deterioration, and if the growth of damage or deterioration exceeds a preset risk, it can report to the relevant institution (S500).

서버(300)는 스마트글래스(100)로부터 수신한 손상, 열화의 이미지와 제원을 포함하여 현재 진단 시점의 QR코드(221)를 생성하여 기존 QR코드(221)를 갱신할 수 있으며 이를 해당 도면(210)에 업데이트 할 수 있다.(S600)The server 300 can update the existing QR code 221 by generating the QR code 221 at the time of diagnosis, including images and specifications of damage and deterioration received from the smart glasses 100, and update the existing QR code 221. 210) can be updated (S600)

서버(300)는 업데이트 된 도면(210)을 데이터베이스(400)에 전송하여 저장하고, 휴대단말기(200)에도 전송할 수 있다.(S700)The server 300 may transmit and store the updated drawing 210 to the database 400 and transmit it to the portable terminal 200 (S700).

이상에서 설명된 본 발명의 실시 예는 예시적인 것에 불과하며, 본 발명이 속한 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 잘 알 수 있을 것이다. The embodiments of the present invention described above are merely exemplary, and those of ordinary skill in the technical field to which the present invention belongs will appreciate that various modifications and other equivalent embodiments are possible.

그러므로 본 발명은 상기의 상세한 설명에서 언급되는 형태로만 한정되는 것은 아님을 잘 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. Therefore, it will be appreciated that the present invention is not limited to the form mentioned in the detailed description above. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

또한, 본 발명은 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 그 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.In addition, the present invention is to be understood as including the spirit of the present invention as defined by the appended claims and all modifications, equivalents and substitutes within the scope thereof.

10 : 스마트글래스 안전진단 시스템 및 안전진단 방법
100 : 스마트글래스
110 : 카메라부
120 : 인식부
200 : 휴대단말기
210 : 도면
220 : 마커
221 : QR코드
300 : 서버
310 : 통신부
320 : 프로세서부
330 : 저장부
400 : 데이터베이스10: Smart glass safety diagnosis system and safety diagnosis method
100: smart glass
110: camera unit
120: recognition unit
200: mobile terminal
210: drawing
220: marker
221: QR code
300: server
310: Communication Department
320: processor unit
330: storage unit
400: database

Claims (5)

손상, 열화 정보 및 마커가 포함된 구조물의 도면을 화면에 출력하고 화면 입력이 가능한 휴대단말기;
현장 구조물에 있는 기존 손상, 열화 또는 신규 손상, 열화 의심 징후를 촬영하고 촬영 이미지와 관련 도면 정보를 서버 및 휴대단말기에 전송하는 스마트글래스;
기존 손상, 열화 또는 신규 손상, 열화 의심 징후 이미지를 수신한 후 기존 손상, 열화는 기 저장된 해당 손상, 열화의 이미지와 비교하여 성장여부를 판독하고, 신규 손상, 열화 의심 징후는 일반적인 손상, 열화 관련 영상 및 사진과 비교하여 손상, 열화 여부를 판독하며, 상기 판독 결과를 서버 및 휴대단말기에 전송하는 서버; 및
구조물의 도면, 상기 도면에 기록된 기존 손상, 열화 및 마커 정보, 및 일반적인 손상, 열화 관련 영상 및 사진 등 구조물 점검, 손상, 열화 판독 및 성장도 분석에 필요한 정보가 저장되고 업데이트되는 데이터베이스;를 포함하되,
서버는 스마트글래스 및 휴대단말기로부터 위치 좌표값을 수신하여 상기 위치 좌표에 해당되는 구조물 도면을 데이터베이스에서 호출하여 휴대단말기에 전송할 수 있으며, 기존 손상, 열화는 도면에 위치 좌표값이 포함되어 스마트글래스가 인식하면 증강현실로 투영되고, 신규 손상, 열화 의심 징후는 스마트글래스가 촬영한 이미지를 포함하여 서버가 마커를 생성한 후 도면에 삽입하는 것을 더 포함하는 스마트글래스 안전진단 시스템.A portable terminal capable of outputting a drawing of a structure including damage and deterioration information and a marker on a screen and enabling screen input;
Smart glasses that photograph existing damage, deterioration or new damage, or signs of deterioration suspicion in the on-site structure and transmit the photographed image and related drawing information to the server and mobile terminal;
After receiving an image of existing damage, deterioration or new damage, or signs of deterioration, the existing damage or deterioration is compared with the previously stored image of the corresponding damage and deterioration to read whether it has grown, and new damage or deterioration suspicious signs are related to general damage and deterioration. A server that compares images and photos to read damage or deterioration, and transmits the read results to the server and the mobile terminal; And
Including a database in which information necessary for structure inspection, damage, deterioration reading and growth analysis, such as a drawing of a structure, existing damage, deterioration and marker information recorded in the drawing, and general damage and deterioration related images and photos, is stored and updated; includes; But,
The server can receive the location coordinate value from the smart glasses and the mobile terminal, call the structure drawing corresponding to the location coordinate from the database and transmit it to the mobile terminal.In case of damage or deterioration, the location coordinate value is included in the drawing so that the smart glass When recognized, it is projected into augmented reality, and new signs of damage and deterioration are added to the drawing after the server generates a marker including the image taken by the smart glass and inserts it into the drawing. 제1항에 있어서,
서버는 스마트글래스에서 전송하는 구조물에 대한 실시간 영상을 데이터베이스에 저장된 일반적인 손상, 열화의 이미지와 비교하여 손상, 열화로 의심되는 손상, 열화 의심 징후 여부를 판독할 수 있으며, 스마트글래스에서 인지하지 못하고 지나친 의심 손상, 열화 의심 징후에 대해서는 해당 이미지 및 위치 좌표값을 휴대단말기 및 스마트글래스에 전송하고 알람을 고지할 수 있는 것을 더 포함하는 스마트글래스 안전진단 시스템.The method of claim 1,
The server compares the real-time image of the structure transmitted from the smart glass with the image of general damage and deterioration stored in the database, and can read the damage, suspected deterioration, and signs of deterioration. A smart glass safety diagnosis system that further includes transmitting the image and position coordinate values to the mobile terminal and smart glasses, and notifying an alarm for suspected damage or signs of deterioration. 제1항에 있어서,
서버는 스마트글래스로부터 수신한 기존 손상, 열화에 대한 현재 이미지를 기 저장된 기존 손상, 열화 대비 길이 및 영상 비교 분석을 통해 손상, 열화의 성장 여부 및 성장 속도를 판독하여 구조물의 위험도를 평가할 수 있으며, 손상, 열화의 성장이 기 설정된 위험도를 초과하면 유관기관에 신고할 수 있는 것을 더 포함하는 스마트글래스 안전진단 시스템.The method of claim 1,
The server can evaluate the risk of the structure by reading the growth status and growth rate of damage and deterioration through a comparison analysis of the existing damage and the length and image compared to the previously stored damage and deterioration of the current image of the existing damage and deterioration received from the smart glass. A smart glass safety diagnosis system that further includes reporting to related organizations when the growth of damage or deterioration exceeds a preset risk. (1) 안전진단 구조물에 위치한 스마트글래스 및 휴대단말기가 기동되고 스마트글래스, 휴대단말기, 서버가 상호 연동되는 단계;
(2) 스마트글래스 및 휴대단말기의 위치 좌표값이 서버에 송신되고, 서버는 데이터베이스에서 상기 위치 좌표에 해당되는 구조물 도면을 호출하여 스마트글래스 및 휴대단말기에 전송하며 휴대단말기에 도면이 출력되는 단계;
(3) 스마트글래스는 구조물의 안전진단을 위해 구조물에 대한 영상 촬영을 진행하며 실시간으로 서버에 송신하고, 스마트글래스가 도면에 첨부된 마커를 인식하면 손상, 열화 이미지 및 제원이 스마트글래스에 증강현실로 디스플레이 되며 현장 구조물에 오버랩되는 단계;
(4) 스마트글래스가 마커를 이용하여 기존 손상, 열화를 감지하고 해당 손상, 열화를 촬영하여 이미지 및 제원을 서버 및 휴대단말기에 전송하는 단계;
(5) 서버가 현재 시점의 손상, 열화 이미지 및 제원을 기존 진단 시점에서의 이미지 및 제원과 비교하여 손상, 열화의 성장도를 판독하는 단계;
(6) 서버는 스마트글래스로부터 수신한 손상, 열화의 이미지와 제원을 포함하여 현재 진단 시점의 마커를 생성하여 기존 마커를 갱신할 수 있으며 이를 해당 도면에 업데이트하는 단계;
(7) 서버는 업데이트 된 도면을 데이터베이스에 전송하여 저장하고, 휴대단말기에도 전송하는 단계;를 포함하는 스마트글래스 안전진단 방법.(1) a step in which the smart glasses and the mobile terminal located in the safety diagnosis structure are activated, and the smart glasses, the mobile terminal, and the server are interconnected with each other;
(2) transmitting the position coordinate values of the smart glasses and the mobile terminal to the server, the server calling the structure drawing corresponding to the position coordinate from the database, transmitting it to the smart glasses and the mobile terminal, and outputting the drawing to the mobile terminal;
(3) Smart glass takes images of the structure for safety diagnosis of the structure and transmits it to the server in real time.If the smart glass recognizes the marker attached to the drawing, the damage, deterioration image and specifications are displayed on the smart glass. Displayed as and overlapping the on-site structure;
(4) smart glasses detecting existing damage and deterioration using a marker, photographing the damage and deterioration, and transmitting the image and specifications to the server and the portable terminal;
(5) the server comparing the damage and deterioration images and specifications at the current time point with the images and specifications at the time of the existing diagnosis to read the degree of growth of damage and deterioration;
(6) The server may update the existing marker by generating a marker at the time of diagnosis including images and specifications of damage and deterioration received from the smart glass, and updating the existing marker in the corresponding drawing;
(7) The server transmits the updated drawing to the database and stores it, and transmits it to the mobile terminal as well. 제4항에 있어서,
상기 (3)단계에서 서버는 스마트글래스로부터 수신하는 현장 영상을 분석하여 도면에 마커가 없는 신규 손상, 열화 의심 징후가 감지되면 상기 손상, 열화 의심 징후의 이미지를 데이터베이스에 저장된 일반적인 손상, 열화 이미지와 비교 분석한 후 손상, 열화로 의심되면 상기 이미지 및 분석결과를 스마트글래스 및 휴대단말기에 전송하여 점검 할 것을 지시하는 단계를 더 포함하는 스마트글래스 안전진단 방법.
The method of claim 4,
In step (3), the server analyzes the field image received from the smart glass, and if a new damage or signs of deterioration without a marker in the drawing is detected, the images of the damage and deterioration suspicious signs are stored in the database with the general damage and deterioration images. After comparing and analyzing, if it is suspected of damage or deterioration, the smart glasses safety diagnosis method further comprising the step of instructing to inspect by transmitting the image and analysis results to the smart glasses and the portable terminal.
KR1020200112571A 2020-09-03 2020-09-03 Safety Diagnosis System and Method Using Smart Glasses KR102195890B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200112571A KR102195890B1 (en) 2020-09-03 2020-09-03 Safety Diagnosis System and Method Using Smart Glasses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200112571A KR102195890B1 (en) 2020-09-03 2020-09-03 Safety Diagnosis System and Method Using Smart Glasses

Publications (1)

Publication Number Publication Date
KR102195890B1 true KR102195890B1 (en) 2020-12-28

Family

ID=74087086

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200112571A KR102195890B1 (en) 2020-09-03 2020-09-03 Safety Diagnosis System and Method Using Smart Glasses

Country Status (1)

Country Link
KR (1) KR102195890B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102355997B1 (en) 2021-05-17 2022-02-08 주식회사 한국건설 방재연구원 method for monitoring the soundness of concrete structure based on smart glass
KR20220151263A (en) 2021-05-06 2022-11-15 경상국립대학교산학협력단 SAFETY INSPECTION SYSTEM FOR STRUCTURE USING SMART PORTABLE DEVICE, AND METHOD FOR THe SAME
KR20230075035A (en) 2021-11-22 2023-05-31 주식회사 프리그로우 Smart Glass System for Industrial Safety using UWB ToF/TDoA and Method for Controlling the same
KR102559586B1 (en) * 2022-10-17 2023-07-26 (주)유디엔에스 Structural appearance inspection system and method using artificial intelligence

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020098481A (en) * 2018-12-18 2020-06-25 株式会社中電工 Display system
JP2020098152A (en) * 2018-12-18 2020-06-25 株式会社中電工 Display system
KR102133330B1 (en) 2018-08-21 2020-07-13 한국철도기술연구원 Apparatus and method for recognizing crack in sturcutre
JP2020160696A (en) * 2019-03-26 2020-10-01 株式会社富士通エフサス Wearable device and transmission control method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102133330B1 (en) 2018-08-21 2020-07-13 한국철도기술연구원 Apparatus and method for recognizing crack in sturcutre
JP2020098481A (en) * 2018-12-18 2020-06-25 株式会社中電工 Display system
JP2020098152A (en) * 2018-12-18 2020-06-25 株式会社中電工 Display system
JP2020160696A (en) * 2019-03-26 2020-10-01 株式会社富士通エフサス Wearable device and transmission control method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220151263A (en) 2021-05-06 2022-11-15 경상국립대학교산학협력단 SAFETY INSPECTION SYSTEM FOR STRUCTURE USING SMART PORTABLE DEVICE, AND METHOD FOR THe SAME
KR102355997B1 (en) 2021-05-17 2022-02-08 주식회사 한국건설 방재연구원 method for monitoring the soundness of concrete structure based on smart glass
KR20230075035A (en) 2021-11-22 2023-05-31 주식회사 프리그로우 Smart Glass System for Industrial Safety using UWB ToF/TDoA and Method for Controlling the same
KR102559586B1 (en) * 2022-10-17 2023-07-26 (주)유디엔에스 Structural appearance inspection system and method using artificial intelligence

Similar Documents

Publication Publication Date Title
KR102195890B1 (en) Safety Diagnosis System and Method Using Smart Glasses
US9154742B2 (en) Terminal location specifying system, mobile terminal and terminal location specifying method
US20210318236A1 (en) Laser gas detector and laser gas detection system
US7286725B2 (en) Information presentation apparatus for suggesting a presentation accuracy of related information and information presentation method
CN106018411A (en) Crack width measuring and computing method and measuring device
KR102080462B1 (en) Method and system for pavement safety diagnosis and management based on deep-learning
WO2017051735A1 (en) Image capture support system, device and method, and image capturing terminal
KR102559586B1 (en) Structural appearance inspection system and method using artificial intelligence
JP2020197412A (en) Device and method for inspecting structure and program
JP6803940B2 (en) Remote meter reading computer, its method and program
KR102189776B1 (en) System for measuring crack in the wall
WO2020179439A1 (en) Displacement detection method, photography instruction method, displacement detection device, and photography instruction device
WO2023103883A1 (en) Automatic object annotation method and apparatus, electronic device and storage medium
CN116499421A (en) Bridge inspection device, system and method
JP2021060888A (en) Inspection method of utility work and inspection system of utility work
US11003911B2 (en) Inspection assistance device, inspection assistance method, and recording medium
US20220198193A1 (en) Information display device, information display method and program
JP2003065959A (en) Nondestructive inspection apparatus
JP2020030704A (en) Guidance system and guidance control method
CN112699979A (en) Cargo movement detection method and device and electronic equipment
CN113124326A (en) Oil and gas pipeline leakage line patrol detection method and system
KR102449823B1 (en) Method for tagging images of construction site and server and system for performing the same
KR102544533B1 (en) Object management system through electronic pen record information and photo image information matching
EP4246280A1 (en) Wearable device, information processing system, information processing method, and carrier means
EP4246282A1 (en) Information processing apparatus, information processing system, and information processing method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant