KR102575082B1 - 프리팹 구조물 손상 분석 방법 및 장치 - Google Patents
프리팹 구조물 손상 분석 방법 및 장치 Download PDFInfo
- Publication number
- KR102575082B1 KR102575082B1 KR1020220147415A KR20220147415A KR102575082B1 KR 102575082 B1 KR102575082 B1 KR 102575082B1 KR 1020220147415 A KR1020220147415 A KR 1020220147415A KR 20220147415 A KR20220147415 A KR 20220147415A KR 102575082 B1 KR102575082 B1 KR 102575082B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- damage
- image
- prefab
- bim
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims description 62
- 230000004044 response Effects 0.000 claims abstract description 10
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000013145 classification model Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 239000000463 material Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 238000010276 construction Methods 0.000 description 11
- 230000008901 benefit Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004299 exfoliation Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000006253 efflorescence Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000009417 prefabrication Methods 0.000 description 2
- 206010037844 rash Diseases 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
- G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Tourism & Hospitality (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Mathematical Physics (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Immunology (AREA)
- Software Systems (AREA)
- Chemical & Material Sciences (AREA)
- Signal Processing (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
일 실시예에 따른 프리팹 구조물 손상 분석 장치는, 드론에 의해 촬영된 구조물의 촬영 이미지를 수신하는 수신부, 상기 촬영 이미지 내 QR 코드를 인식하여 상기 QR 코드에 대응되는 상기 구조물을 구성하는 부재에 대한 부재 정보를 추출하고, 상기 부재 정보와 상기 촬영 이미지를 매칭시키는 매칭부, 매칭된 상기 촬영 이미지 내 상기 부재의 손상 유형과 손상 정도를 분석하여 구조물 손상 정보를 생성하는 구조물 손상 정보 생성부 및 상기 부재 중 적어도 하나 이상을 선택하는 사용자의 입력에 대응하여, 선택된 부재에 대응되는 구조물 손상 정보를 시계열적으로 제공하는 인터페이스부를 포함할 수 있다.
Description
본 발명은 「과학기술정보통신부 방송통신발전기금」을 지원받아 제작한 것으로 과학기술정보통신부의 공식의견과 다를 수 있습니다.
본 발명은 프리팹(prefab) 구조물 손상 분석 장치 및 그 분석 방법에 관한 발명으로서, 보다 상세하게는 구조물을 촬영한 이미지 내 QR 코드를 통해 구조물의 각 부재에 발생된 손상을 인공지능을 활용해 분석하고, 분석된 데이터를 시계열적으로 제공하기 위한 프리팹 구조물 손상 분석 장치 및 그 분석 방법에 관한 발명이다.
건설 산업의 디지털화와 생산성 증가율이 어업, 농업보다 낮은 것으로 나타나며 건설산업 생산성 향상을 위하여 국가적인 차원에서 건설산업 디지털 트랜스포메이션을 위한 많은 노력이 진행되고 있다.
건설산업의 성공적인 디지털 트랜스포메이션을 위해서는 전통적인 현장 중심의 생산체계(site-built construction)에서 공장에서 부재를 생산하고 현장에서 조립하는 프리팹 건설(prefabricated construction)을 포함한 제조형 건설업 (off-site construction)으로 생산방식의 전환이 요구되고 있다.
프리팹 건설 방식은 생산성 향상은 물론 비용 절감에 기여할 뿐 아니라 기상, 기후 등 외부적인 영향으로부터 통제된 공장에서 부재를 생산하므로 구조물의 품질관리, 안전관리, 성능관리에도 효과적이어서 건설현장에서의 사용 범위가 매우 확대되고 있다.
하지만, 생산단계부터 현장 조립 및 설치, 유지관리 단계까지 구조물의 품질관리에 대한 체계적인 유지관리 방안이 요구되고 디지털 트랜스포메이션의 흐름에 맞추어 BIM(Building Information Modeling) 기반으로 단계별 품질과 해당 이력을 관리하는 시스템도 요구되는 실정이다.
또한, 국민의 안전에 직접적인 영향을 미치는 사회 기반 시설물의 기존 유지관리 방법은 인력 중심의 현장 상태 점검으로 점검자의 역량에 따라 결과의 신뢰도가 상이하고, 외관조사망도, 보고서, 사진 등 아날로그식으로 정보관리가 이루어지고 있어 건설 단계별 정보의 단절로 인해 구조물의 안전 및 성능평가를 위한 손상 정보 이력 관리에 한계가 있다.
이러한 문제점을 해결하기 위해 드론을 활용하여 이미지를 촬영하거나 촬영 이미지의 유지 관리를 위한 방안이 일부 제시되고 있으나, 구조물 손상에 대한 정량화와 분석 데이터의 처리 방법에 대해서는 다루고 있지 않아 안전진단의 효율성이 충분히 증대되지 않는 문제점이나 유지관리 과정에서 시설 점검자가 직접 현장에 나가 육안으로 확인하여야 하는 한계가 있다.
따라서, 일 실시예에 따른 프리팹 구조물 손상 분석 장치 및 그 분석 방법은 앞서 설명한 문제점을 개선하기 위하여 제안된 발명으로서, 촬영된 구조물 이미지를 분석하여 구조물 손상이 발생한 경우 이를 시계열적으로 관리할 수 있는 프리팹 구조물 손상 분석 장치 및 그 분석 방법을 제공하는데 목적이 있다.
보다 구체적으로, 일 실시예에 따른 프리팹 구조물 손상 분석 장치 및 그 분석 방법은 구조물을 촬영한 적어도 하나 이상의 촬영 이미지를 수신하여 촬영 이미지 내 QR 코드를 인식하고, QR 코드에 대응되는 상기 구조물을 구성하는 부재에 대한 정보를 추출하며, 부재 정보와 촬영 이미지를 매칭시켜 매칭된 촬영 이미지 내 부재의 손상 유형과 손상 정도를 분석하여 구조물 손상 정보를 생성하고, 사용자의 입력에 대응하여 선택된 부재에 대한 구조물 손상 정보를 시계열적으로 제공하는 것에 그 목적이 존재한다.
일 실시예에 따른 프리팹 구조물 손상 분석 장치는, 드론에 의해 촬영된 구조물의 촬영 이미지를 수신하는 수신부, 상기 촬영 이미지 내 QR 코드를 인식하여 상기 QR 코드에 대응되는 상기 구조물을 구성하는 부재에 대한 부재 정보를 추출하고, 상기 부재 정보와 상기 촬영 이미지를 매칭시키는 매칭부, 매칭된 상기 촬영 이미지 내 상기 부재의 손상 유형과 손상 정도를 분석하여 구조물 손상 정보를 생성하는 구조물 손상 정보 생성부 및 상기 부재 중 적어도 하나 이상을 선택하는 사용자의 입력에 대응하여, 선택된 부재에 대응되는 구조물 손상 정보를 시계열적으로 제공하는 인터페이스부를 포함할 수 있다.
상기 부재 정보는, 상기 부재의 구조물 내 위치, 구조물 내 다른 부재와의 연결 관계, 상기 부재의 과거 사진, 상기 부재를 구성하는 소재에 대한 정보 중 적어도 하나 이상을 포함할 수 있다.
상기 제어부는, 상기 구조물 손상 정보 생성부는 상기 촬영 이미지에 대한 이미지 처리 후 손상 유형 분류 모델을 이용하여 상기 구조물 손상 정보를 생성하되, 상기 손상 유형 분류 모델은 구조물의 손상 부위를 촬영한 이미지에 대한 데이터와 상기 손상 부위의 손상 유형과 손상 정도에 대해 레이블링된 데이터를 활용하여 수행된 학습에 의해 생성된 학습 모델일 수 있다.
상기 제어부는, 상기 수신부는 상기 구조물의 BIM(Building Information Modeling) 정보와 상기 드론에 탑재된 센서로부터 생성되며 상기 구조물을 촬영하는 환경에 대한 촬영 이미지 메타 정보를 추가로 수신하고, 상기 구조물 손상 정보 생성부는 상기 촬영 이미지 메타 정보를 이용해 상기 BIM 정보에 상기 구조물 손상 정보가 반영되도록 상기 BIM 정보를 업데이트 하는 BIM 정보 업데이트부를 포함할 수 있다.
상기 BIM 정보 업데이트부는, 상기 촬영 이미지와 상기 촬영 이미지 메타 정보를 기초로 촬영 이미지의 중심 위치 정보를 예측하고, 상기 촬영 이미지 메타 정보의 초점거리와 촬영기기로부터 이미지까지의 거리 정보를 기반으로 이미지 크기를 계산하며, 상기 QR코드의 인식을 통해 BIM 정보에 손상 분석 결과 이미지의 이미지 위치 정보를 사용하여 BIM 모델에 매핑할 수 있다.
상기 프리팹 구조물 손상 분석 장치는, 시계열에 따른 구조물 손상에 대한 데이터를 기초로 학습된 손상 시계열 모델을 생성하는 손상 시계열 모델 생성부 및 상기 손상 시계열 모델에 상기 구조물 손상 정보를 입력하여 앞으로 각 부재에 대해 발생될 손상에 대한 손상 예측 정보를 생성하는 손상 예측 정보 생성부를 더 포함할 수 있다.
상기 인터페이스부는, 상기 손상 예측 정보를 통해 상기 사용자가 선택한 부재에 대해 현재까지 발생한 구조물 손상 정보와 예상되는 추가적인 구조물 손상 정보를 같이 생성할 수 있다.
일 실시예에 따른 프리팹 구조물 손상 분석 장치의 분석 방법은, 드론에 의해 촬영된 구조물의 촬영 이미지를 수신하는 이미지 수신 단계, 상기 촬영 이미지 내 QR 코드를 인식하여 상기 QR 코드에 대응되는 상기 구조물을 구성하는 부재에 대한 부재 정보를 추출하고, 상기 부재 정보와 상기 촬영 이미지를 매칭시키는 이미지 매칭 단계, 매칭된 상기 촬영 이미지 내 상기 부재의 손상 유형과 손상 정도를 분석하여 구조물 손상 정보를 생성하는 손상 정보 생성 단계 및 상기 부재 중 적어도 하나 이상을 선택하는 사용자의 입력에 대응하여, 선택된 부재에 대응되는 구조물 손상 정보를 시계열적으로 제공하는 시계열 정보 생성 단계를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 프리팹 구조물 손상 분석 장치 및 그 분석 방법은 프리팹 구조물의 특성을 반영하여 구조물 손상에 대한 정보를 정량화할 수 있고, 인공지능을 활용하여 손상 구조물을 촬영한 이미지를 정확히 분류할 수 있는 장점이 있다.
또한, 본 발명의 다양한 실시예에 따른 프리팹 구조물 손상 분석 장치 및 그 분석 방법은 프리팹 구조물의 설계 자료와 BIM 모델과의 맵핑을 통해 구조물 손상에 대한 입력 과정이 단순한 이미지가 아닌 활용 가능한 정량화된 데이터로 제공되어 구조물의 생애주기를 관리하는데 유용한 장점이 있다.
또한, 본 발명의 다양한 실시예에 따른 프리팹 구조물 손상 분석 장치 및 그 분석 방법은 프리팹 구조물의 손상과 매칭되는 BIM 모델을 제공하여 구조물 손상에 대한 3차원의 시각적 데이터를 확보할 수 있고, 3D 모델에 기반하여 부재에 대한 손상 정보를 제공하므로, 설계자, 생산자, 발주처 등이 유용하게 부재의 손상에 대한 접근할 수 있게 된다.
본 발명의 효과들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 다양한 실시예에 따른 프리팹 구조물 손상 분석 장치의 개념도이다.
도 2와 도 3은 본 발명의 다양한 실시예에 따른 촬영 이미지를 생성하는 과정을 설명하기 위한 개념도이다.
도 4는 본 발명의 다양한 실시예에 따른 프리팹 구조물 손상 분석 장치의 개념도이다.
도 5는 본 발명의 다양한 실시예에 따른 BIM 정보에 구조물 손상 정보가 반영되도록 업데이트 하는 과정을 설명하기 위한 개념도이다.
도 6은 본 발명의 다양한 실시예에 따른 구조물 손상 정보가 포함된 이미지를 중첩하여 표현하는 과정을 설명하기 위한 개념도이다.
도 7은 본 발명의 다양한 실시예에 따른 프리팹 구조물 손상 분석 장치의 개념도이다.
도 8과 도 9는 본 발명의 실시예에 따라 구조물 손상 정보를 사용자에게 시계열적으로 표시하기 위한 방법을 설명하기 위한 예시도이다.
도 10 내지 도 12는 본 발명의 다양한 실시예에 따른 프리팹 구조물 손상 분석 장치의 분석 방법에 대한 흐름도이다.
도 1은 본 발명의 다양한 실시예에 따른 프리팹 구조물 손상 분석 장치의 개념도이다.
도 2와 도 3은 본 발명의 다양한 실시예에 따른 촬영 이미지를 생성하는 과정을 설명하기 위한 개념도이다.
도 4는 본 발명의 다양한 실시예에 따른 프리팹 구조물 손상 분석 장치의 개념도이다.
도 5는 본 발명의 다양한 실시예에 따른 BIM 정보에 구조물 손상 정보가 반영되도록 업데이트 하는 과정을 설명하기 위한 개념도이다.
도 6은 본 발명의 다양한 실시예에 따른 구조물 손상 정보가 포함된 이미지를 중첩하여 표현하는 과정을 설명하기 위한 개념도이다.
도 7은 본 발명의 다양한 실시예에 따른 프리팹 구조물 손상 분석 장치의 개념도이다.
도 8과 도 9는 본 발명의 실시예에 따라 구조물 손상 정보를 사용자에게 시계열적으로 표시하기 위한 방법을 설명하기 위한 예시도이다.
도 10 내지 도 12는 본 발명의 다양한 실시예에 따른 프리팹 구조물 손상 분석 장치의 분석 방법에 대한 흐름도이다.
이하, 본 발명에 따른 실시 예들은 첨부된 도면들을 참조하여 설명한다. 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 실시 예들을 설명할 것이나, 본 발명의 기술적 사상은 이에 한정되거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있다.
또한, 본 명세서에서 사용한 용어는 실시 예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.
또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함하며, 본 명세서에서 사용한 "제 1", "제 2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지는 않는다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
프리팹 구조물은 건설공사의 현장 작업을 줄이기 위해, 구조 부재를 미리 공장에서 생산하여 현장에서 조립하는 프리패브리케이션(prefabrication) 방식으로 지어진 구조물을 의미할 수 있다. 프리팹 구조물은 공장에서 생산된 다양한 부재들을 조립하여 만들어지는 특성상, 해당 구조물을 구성하는 각각의 부재에 대한 손상 관리가 요구된다. 이하의 구조물은 프리패브리케이션 방식으로 지어진 구조물을 의미한다.
도 1은 본 발명의 다양한 실시예에 따른 손상 분석 장치의 개념도를 도시한 도면이다.
도 1을 참조하면, 손상 분석 장치(10)는 구조물을 촬영한 적어도 하나 이상의 촬영 이미지를 수신하는 수신부(100), 촬영 이미지 내 QR 코드를 인식하여 QR 코드에 대응되는 구조물을 구성하는 부재에 대한 부재 정보를 추출하고, 부재 정보와 촬영 이미지를 매칭시키는 매칭부(200), 매칭된 촬영 이미지 내 부재의 손상 유형과 손상 정도를 분석하여 구조물 손상 정보를 생성하는 구조물 손상 정보 생성부(300) 및 부재 중 적어도 하나 이상을 선택하는 사용자의 입력에 대응하여, 선택된 부재에 대응되는 구조물 손상 정보를 시계열적으로 제공하는 인터페이스부(400)를 포함할 수 있다.
손상 분석 장치(10)는 사용자 단말 간의 데이터 통신이나 외부 시스템과의 네트워크 이용 과정에서 구조물과 관련된 다양한 데이터를 송수신할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 손상 분석 장치(10)는 사용자 단말과 네트워크를 통해 연결될 수 있고 정보를 주고받을 수 있다. 한편, 일 실시예에서, 손상 분석 장치(10)는 데이터베이스와 연동하여 구조물 손상 정보 생성 및 시계열적 표시를 위해 필요한 데이터를 저장할 수 있다.
여기서 데이터베이스는 손상 분석 장치(10)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 데이터베이스는 손상 분석 장치의 작동 과정에서 수집된 패킷 정보를 저장할 수 있고, 구조물 손상 정보의 생성을 위한 다양한 학습 데이터 및 학습 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 손상 분석 장치(10)가 인공지능 학습을 통한 구조물 손상 정보를 생성하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
수신부(100)는 구조물을 촬영한 적어도 하나 이상의 촬영 이미지를 수신할 수 있다. 여기서 촬영되는 이미지는 드론에 의해 촬영된 이미지일 수 있다.
본 발명에 따른 드론은 카메라와 같은 촬영 장치와 적외선센서, 레이저 센서, GPS(Global Positioning System) 센서, IMU(Inertial Measurement Unit) 센서, 라이다 센서 등을 탑재할 수 있으며, 상기한 센서들로부터 센싱된 데이터를 기초로 드론의 위치 정보, 드론의 촬영 자세에 대한 정보, 촬영 장치로부터 촬영 대상까지의 거리 정보와 같은 촬영 이미지 메타 정보가 생성될 수 있다.
도 2와 도 3은 본 발명의 다양한 실시예에 따른 촬영 이미지를 생성하는 과정을 설명하기 위한 개념도이다. 도 2를 참고하면 드론(20)이 프리팹 구조물(30)의 주위 또는 내부를 비행하며 프리팹 구조물의 외면을 다양한 각도에서 촬영하는 것을 알 수 있다. 도 2에서 프리팹 구조물(30)의 예시로서 교량을 도시하였으나, 터널, 항만, 댐, 건축물 등의 다양한 프리팹 구조물들이 드론(20)의 촬영 대상이 되어 구조물 손상 분석에 활용될 수 있다.
또한, 도 3을 참고하면 드론(20)의 프리팹 구조물(30)에 근접하여 프리팹 구조물(30)을 구성하는 부재(31)들 중 하나를 촬영하는 것을 알 수 있고, 각 부재(31)의 외면 일부에는 QR 코드(32)가 표시될 수 있다. 드론(20)이 촬영하는 부재의 이미지에는 해당 부재에 발생하는 손상(32)이 포함될 수 있다. 이러한 부재의 손상은 다양할 수 있으며, 대표적으로 백태, 박리, 박락 또는 크랙과 같이 분류될 수 있다.
본 발명의 실시예에 따른 프리팹 구조물의 경우 공장의 생산 단계 또는 현장 조립 단계에서 각 부재의 외면에 해당 부재에 대한 정보와 링크될 수 있는 QR 코드가 노출되도록 생산되거나 표시될 수 있다.
여기서 부재 정보는 구조물의 종류, 상기 부재의 구조물 내 위치, 구조물 내 다른 부재와의 연결 관계, 부재의 과거 사진, 부재를 구성하는 소재에 대한 정보 중 적어도 하나 이상을 포함하며, QR 코드는 이러한 부재 정보가 저장되어 있는 웹페이지나 애플리케이션 또는 데이터베이스에 연결하기 위한 코드일 수 있다. 따라서 부재별로 서로 다른 QR코드를 가질 수 있다.
따라서, 드론(20)이 프리팹 구조물(30)의 부재(31)를 촬영할 때, 같이 노출되는 QR 코드(32)가 촬영 이미지에 포함되어, 포함된 전체 이미지에 대한 정보가 수신부(100)에 제공될 수 있다.
또한, 수신부(100)는 구조물을 촬영하는 환경에 대한 촬영 환경 정보와 구조물의 BIM(Building Information Modeling) 정보를 추가로 수신할 수 있다. 여기서 BIM 정보는 드론(20)의 촬영 대상이 되는 구조물에 대해 사전에 생성된 정보로서, 3차원 정보 모델을 기반으로 구조물의 생애 주기에 걸쳐 발생하는 모든 정보를 통합하여 활용이 가능하도록 표현한 디지털 모형을 의미할 수 있다. 또한, BIM 정보는 표준 파일 포맷인 IFC(Industry Foundation Classes, *.ifc, *.ifcxml 등)의 BIM 모델에 대한 정보일 수 있으며, 이에 한정되는 것은 아니고, .rvt 파일 포맷, *.pln 파일 포맷, *.CATPart 파일 포맷으로 저장된 BIM 모델에 대한 정보일 수 있다.
상기한 BIM 정보는 이후, 구조물 손상 정보 생성부(300)에서 구조물 손상 정보가 반영되도록 BIM 정보를 업데이트하는 과정에 사용될 수 있다.
매칭부(200)는 촬영 이미지 내 QR 코드(32)를 인식하여 QR 코드(32)에 대응되는 상기 구조물을 구성하는 부재에 대한 부재 정보를 추출하고, 부재 정보와 상기 촬영 이미지를 매칭시킬 수 있다.
보다 구체적으로, 매칭부(200)는 QR 코드(32)를 통해 추출되는 부재 정보를 해당 QR 코드(32)가 포함된 이미지와 매칭시켜 데이터베이스에 저장할 수 있고, 아울러 드론(20)에서 제공되는 정보 중 촬영 이미지 메타 정보(예를 들어, 드론의 GPS 상 위치, 드론의 자세에 따라 드론이 촬영하는 방향, 드론의 촬영 장치와 촬영 대상까지의 거리 정보)를 조합하여 QR 코드(32)가 표시되지 않는 촬영 이미지라도 촬영 대상이 되는 부재(31)를 특정하여 앞서 매칭된 데이터에 반영할 수 있다.
구조물 손상 정보 생성부(300)는 매칭된 촬영 이미지 내 부재의 손상 유형과 손상 정도를 분석하여 구조물 손상 정보를 생성할 수 있다.
보다 구체적으로, 구조물 손상 정보 생성부(300)는 촬영 이미지에 대한 이미지 처리 후 손상 유형 분류 모델을 이용하여 구조물 손상 정보를 생성할 수 있고, 여기서 손상 유형 분류 모델은 구조물의 손상 부위를 촬영한 이미지에 대한 데이터와 손상 부위의 손상 유형과 손상 정도에 대해 레이블링된 데이터를 활용하여 수행된 학습에 의해 생성된 학습 모델일 수 있다.
구조물 손상 정보 생성부(300)는 손상 유형 분류 모델을 지도 학습(supervised learning)을 기반으로 생성할 수 있다. 그러나 이에 한정 되진 않으며, 비지도 학습(unsupervised learning)이나 강화 학습(reinforcement learning)을 포함한 다양한 학습 방법을 사용하여 손상 유형 분류 모델을 생성할 수 있다.
또한 구조물 손상 정보 생성부(300)는 상기 수집한 촬영 이미지를 사전에 설정한 크기(예를 들어, 150x150, 400x400 등의 픽셀 단위)와 동일한 파일 포맷으로 전처리하여 학습데이터로 생성하며, 상기 학습데이터는 프리팹 구조물의 각 구성부분에 대한 영상과 크랙, 박리, 박락, 백태, 누수 등이 발생한 이미지를 접목하여 생성될 수 있다.
즉, 구조물 손상 정보 생성부(300)는 학습 모델을 통해 촬영 이미지를 분석하여 촬영 이미지 내 부재(31)에 손상(33)의 발생 여부와, 손상(33)이 발생하였다면 어떤 형태의 손상이 발생하였는지 분류할 수 있다.
또한, 해당 손상의 진행 수준에 따라 이를 상대적인 크기로 정량화하여 손상 정도를 도출할 수 있다.
생성된 구조물 손상 정보는 해당 구조물의 특정 위치에 크랙, 박리, 박락, 백태, 누수 등의 각종 유형에 대한 손상이 발생하였거나 사용자의 확인이 필요하다는 내용과 관련된 텍스트, 그래픽, 음성 또는 이들의 조합을 통해 생성된 정보일 수 있다. 그리고 상기 구조물 손상 정보는 구조물 손상에 대한 전문가 의한 검토나 검수를 거쳐 추가로 생성되거나 수정될 수 있다.
인터페이스부(400)는 사용자의 단말을 통해 표시되는 화면 내 구조물의 부재 중 적어도 하나 이상을 선택하는 사용자의 입력에 대응하여, 선택된 부재에 대응되는 구조물 손상 정보를 사용자에게 시계열적으로 제공할 수 있다. 인터페이스부(400)는 그래픽 또는 텍스트 형식으로 구조물 손상 정보를 사용자에게 표시할 수 있으며, 이에 대한 구체적인 설명은 이후 도 6을 참조하여 설명하기로 한다.
도 4는 본 발명의 다양한 실시예에 따른 프리팹 구조물 손상 분석 장치의 개념도이다. 보다 구체적으로, 도 4를 참조하면 구조물 손상 정보 생성부(300)는 BIM 정보 업데이트부(310)를 더 포함하는 것을 알 수 있다.
도 5는 본 발명의 다양한 실시예에 따른 BIM 정보에 구조물 손상 정보가 반영되도록 업데이트 하는 과정을 설명하기 위한 개념도이다. 도 5를 참조하면, 프리팹 구조물에 대해 사전에 생성된 BIM 정보에 촬영 이미지로부터 분석된 구조물 손상 정보가 반영된 것을 알 수 있다.
기존의 BIM 정보는 단지 구조물의 구조에 대한 3 차원 모델링 정보를 제공하는 것에 그치지만, 본 발명의 실시예에 따라 업데이트된 BIM 정보는 프리팹 구조물에 현재 진행 중인 구조물 손상 정보가 반영되어 보다 구조물의 안전관리가 보다 용이해진다.
다만, 드론에서 촬영된 이미지를 분석하는 것 만으로는 프리팹 구조물의 어느 부분에 손상이 발생하였는지 정확히 알 수 없으므로, 구조물 손상 정보를 BIM 정보에 정확히 반영할 수 없는 문제점이 있다.
따라서 상기한 바와 같이 분석 장치(10)는 드론에 탑재되는 GPS센서, IMU 센서, 라이다 센서 등으로부터 센싱된 데이터를 기초로 생성되는 촬영 이미지 메타 정보를 생성할 수 있다. 그리고 촬영 이미지 메타 정보를 통해 드론의 위치 정보, 드론의 촬영 자세에 대한 정보, 촬영 장치로부터 촬영 대상까지의 거리 정보를 계산함으로써, 드론의 GPS 상 위치, 드론의 자세에 따라 드론이 촬영하는 방향, 드론의 촬영 장치와 촬영 대상까지의 거리 정보를 도출할 수 있고, 이를 통해 BIM 정보에서 어떤 부재의 어떤 위치에 어떤 방향으로 구조물 손상이 발생하였는지 알 수 있게 된다.
보다 구체적으로, BIM 정보 업데이트부(310)의 업데이트 과정은 i) 촬영 이미지와 드론에 탑재된 센서로부터 생성되는 촬영 이미지 메타 정보를 촬영 이미지의 중심 위치 정보를 예측하는 단계와 ii) 촬영 이미지 메타 정보의 초점거리와 촬영기기로부터 이미지까지의 거리 정보를 기반으로 이미지 크기(Field of View, FOV)를 계산하는 단계 iii) QR코드의 인식을 통해 BIM 정보에 손상 분석 결과 이미지의 이미지 위치 정보를 사용하여 BIM 모델에 매핑하는 단계를 포함할 수 있다.
도 6은 본 발명의 다양한 실시예에 따른 구조물 손상 정보가 포함된 이미지를 중첩하여 표현하는 과정을 설명하기 위한 개념도이다.
도 6을 참조하면, 인터페이스부(400)는 같은 부재의 같은 영역(61) 내 시간대가 다른 구조물 손상이 적어도 둘 이상이면, 상기 영역(61)을 중심으로 각 구조물 손상 정보가 포함된 이미지를 중첩하여 표현할 수 있으며, 구조물 손상 정보가 포함된 이미지를 중첩 표현할 때 중첩된 이미지 별 촬영 시간에 대한 정보를 같이 표시할 수 있다.
보다 구체적으로, 도 6은 구조물을 구성하는 부재의 외면 중 일 영역(60)에 균열로 분류되는 구조물 손상(61)이 발생되었고 해당 구조물 손상에 대한 촬영 이미지가 2021년 1월 3일에 촬영되었고, 같은 영역(60)에 대해 1년 뒤 다시 촬영하였을 때 보다 확장된 균열에 의한 손상(62)이 발생한 경우를 예시한다. 여기서 영역(61)은 부재의 외면 중 일부를 의미하는 것으로서, 서로 다른 시간대에 대해 영역의 동일성을 판단하기 위한 영역의 크기나 위치에 대한 기준은 설계자가 임의로 설정할 수 있다.
동일한 영역(61)에 대해 서로 다른 시간대에 촬영한 촬영 이미지에서 구조물 손상이 발생한 경우, 인터페이스부(400)는 상기 영역(61)을 중심으로 구조물 손상(61, 62)을 중첩하여 도 6에 도시된 바와 같이 표시할 수 있다. 이 때, 중첩되는 복수의 촬영 이미지를 쉽게 식별할 수 있도록, 각 구조물 손상(62, 63)의 촬영 시간에 대한 정보를 같이 표시하되, 색상을 달리하여 표시하거나, 중첩되는 이미지 중 적어도 일부의 이미지의 투명도를 조정하는 방식으로 정보를 생성하여, 사용자가 보다 직관적으로 구조물 손상의 변화과정을 파악하도록 할 수 있다.
도 7은 본 발명의 다양한 실시예에 따른 프리팹 구조물 손상 분석 장치의 개념도이다. 도 7을 참조하면, 손상 분석 장치(10)가 손상 시계열 모델 생성부(500)와 손상 예측 정보 생성부(600)를 더 포함하는 것을 알 수 있다.
여기서 손상 시계열 모델 생성부(500)는 시계열에 따른 구조물 손상에 대한 데이터를 기초로 학습된 손상 시계열 모델을 생성할 수 있다. 그리고, 손상 예측 정보 생성부(600)는 상기 손상 시계열 모델에 구조물 손상 정보를 입력하여 각 부재에 대해 발생될 손상에 대한 손상 예측 정보를 생성할 수 있다.
또한, 인터페이스부(400)는 상기 손상 예측 정보를 통해 상기 사용자가 선택한 부재에 대해 현재까지 발생한 구조물 손상 정보와 예상되는 추가적인 구조물 손상 정보를 같이 제공할 수 있고, 구조물 손상 정보 생성부(300)는 손상 예측 정보를 이용해 상기 구조물의 BIM 정보에 상기 손상 예측 정보가 반영되도록 상기 BIM 정보를 업데이트할 수 있다.
손상 시계열 모델 생성부(500)는 각종 구조물의 각 부재 대한 시계열적인 변화를 학습하여 손상 시계열 모델을 생성한 경우, 상기 생성한 학습모델에 구조물의 BIM 정보를 입력함으로써 구조물의 손상이 예상되는 부분을 추정하고, 상기 추정한 결과에 대한 분석 정보를 사용자 단말로 제공할 수 있다.
예를 들어, 시계열적인 변화에 따라 어느 부분이 안전문제가 발생할 것으로 추정되는지 또는 경도에서 중증 상태로 변화할 것으로 추정되는지 등을 확인할 수 있는 것이다.
또한 손상 분석 장치(10)는 구조물의 각 부재에 대한 BIM 정보를 소정의 주기에 따라 정기적으로 업데이트하고, 상기 BIM 정보를 업데이트할 때마다 사전에 생성해 둔 손상 시계열 모델을 통해 안전문제의 발생을 추정하여 저장 및 관리를 함으로써, 구조물의 노후화 추적, 변이 추적 등에 대한 시계열적인 안전 진단 분석 자료를 생성한 후, 생성된 자료를 사용자의 단말로 제공하거나 표시되도록 구성될 수 있다.
손상 시계열 모델 생성부(500)가 손상 시계열 모델을 생성하는 과정을 보다 상세히 설명하면, 손상 시계열 모델 생성부(500)는 각종 구조물의 각 부재에 대한 시계열적인 변화에 대한 학습 데이터(즉 3차원 좌표와 시간축으로 레이블링된 학습 데이터)를 3차원으로 결합하여 구성함으로써, 각 구성부분에 대한 시계열적인 변화를 통해 구조물 손상을 추정할 수 있는 손상 시계열 모델을 구성하고, 이를 데이터베이스에 저장할 수 있다.
예를 들어 3차원 좌표가 포함된 데이터 세트에 시간축의 차원을 더 추가하여 시계열적인 변화가 레이블링된 학습데이터를 구성하고, 상기 구성한 학습데이터를 입력으로 하는 학습 네트워크를 학습함으로써, 손상 시계열 모델을 생성할 수 있도록 한다.
여기서, 상기 손상 시계열 모델을 생성하기 위하여 손상 시계열 모델 생성부(500)가 학습을 진행하는 학습 네트워크는 CNN(convolution neural network)을 사용할 수 있으며, 상기 CNN은 학습데이터가 입력되는 입력 레이어, 컨볼루션(convolution)레이어, 풀링(pooling) 레이어 및 완전연관(fully connected) 레이어로 구성된다.
도 7에서 손상 시계열 모델 생성부(500)가 손상 분석 장치(10)에 포함되는 것으로 도시되어 있으나, 이는 예시적 표현일 뿐, 손상 분석 장치(10)의 크기를 줄이거나 손상 시계열 모델이 외부의 장치에서 학습으로 생성될 수 있으며, 손상 예측 정보 생성부(600)는 구조물의 특정 부재에 대한 사용자의 구조물 손상 정보 조회가 요청되면, 구조물에 대한 BIM 정보나 구조물 손상 정보를 데이터베이스로부터 로딩하거나 BIM 정보를 구축하는 플랫폼에 상기 구조물에 대한 BIM 모델의 구축을 요청하여 제공받아 상기 손상 시계열 모델에 입력하여 각각의 부재에 대해 발생될 손상에 대한 손상 예측 정보를 생성할 수 있다.
여기서 손상 예측 정보는 현재 사용자가 선택한 부재 또는 구조물의 전체 부재에 대해 장래 예상되는 구조물 손상의 유형과 정도를 포함하는 정보일 수 있다.
도 8과 도 9는 본 발명의 실시예에 따라 구조물 손상 정보를 사용자에게 시계열적으로 표시하기 위한 방법을 설명하기 위한 예시도이다.
보다 구체적으로, 도 8은 프리팹 구조물 및 그 부재를 선택하는 과정에서 사용자에게 표시되는 그래픽 유저 인터페이스 화면(80)을 예시적으로 나타낸다. 도 8의 화면을 통해 사용자는 지도(81)상에서 원하는 구조물을 검색하거나 해당 구조물이 위치하는 장소 또는 관련된 링크 아이콘(82)을 선택하여 특정의 프리팹 구조물을 선택할 수 있다. 사용자의 프리팹 구조물 선택에 대응하여 표시 화면의 일 영역(83)에 구조물을 구성하는 부재들이 표시될 수 있다.
한편, 다수의 부재들은 해당 부재와 관련된 이미지 또는 부재의 이름을 나타내는 텍스트로 표시됨으로써 부재 중 어느 하나를 사용자가 선택할 수 있다. 이 때, 사용자가 선택한 부재가 구조물의 어떤 영역에 위치하는 지 별도의 창(84)을 통해 표시할 수 있다.
도 9는 도 8의 인터페이스를 통해 사용자가 선택한 부재와 관련된 구조물 손상 정보를 사용자에게 표시하는 그래픽 유저 인터페이스 화면(90)을 예시적으로 나타낸다.
앞선 도 8의 예시에서 사용자가 "도하 4교"의 "파주방향 G1"에서, "좌측방호벽"에 위치하는 임의의 부재를 선택한 경우, 해당 부재의 구조물 손상 내역이 있고, 해당 구조물 손상이 촬영되어 데이터베이스에 저장되었다면 관련된 이미지들이 그 촬영 시간과 함께 시계열 정보(91,92)가 생성되어 표시될 수 있다.
구체적으로, 부재별로 동일한 영역에 촬영한 이미지를 도면에 도시된 바와 시계열적으로 나열하여 표시를 해주기 때문에, 사용자가 직관적으로 시간의 흐름에 따라 균열 정보가 어떻게 진행되고 있는지 알 수 있다.
또한, 도면에 도시되어 있진 않으나 각 이미지 내 포함된 구조물 손상의 유형이나 그 정도에 대한 구조물 손상 정보가 표시화면의 일 영역에 배치되거나, 각 촬영 이미지의 위치에 대응되도록 배치되어 표시될 수 있다.
도 10 내지 도 12는 본 발명의 다양한 실시예에 따른 프리팹 구조물 손상 분석 장치의 분석 방법을 설명하기 위한 흐름도이다. 프리팹 구조물 손상 분석 장치의 분석 방법을 설명함에 있어, 전술한 내용과 중복되는 구성에 대한 설명은 생략하기로 한다.
도 10을 참조하면, 프리팹 구조물 손상 분석 장치의 분석 방법은 드론에 의해 촬영된 구조물의 촬영 이미지를 수신하는 단계(S100), 촬영 이미지 내 QR 코드를 인식하여 상기 QR 코드에 대응되는 구조물을 구성하는 부재에 대한 부재 정보를 추출하고, 상기 부재 정보와 상기 촬영 이미지를 매칭시키는 단계(S200), 매칭된 상기 촬영 이미지 내 상기 부재의 손상 유형과 손상 정도를 분석하여 구조물 손상 정보를 생성하는 단계(S300) 및 부재 중 적어도 하나 이상을 선택하는 사용자의 입력에 대응하여, 선택된 부재에 대응되는 구조물 손상 정보를 시계열적으로 제공하는 단계(S400)를 포함할 수 있다.
도 11을 참조하면, 프리팹 구조물 손상 분석 장치의 분석 방법은 도 10에 도시된 프리팹 구조물 손상 분석 장치의 분석 방법에 있어서, 수신하는 단계(S100)에 구조물을 촬영하는 환경에 대한 촬영 이미지 메타 정보와 구조물의 BIM 정보를 추가로 수신하는 단계(S110)를 더 포함하고, 구조물 손상 정보를 생성하는 단계(S300)가 촬영 정보를 이용해 상기 BIM 정보에 상기 구조물 손상 정보가 반영되도록 상기 BIM 정보를 업데이트 하는 BIM 정보 업데이트하는 단계(S310)를 더 포함할 수 있다.
도 12를 참조하면, 프리팹 구조물 손상 분석 장치의 분석 방법은 도 10에 도시된 프리팹 구조물 손상 분석 장치의 분석 방법에 있어서, 시계열에 따른 구조물 손상에 대한 데이터를 기초로 학습된 손상 시계열 모델을 생성하는 손상 시계열 모델 생성 단계(S320) 및 손상 시계열 모델에 상기 구조물 손상 정보를 입력하여 앞으로 각 부재에 대해 발생될 손상에 대한 손상 예측 정보를 생성하는 손상 예측 정보를 생성하는 단계(S340)를 더 포함할 수 있다.
지금까지 도면을 통해 본 발명의 일 실시예에 따른 일 실시예에 따른 프리팹 구조물 손상 분석 장치 및 그 분석 방법에 대해 자세히 알아보았다.
본 발명의 다양한 실시예에 따른 프리팹 구조물 손상 분석 장치 및 그 분석 방법은 프리팹 구조물의 특성을 반영하여 구조물 손상에 대한 정보를 정량화할 수 있고, 인공지능을 활용하여 손상 구조물을 촬영한 이미지를 정확히 분류할 수 있는 장점이 있다.
또한, 본 발명의 다양한 실시예에 따른 프리팹 구조물 손상 분석 장치 및 그 분석 방법은 프리팹 구조물의 설계 자료와 BIM 모델과의 맵핑을 통해 구조물 손상에 대한 입력과정이 단순한 이미지가 아닌 활용 가능한 정량화된 데이터로 제공되어 구조물의 생애주기를 관리하는데 유용한 장점이 있다.
또한, 본 발명의 다양한 실시예에 따른 프리팹 구조물 손상 분석 장치 및 그 분석 방법은 프리팹 구조물의 손상과 매칭되는 BIM 모델을 제공하여 구조물 손상에 대한 3차원의 시각적 데이터를 확보할 수 있고, 3D 모델에 기반하여 부재에 대한 손상 정보를 제공하므로, 설계자, 생산자, 발주처 등이 유용하게 부재의 손상에 대한 접근할 수 있게 된다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (8)
- 드론에 의해 촬영된 구조물의 촬영 이미지를 수신하는 수신부;
상기 촬영 이미지 내 QR 코드를 인식하여 상기 QR 코드에 대응되는 상기 구조물을 구성하는 부재에 대한 부재 정보를 추출하고, 상기 부재 정보와 상기 촬영 이미지를 매칭시키는 매칭부;
매칭된 상기 촬영 이미지 내 상기 부재의 손상 유형과 손상 정도를 분석하여 구조물 손상 정보를 생성하는 구조물 손상 정보 생성부; 및
상기 부재 중 적어도 하나 이상을 선택하는 사용자의 입력에 대응하여, 선택된 부재에 대응되는 구조물 손상 정보를 시계열적으로 제공하는 인터페이스부;를 포함하고
상기 부재 정보는,
상기 부재의 구조물 내 위치, 구조물 내 다른 부재와의 연결 관계, 상기 부재의 과거 사진, 상기 부재를 구성하는 소재에 대한 정보 중 적어도 하나 이상을 포함하는 것을 특징으로 하고,
상기 인터페이스부는
같은 부재의 같은 영역 내에서 다른 시간대의 구조물 손상이 적어도 둘 이상이면, 상기 영역을 중심으로 각 구조물 손상 정보가 포함된 복수의 이미지를 중첩하여 표현하고, 중첩된 복수의 이미지 별 촬영 시간에 대한 정보를 각 이미지와 같이 표시하는 것을 특징으로 하고,
시계열에 따른 구조물 손상에 대한 데이터를 기초로 학습된 손상 시계열 모델을 생성하는 손상 시계열 모델 생성부; 및
상기 손상 시계열 모델에 상기 구조물 손상 정보를 입력하여 앞으로 각 부재에 대해 발생될 손상에 대한 손상 예측 정보를 생성하는 손상 예측 정보 생성부;를 더 포함하는 것을 특징으로 하는,
프리팹 구조물 손상 분석 장치. - 삭제
- 제1항에 있어서,
상기 구조물 손상 정보 생성부는 상기 촬영 이미지에 대한 이미지 처리 후 손상 유형 분류 모델을 이용하여 상기 구조물 손상 정보를 생성하되,
상기 손상 유형 분류 모델은 구조물의 손상 부위를 촬영한 이미지에 대한 데이터와 상기 손상 부위의 손상 유형과 손상 정도에 대해 레이블링된 데이터를 활용하여 수행된 학습에 의해 생성된 학습 모델인 것을 특징으로 하는,
프리팹 구조물 손상 분석 장치. - 제1항에 있어서,
상기 수신부는 상기 구조물의 BIM(Building Information Modeling) 정보와 상기 드론에 탑재된 센서로부터 생성되며 상기 구조물을 촬영하는 환경에 대한 촬영 이미지 메타 정보를 추가로 수신하고,
상기 구조물 손상 정보 생성부는 상기 촬영 이미지 메타 정보를 이용해 상기 BIM 정보에 상기 구조물 손상 정보가 반영되도록 상기 BIM 정보를 업데이트 하는 BIM 정보 업데이트부;를 포함하는 것을 특징으로 하는,
프리팹 구조물 손상 분석 장치. - 제4항에 있어서,
상기 BIM 정보 업데이트부는 상기 촬영 이미지와 상기 촬영 이미지 메타 정보를 기초로 촬영 이미지의 중심 위치 정보를 예측하고, 상기 촬영 이미지 메타 정보의 초점거리와 촬영기기로부터 이미지까지의 거리 정보를 기반으로 이미지 크기를 계산하며, 상기 QR코드의 인식을 통해 BIM 정보에 손상 분석 결과 이미지의 이미지 위치 정보를 사용하여 BIM 모델에 매핑하는 것을 특징으로 하는,
프리팹 구조물 손상 분석 장치. - 삭제
- 제1항에 있어서,
상기 인터페이스부는,
상기 손상 예측 정보를 통해 상기 사용자가 선택한 부재에 대해 현재까지 발생한 구조물 손상 정보와 예상되는 추가적인 구조물 손상 정보를 같이 생성하는 것을 특징으로 하는, 프리팹 구조물 손상 분석 장치. - 드론에 의해 촬영된 구조물의 촬영 이미지를 수신하는 이미지 수신 단계;
상기 촬영 이미지 내 QR 코드를 인식하여 상기 QR 코드에 대응되는 상기 구조물을 구성하는 부재에 대한 부재 정보를 추출하고, 상기 부재 정보와 상기 촬영 이미지를 매칭시키는 이미지 매칭 단계;
매칭된 상기 촬영 이미지 내 상기 부재의 손상 유형과 손상 정도를 분석하여 구조물 손상 정보를 생성하는 손상 정보 생성 단계; 및
상기 부재 중 적어도 하나 이상을 선택하는 사용자의 입력에 대응하여, 선택된 부재에 대응되는 구조물 손상 정보를 시계열적으로 제공하는 시계열 정보 생성 단계;를 포함하고
상기 시계열 정보 생성 단계는
같은 부재의 같은 영역 내에서 다른 시간대의 구조물 손상이 적어도 둘 이상이면, 상기 영역을 중심으로 각 구조물 손상 정보가 포함된 복수의 이미지를 중첩하여 표현하고, 중첩된 복수의 이미지 별 촬영 시간에 대한 정보를 각 이미지와 같이 표시하는 단계;를 포함하고
상기 부재 정보는,
상기 부재의 구조물 내 위치, 구조물 내 다른 부재와의 연결 관계, 상기 부재의 과거 사진, 상기 부재를 구성하는 소재에 대한 정보 중 적어도 하나 이상을 포함하고,
시계열에 따른 구조물 손상에 대한 데이터를 기초로 학습된 손상 시계열 모델을 생성하는 손상 시계열 모델 생성 단계; 및
상기 손상 시계열 모델에 상기 구조물 손상 정보를 입력하여 앞으로 각 부재에 대해 발생될 손상에 대한 손상 예측 정보를 생성하는 손상 예측 정보 생성 단계;를 더 포함하는 것을 특징으로 하는,
프리팹 구조물 손상 분석 장치의 분석 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220147415A KR102575082B1 (ko) | 2022-11-07 | 2022-11-07 | 프리팹 구조물 손상 분석 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220147415A KR102575082B1 (ko) | 2022-11-07 | 2022-11-07 | 프리팹 구조물 손상 분석 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102575082B1 true KR102575082B1 (ko) | 2023-09-06 |
Family
ID=87973904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220147415A KR102575082B1 (ko) | 2022-11-07 | 2022-11-07 | 프리팹 구조물 손상 분석 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102575082B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190021809A (ko) * | 2017-08-24 | 2019-03-06 | 주식회사 포스코건설 | 딥 러닝 기반 구조물 표면 열화 진단 방법 및 장치 |
| KR101994412B1 (ko) * | 2017-09-08 | 2019-06-28 | 주식회사 포스코건설 | 무인 비행체와 센서 인터페이스를 이용한 구조물 표면 열화 진단 장치 및 그 방법 |
| KR101972957B1 (ko) * | 2018-11-21 | 2019-08-28 | 한방유비스 주식회사 | 무인 비행체를 이용한 기존 건축물 소방시설의 화재위험도평가 및 점검 시스템 |
-
2022
- 2022-11-07 KR KR1020220147415A patent/KR102575082B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190021809A (ko) * | 2017-08-24 | 2019-03-06 | 주식회사 포스코건설 | 딥 러닝 기반 구조물 표면 열화 진단 방법 및 장치 |
| KR101994412B1 (ko) * | 2017-09-08 | 2019-06-28 | 주식회사 포스코건설 | 무인 비행체와 센서 인터페이스를 이용한 구조물 표면 열화 진단 장치 및 그 방법 |
| KR101972957B1 (ko) * | 2018-11-21 | 2019-08-28 | 한방유비스 주식회사 | 무인 비행체를 이용한 기존 건축물 소방시설의 화재위험도평가 및 점검 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11557092B2 (en) | Methods and systems for wireframes of a structure or element of interest and wireframes generated therefrom | |
| US11935288B2 (en) | Systems and methods for generating of 3D information on a user display from processing of sensor data for objects, components or features of interest in a scene and user navigation thereon | |
| US11741703B2 (en) | In data acquisition, processing, and output generation for use in analysis of one or a collection of physical assets of interest | |
| US11216663B1 (en) | Systems and methods for generating of 3D information on a user display from processing of sensor data for objects, components or features of interest in a scene and user navigation thereon | |
| Chen et al. | Bridging BIM and building: From a literature review to an integrated conceptual framework | |
| Reja et al. | Computer vision-based construction progress monitoring | |
| Mirzaei et al. | 3D point cloud data processing with machine learning for construction and infrastructure applications: A comprehensive review | |
| US11880943B2 (en) | Photogrammetry of building using machine learning based inference | |
| Sadhu et al. | A review of data management and visualization techniques for structural health monitoring using BIM and virtual or augmented reality | |
| WO2021113268A1 (en) | Systems and methods for generating of 3d information on a user display from processing of sensor data | |
| Guo et al. | Evaluation-oriented façade defects detection using rule-based deep learning method | |
| Yuan et al. | Near real‐time bolt‐loosening detection using mask and region‐based convolutional neural network | |
| JP2021131652A (ja) | データ構造、記録媒体、プログラム、及びシステム | |
| Dang et al. | BIM-based innovative bridge maintenance system using augmented reality technology | |
| Yamane et al. | Recording of bridge damage areas by 3D integration of multiple images and reduction of the variability in detected results | |
| Al-Sabbag et al. | Enabling human–machine collaboration in infrastructure inspections through mixed reality | |
| Wei et al. | 3D imaging in construction and infrastructure management: Technological assessment and future research directions | |
| Chen et al. | GIS-Based Information System for Automated Building Façade Assessment Based on Unmanned Aerial Vehicles and Artificial Intelligence | |
| Lin et al. | Visual and virtual progress monitoring in Construction 4.0 | |
| Wang et al. | Building a next generation AI platform for AEC: A review and research challenges | |
| KR102575082B1 (ko) | 프리팹 구조물 손상 분석 방법 및 장치 | |
| Wang et al. | Instance segmentation of soft‐story buildings from street‐view images with semiautomatic annotation | |
| Lu et al. | Image-based 3D reconstruction for Multi-Scale civil and infrastructure Projects: A review from 2012 to 2022 with new perspective from deep learning methods | |
| Zhang et al. | High‐resolution 3‐D geometry updating of digital functional models using point cloud processing and surface cut | |
| KR102465284B1 (ko) | 모바일 단말 기반의 구조물 균열 검출 방법, 장치 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |