KR102641506B1 - 실내 점검 드론을 활용한 인공지능 기반 협소시설의 3차원 디지털 점검 야장 구축 시스템 및 방법 - Google Patents
실내 점검 드론을 활용한 인공지능 기반 협소시설의 3차원 디지털 점검 야장 구축 시스템 및 방법 Download PDFInfo
- Publication number
- KR102641506B1 KR102641506B1 KR1020220148324A KR20220148324A KR102641506B1 KR 102641506 B1 KR102641506 B1 KR 102641506B1 KR 1020220148324 A KR1020220148324 A KR 1020220148324A KR 20220148324 A KR20220148324 A KR 20220148324A KR 102641506 B1 KR102641506 B1 KR 102641506B1
- Authority
- KR
- South Korea
- Prior art keywords
- damage
- model
- scan data
- image
- inspection field
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013473 artificial intelligence Methods 0.000 title abstract description 5
- 238000001514 detection method Methods 0.000 claims abstract description 55
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 238000010276 construction Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 4
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000032798 delamination Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
- G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8858—Flaw counting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biochemistry (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Chemical & Material Sciences (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
본 발명의 일 실시예에 따른 인공지능 기반 협소시설의 3차원 디지털 점검 야장 구축 방법은 (a) 스캐닝 장치로 촬영된 수직형 구조물의 이미지 정보를 수신하는 단계; (b) 이미지 정보를 최적 이미지 선택 모델에 입력하여 최적 이미지를 선정하는 단계; (c) 최적 이미지를 손상 검출 모델에 입력하여 손상 검출 이미지를 생성하는 단계; (d) 손상 검출 이미지를 바이너리 이미지로 변환하고, 바이너리 이미지의 픽셀을 기초로 균열형 손상 및 면적형 손상으로 구분된 손상 정보를 정량화하는 단계; 및 (e) 최적 이미지에 대한 포인트 클라우드를 기초로 3차원 외관 모델을 생성하고, 포인트 클라우드를 기초로 손상 정보를 매핑하여 3차원 외관 손상 모델을 생성하는 단계를 포함한다.
Description
본 발명은 실내 점검 드론을 활용한 인공지능 기반 협소시설의 3차원 디지털 점검 야장 구축 시스템 및 방법에 관한 것이다.
구조물은 건설된 이후에 시간이 지남에 따라 노후화가 진행되므로, 구조물의 노화 상태를 파악하기 위해 안전하고 신뢰도 있는 검사 방법이 필요하다. 구조물의 상태를 육안으로 검사하는 방법은 전문가가 직접 구조물에 접근하여 손상의 치수를 측정하는 방법이다.
발전소, 화학탱크, 지하시설물 및 교량 거더와 같은 협소시설의 경우, 구조물 내부 진단이 필수적이나 공간이 협소하며 지장물로 인한 위험성이 있어, 전문인력에 기반한 진단에 어려움이 있다. 또한 드론 및 로봇도 지장물로 인해 위험성이 커 첨단 기술 도입의 저해요소가 많아 어려움을 겪고 있다. 한편 데이터 취득 및 진단을 수행 하더라도 인력에 기반한 진단에 대한 신뢰도 확보가 어려운 문제점이 있다.
또한, 비전 카메라를 이용한 영상을 이용하여 대상 구조물의 균열을 평가하는 방법은, 카메라의 성능에 따라 미세 손상의 경우 근접 촬영이 필수적이며, 카메라의 FOV의 한계로 인해 대형 구조물의 전반적인 평가가 어려워 국부 손상 검색에 국한된 경우가 잦다. 또한 손상 정량화를 위해서는 카메라와 구조물 사이의 정확한 거리를 측정하거나 기준이 되는 표식을 구조물 표면에 설치해야 하며, 데이터 수집을 위한 카메라의 정확한 포즈를 산출해야하는 등 현장 적용성이 낮다.
인력 기반의 2D 외관조사망도 (Manual stitching)를 구축하는 방법은 이미지의 지오메트리(Geometry)가 고려되지 않아 왜곡이 다수 포함되며 이미지 경계면에서 불연속성(Discontinuity)이 발생할 가능성이 크다. 일예로 단일 호모그래피(Homography) 추정에 따른 리니어 이미지 스티칭(Linear image stitching) 기법은 국부적 왜곡이 발생할 가능성이 크다.
이에 따라 외관조사를 위해 3차원 라이다(3D LiDAR) 또는 이미지를 활용한 포토그래메트리(Photogrammetry) 기법 등을 활용하여 3차원 데이터를 활용한 모델 구축을 진행 중이나, 균열과 같은 미세손상을 검출하여 3차원 모델로 매핑하고 손상을 정량화하여 보수 물량을 산출하는 디지털 점검 야장 구축 시스템의 개발은 부족한 실정이다.
본 발명의 일 실시예에 따른 협소시설의 3차원 디지털 점검 야장 구축 시스템 및 방법은 실내 점검 드론을 활용하여 데이터를 취득하고, 취득된 데이터를 활용하여 3차원 모델을 생성한 뒤, 손상 검출 모델을 활용해 입력된 데이터에 대한 협소시설의 손상을 검출하여 3차원 모델에 매핑하고 손상을 정량화하여 보수 물량을 자동으로 산출하는 디지털 점검 야장을 구축 하고자 한다.
본 발명의 일 실시예에 따른 협소시설의 3차원 디지털 점검 야장 구축 시스템은 3차원 디지털 점검 야장 구축 방법을 제공하는 프로그램이 저장된 메모리; 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하고, 프로세서는 프로그램의 실행에 따라, 스캐닝 장치로 촬영된 협소시설의 제1 스캔 데이터에 대한 포인트 클라우드를 기초로 3차원 모델을 생성하고, 협소시설에 대하여 재차 스캐닝된 제2 스캔 데이터를 손상 검출 모델에 입력하여 손상 검출 이미지를 생성하고, 손상 검출 이미지를 바이너리 이미지로 변환하고, 바이너리 이미지의 픽셀을 기초로 균열형 손상 및 면적형 손상으로 구분된 손상 정보를 정량화하고, 포인트 클라우드를 기초로 3차원 모델에 손상 검출 이미지 및 손상 정보를 매핑하여 3차원 디지털 점검 야장을 구축한다.
본 발명의 다른 실시예에 따른 협소시설의 3차원 디지털 점검 야장 구축 방법은 (a) 스캐닝 장치로 촬영된 협소시설의 제1 스캔 데이터에 대한 포인트 클라우드를 기초로 3차원 모델을 생성하는 단계; (b) 협소시설에 대하여 재차 스캐닝된 제2 스캔 데이터를 손상 검출 모델에 입력하여 손상 검출 이미지를 생성하는 단계; (c) 손상 검출 이미지를 바이너리 이미지로 변환하고, 바이너리 이미지의 픽셀을 기초로 균열형 손상 및 면적형 손상으로 구분된 손상 정보를 정량화하는 단계; (d) 포인트 클라우드를 기초로 3차원 모델에 손상 검출 이미지 및 손상 정보를 매핑하여 3차원 디지털 점검 야장을 구축하는 단계를 포함한다.
본 발명의 일 실시예에 따른 인공지능 기반 협소시설의 3차원 디지털 점검 야장 구축 시스템에 따르면 전문인력 접근이 어려운 교량 거더와 같은 협소시설 및 고위험 시설물의 디지털 점검 야장 구축 및 보수물량 산출을 위해 실내 점검 드론을 활용하여 구조물 내부를 면밀히 스캐닝하여 데이터를 취득할 수 있다.
취득 데이터를 활용하여 3차원 디지털 점검 야장 구축을 위한 포인트 클라우드(Point cloud) 기반 3차원 모델을 구축할 수 있다.
취득 데이터에 대해 인공지능 네트워크를 활용해 자동 손상 검출 및 3차원 모델 맵핑을 통해 3차원 디지털 점검 야장을 구축하고, 손상을 정량화하여 보수물량을 자동으로 산출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 협소시설의 3차원 디지털 점검 야장 구축 시스템의 구성을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 협소시설의 3차원 디지털 점검 야장 구축 시스템의 세부 모듈을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 협소시설을 촬영하기위한 스캐닝 장치를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 손상 검출 모델을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 3차원 모델 생성부를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 스캐닝 장치로 취득한 제1스캔 데이터를 기초로 협소시설의 3차원 모델을 구축하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 스캐닝 장치로 취득한 제2 스캔 데이터를 기초로 손상 검출 모델을 이용하여 협소시설의 손상 정보를 검출하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 손상 정보 산출부를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 디지털 야장 구축부를 설명하기 위한 도면이다.
도 10은 본 발명의 다른 실시예에 따른 협소시설의 3차원 디지털 점검 야장 구축 방법을 설명하기 위한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 협소시설의 3차원 디지털 점검 야장 구축 시스템의 세부 모듈을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 협소시설을 촬영하기위한 스캐닝 장치를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 손상 검출 모델을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 3차원 모델 생성부를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 스캐닝 장치로 취득한 제1스캔 데이터를 기초로 협소시설의 3차원 모델을 구축하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 스캐닝 장치로 취득한 제2 스캔 데이터를 기초로 손상 검출 모델을 이용하여 협소시설의 손상 정보를 검출하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 손상 정보 산출부를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 디지털 야장 구축부를 설명하기 위한 도면이다.
도 10은 본 발명의 다른 실시예에 따른 협소시설의 3차원 디지털 점검 야장 구축 방법을 설명하기 위한 순서도이다.
이하에서는 첨부한 도면을 참조하여, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고, 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어 또는 소프트웨어에 의해 실현되는 유닛(unit), 양방을 이용하여 실현되는 유닛을 포함하며, 하나의 유닛이 둘 이상의 하드웨어를 이용하여 실현되어도 되고, 둘 이상의 유닛이 하나의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 협소시설의 3차원 디지털 점검 야장 구축 시스템의 구성을 보여주는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 3차원 디지털 점검 야장 구축 시스템(100)은 스캐닝 장치(10), 통신 모듈(110), 메모리(120), 프로세서(130) 및 데이터베이스(140)를 포함한다.
통신 모듈(110)은 통신망과 연동하여 3차원 디지털 점검 야장 구축 시스템(100)에 스캐닝 장치(10)로 촬영된 이미지를 송수신할 수 있는 통신 인터페이스를 제공하는데, 특히 스캐닝 장치(10)에 포함된 비전 카메라 및 조명과의 데이터를 송수신하는 역할을 수행할 수 있다. 여기서, 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다. 스캐닝 장치(10)에 대한 상세한 구성은 도 3을 참조하여 후술하도록 한다.
메모리(120)는 3차원 디지털 점검 야장 구축 방법을 제공하기 위한 프로그램이 기록된 것일 수 있다. 또한, 메모리(120)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(120)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
메모리(120)에는 3차원 디지털 점검 야장 구축 방법을 제공하는 프로그램이 저장된다. 이러한 메모리(120)에는 3차원 디지털 점검 야장 구축 시스템(100)의 구동을 위한 운영 체제나 3차원 디지털 점검 야장 구축 방법을 제공하는 프로그램의 실행 과정에서 발생되는 여러 종류가 데이터가 저장된다.
프로세서(130)는 메모리(120)에 저장된 프로그램을 실행하되, 3차원 디지털 점검 야장 구축 방법을 제공하는 프로그램의 실행에 따라 다음과 같은 처리를 수행한다.
프로세서(130)는 스캐닝 장치(10)로 촬영된 협소시설의 제1 스캔 데이터에 대한 포인트 클라우드를 기초로 3차원 모델을 생성하고, 협소시설에 대하여 재차 스캐닝된 제2 스캔 데이터를 손상 검출 모델에 입력하여 손상 검출 이미지를 생성하고, 손상 검출 이미지를 바이너리 이미지로 변환하고, 바이너리 이미지의 픽셀을 기초로 균열형 손상 및 면적형 손상으로 구분된 손상 정보를 정량화하고, 포인트 클라우드를 기초로 3차원 모델에 손상 검출 이미지 및 손상 정보를 매핑하여 3차원 디지털 점검 야장을 구축한다. 프로그램의 실행에 따른 외관 손상 모델 구축 과정의 구체적인 각 단계에 대해서는 도 2 내지 도 9를 참조하여 후술하도록 한다.
이러한 프로세서(130)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이 크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(140)는 3차원 디지털 점검 야장 구축 방법을 수행하기 위해 공동으로 필요한 데이터를 유기적으로 결합하여 저장한 매체일 수 있다. 데이터베이스(140)는 협소시설의 구조물 손상과 관련된 이미지, 클라우드 포인트 및 학습 데이터가 저장된 것일 수 있다. 이러한 데이터베이스는 메모리(120)와는 별도의 구성 요소로서 포함되거나, 또는 메모리(120)의 일부 영역에 구축될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 협소시설의 3차원 디지털 점검 야장 구축 시스템의 세부 모듈을 설명하기 위한 블록도이다.
도 2를 참조하면, 프로세서(130)는 메모리(120)에 저장된 프로그램의 실행에 따라 다양한 기능을 수행하는 세부 모듈을 포함할 수 있다. 세부 모듈은 3차원 모델 생성부(210), 손상 검출 모델(220), 손상 정보 산출부(230) 및 디지털 야장 구축부(240)를 포함한다.
도 3은 본 발명의 일 실시예에 따른 협소시설을 촬영하기위한 스캐닝 장치를 도시한 도면이다.
먼저 본 발명의 협소시설은 내부의 벽면과 천장 주변에 설치된 빔 및 파이프를 포함하는 협소시설에 의해 협소한 내부 공간을 갖는 교량 거더, 발전소, 화학탱크 및 지하시설물을 포함하는 것이다.
예시적으로 상술한 협소시설을 촬영하기 위한 스캐닝 장치(10)는 비전 카메라(112)와 조명(111)이 장착된 드론 본체(11) 및 드론 본체(11)를 보호하는 기체 보호부(12)를 포함한다. 예를 들어 스캐닝 장치(10)는 기존의 실내 점검 드론으로 구성될 수 있다. 일 예로 드론 본체(11)는 5m/s의 바람 저항성능을 가지며, 비전 카메라(112)는 4K급 영상을 30fps로 취득할 수 있고, 기체 보호부(12)는 400mm 이내 지름으로 형성될 수 있다. 이에 따라, 스캐닝 장치(10)는 기체 보호부(12)의 크기 내의 영역의 협소시설에 대하여 자유롭게 접근하여 스캔 데이터를 취득할 수 있다. 한편 협소시설의 도면 등을 이용하여 협소시설의 내부 구조에 대하여 파악하여 스캐닝 장치(10)의 경로를 사전에 지정할 수 있다. 이에 따라 스캐닝 장치(10)는 지정된 경로에 따라 스캔 데이터를 취득하여 드론 본체(11) 내 스토리지에 저장할 수 있다.
이하, 도 4 내지 도 9를 참조하여 프로세서(130)의 각 모듈의 구성을 상세히 설명하고자 한다.
도 4는 본 발명의 일 실시예에 따른 손상 검출 모델을 설명하기 위한 도면이다.
먼저 도 4를 참조하면, 손상 검출 모델(220)은 적어도 하나 이상의 협소시설의 손상을 포함한 복수의 이미지(102)와 각 이미지(102)에 포함된 협소시설 손상의 종류별로 손상 검출 이미지(202)를 매칭시킨 학습 데이터에 기반하여 구축된 모델로 구성될 수 있다.
예시적으로, 손상 검출 모델(220)은 제2 스캔 데이터(손상 이미지)를 DCNN(Deep convolution neural network)에 입력하여, 낮은 레벨(Low-level) 특징을 추출하고, 협소시설의 손상 종류 별 생성된 특징 맵을 누적하여 제1 특징 맵을 생성하고, 제1 특징 맵과 낮은 레벨 특징을 누적하여 제2 특징 맵을 생성하고, 제2 특징 맵의 특징을 제2 스캔 데이터 별 픽셀 단위의 손상 라벨로 분류할 수 있다. 또한 손상 검출 모델(220)의 학습 클래스별 손상 검출 결과로서 업샘플링 층을 통해 손상 검출 이미지(202)가 생성될 수 있다.
손상 검출 모델(220)은 시맨틱 분할 네트워크(Semantic segmentation network) 기반으로 구축될 수 있으며, 입력된 제2스캔 데이터 내의 손상을 자동으로 검출할 수 있다. 일 예로 도 4(a)에 도시된 것처럼 손상 검출 모델(220)은 협소시설이 콘크리트 구조물인 경우, 콘크리트 구조물용 손상영역 추출 네트워크로 구성될 수 있다. 이때 손상 라벨은 균열, 박리박락, 철근노출, 및 백화 등을 포함할 수 있다. 다른 예로, 도 4(b)에 도시된 것처럼 손상 검출 모델(220)은 협소시설이 강 구조물인 경우, 강 구조물용 손상영역 추출 네트워크로 구성될 수 있다. 이때 손상 라벨은 부식, 용접부 손상, 볼트 탈락 및 도장 탈락 등을 포함할 수 있다.
도 5는 본 발명의 일 실시예에 따른 3차원 모델 생성부를 설명하기 위한 도면이고, 도 6은 본 발명의 일 실시예에 따른 스캐닝 장치로 취득한 제1스캔 데이터를 기초로 협소시설의 3차원 모델을 구축하는 과정을 설명하기 위한 도면이다.
도 5를 참조하면 3차원 모델 생성부(210)는 스캐닝 장치(10)로 촬영된 협소시설의 제1 스캔 데이터에 대한 포인트 클라우드를 기초로 3차원 모델(211)을 생성할 수 있다. 이때, 제1 스캔 데이터는 협소시설에 대한 스캐닝 장치(10)의 1회차 스캐닝을 통해 취득한 데이터를 의미한다.
도 6을 참조하면 3차원 모델 생성부(210)는 스캐닝 장치(10)로부터 촬영된 제1 스캔 데이터에 대한 포인트 클라우드를 Visual SLAM (Simultaneous Localization and Mapping) 알고리즘을 통해 정합하여 3차원 모델(211)을 생성할 수 있다.
구체적으로, 3차원 모델 생성부(210)는 스캐닝 장치(10)의 스캐닝 시작지점으로 회귀하는 이동 경로에 따라 제1 스캔 데이터에서 순차적으로 3차원 모델 이미지(101)를 추출할 수 있다. 여기서 3차원 모델 생성부(210)는 SIFT(Scal0Invariant Feature Transform) 또는 SURF(Speeded Up Robust Feature) 알고리즘을 이용하여 특징 추출 및 특징 매칭을 수행하여 3차원 모델 이미지(101) 간에 일치하는 특징점을 추출할 수 있다. 이어서, 추출된 특징점을 기초로 불필요한(Redundant) 또는 유효하지 않은(Invalid) 이미지를 제거하여 키프레임(Keyframe)만 추출한 뒤 포인트 클라우드를 생성할 수 있다. 다음으로, 스캐닝 시작지점과 회기지점이 일치하는 루프(Loop)를 검출하여 루프 클로징(Loop closing)을 수행할 수 있다.
즉, 3차원 모델 생성부(210)는 스캐닝 장치(10)의 최초 스캐닝 지점(시작지점)과 마지막 스캐닝 지점(회기지점)이 동일하므로 루프를 생성할 수 있고, 해당 루프를 자동으로 검출하여 루프 클로징을 수행할 수 있다. 이에 따라 종래 기술과 달리 포인트 클라우드 기반의 3차원 모델(211)의 매칭 오류 해결이 가능하다. 최종적으로 조밀한 점군 획득(Dense reconstruction)을 통해 3차원 모델(211)을 생성할 수 있다.
도 7은 본 발명의 일 실시예에 따른 스캐닝 장치로 취득한 제2 스캔 데이터를 기초로 손상 검출 모델을 이용하여 협소시설의 손상 정보를 검출하는 과정을 설명하기 위한 도면이다.
도 7을 참조하면 프로세서(130)는 협소시설에 대하여 재차 스캐닝된 제2 스캔 데이터를 취득할 수 있다. 이때, 제2 스캔 데이터는 협소시설에 대한 스캐닝 장치(10)의 2회차 스캐닝을 통해 취득한 데이터를 의미한다.
예시적으로, 프로세서(130)는 제1 스캔 데이터를 기초로 3차원 모델(211)을 생성하면서 제1 스캔 데이터 내의 손상 의심 영역(관심 영역)을 손상 검출 모델(220)을 활용하여 검출할 수 있다. 이에 따라, 프로세서(130)는 제2 스캔 데이터를 취득할 시에 손상 의심 영역(제1 스캔 데이터로부터 추출된 관심 영역)을 중심적으로 복수의 이미지(102)를 집중적으로 취득할 수 있다.
도 8은 본 발명의 일 실시예에 따른 손상 정보 산출부를 설명하기 위한 도면이다.
손상 정보 산출부(230)는 손상 검출 이미지(202)를 바이너리 이미지로 변환하고, 바이너리 이미지의 픽셀을 기초로 균열형 손상 정보를 산출하는 균열 손상 산출부(231)와 바이너리 이미지의 픽셀을 기초로 면적형 손상 정보를 산출하는 면적 손상 산출부(232)를 포함할 수 있다. 균열 손상 산출부(231)는 픽셀을 기초로 균열의 최대 두께와 길이를 산출하여 균열형 손상 정보를 정량화할 수 있다. 예를 들어, 균열 손상 산출부(231)는 바이너리 이미지에 대해 유클리드 거리변환에 기반하여 균열 두께를 계산하고, 골격화를 수행해 균열의 형상을 추출할 수 있다. 또한 면적 손상 산출부(232)는 픽셀을 기초로 검출된 손상 부위의 외곽선을 따른 픽셀의 가로 및 세로 크기를 산출하여 면적형 손상 정보를 정량화할 수 있다. 또한 균열 손상 산출부(231)는 균열형 손상과 면적형 손상을 포함하는 손상 정보에 실제 균열의 크기를 적용하기 위한 스케일 팩터(s)를 산출할 수 있다.
이때 스케일 팩터(s)는 수식1에 따라 산출될 수 있다.
<수식1>
여기서, dw는 라이다의 작동 거리(Working distance), l은 카메라의 이미지 센서 크기(Image sensor size), P는 이미지의 픽셀 해상도(Pixel resolution)이고 f는 카메라의 초점 거리(Focal length)이다.
작동 거리(dw)는 스캐닝 시에 함께 취득한 라이다 데이터를 활용하여 산출될 수 있다. 이에 따라, 손상 정보 산출부(230)는 각 손상 검출 이미지(202) 마다 스케일 팩터를 적용하여 정량화를 수행할 수 있다. 이와 같이 정량화된 손상 정보는 보수물량 산출에 활용될 수 있다.
도 9는 본 발명의 일 실시예에 따른 디지털 야장 구축부를 설명하기 위한 도면이다.
도 9를 참조하면 디지털 야장 구축부(240)는 포인트 클라우드를 기초로 3차원 모델(211)에 손상 검출 이미지 및 손상 정보(203)를 매핑하여 3차원 디지털 점검 야장(241)을 구축할 수 있다.
이때 3차원 디지털 점검 야장(241)은 3차원 모델(211)을 생성하는 제1 스캔 데이터의 카메라 포즈에 기초하여, 제2 스캔 데이터로부터 생성되는 손상 검출 이미지 및 손상 정보(203)가 3차원 모델(211)의 해당 손상 지점에 매핑된 것일 수 있다.
즉, 디지털 야장 구축부(240)는 제1 스캔 데이터에 기반한 3차원 모델(211)의 생성 과정에 저장하였던 카메라 포즈에 기초하여 제2 스캔 데이터에서 검출된 손상 검출 이미지 및 손상 정보를 3차원 모델(211)에 매핑하여 3차원 디지털 점검 야장(241)을 구축하기 때문에 3차원 모델(211)에서의 손상 위치를 왜곡 없이 표현할 수 있다.
이하에서는 상술한 도 1 내지 도 9에 도시된 구성 중 동일한 기능을 수행하는 구성의 경우 설명을 생략하기로 한다.
도 10은 본 발명의 다른 실시예에 따른 협소시설의 3차원 디지털 점검 야장 구축 방법을 설명하기 위한 순서도이다.
도 10을 참조하면, 본 발명의 협소시설의 3차원 디지털 점검 야장 구축 방법은 스캐닝 장치(10)로 촬영된 협소시설의 제1 스캔 데이터에 대한 포인트 클라우드를 기초로 3차원 모델을 생성하는 단계(S110), 협소시설에 대하여 재차 스캐닝된 제2 스캔 데이터를 손상 검출 모델에 입력하여 손상 검출 이미지를 생성하는 단계(S120), 손상 검출 이미지를 바이너리 이미지로 변환하고, 바이너리 이미지의 픽셀을 기초로 균열형 손상 및 면적형 손상으로 구분된 손상 정보를 정량화하는 단계(S130) 및 포인트 클라우드를 기초로 3차원 모델에 손상 검출 이미지 및 손상 정보를 매핑하여 3차원 디지털 야장을 구축하는 단계(S140)를 포함한다.
S110 단계는 제1 스캔 데이터에 대한 포인트 클라우드를 Visual SLAM (Simultaneous Localization and Mapping) 알고리즘을 통해 정합하여 상기3차원 모델을 생성하되, 스캐닝 장치의 스캐닝 시작지점으로 회귀하는 이동 경로에 따라 제1 스캔 데이터에서 순차적으로 3차원 모델 이미지를 추출하고, SIFT(Scal0Invariant Feature Transform) 또는 SURF(Speeded Up Robust Feature) 알고리즘을 이용하여 특징 추출 및 특징 매칭을 수행하여 3차원 모델 이미지 간에 일치하는 특징점을 추출하고, 특징점을 기초로 키프레임만 추출한 뒤 포인트 클라우드를 생성하고, 시작지점과 회기지점이 일치하는 루프를 검출하여 루프 클로징을 수행할 수 있다.
이상에서 설명한 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 상술한 설명을 기초로 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해되어야만 한다. 본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 스캐닝 장치
100: 3차원 디지털 점검 야장 구축 시스템
110: 통신 모듈
120: 메모리
130: 프로세서
210: 3차원 모델 생성부
220: 손상 검출 모델
230: 손상 정보 산출부
240: 디지털 야장 구축부
100: 3차원 디지털 점검 야장 구축 시스템
110: 통신 모듈
120: 메모리
130: 프로세서
210: 3차원 모델 생성부
220: 손상 검출 모델
230: 손상 정보 산출부
240: 디지털 야장 구축부
Claims (12)
- 협소시설의 3차원 디지털 점검 야장 구축 시스템에 있어서,
3차원 디지털 점검 야장 구축 방법을 제공하는 프로그램이 저장된 메모리; 및
상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하고,
상기 프로세서는 상기 프로그램의 실행에 따라,
스캐닝 장치로 촬영된 협소시설의 제1 스캔 데이터에 대한 포인트 클라우드를 기초로 3차원 모델을 생성하고, 상기 협소시설에 대하여 재차 스캐닝된 제2 스캔 데이터를 손상 검출 모델에 입력하여 손상 검출 이미지를 생성하고, 상기 손상 검출 이미지를 바이너리 이미지로 변환하고, 상기 바이너리 이미지의 픽셀을 기초로 균열형 손상 및 면적형 손상으로 구분된 손상 정보를 정량화하고, 상기 포인트 클라우드를 기초로 상기 3차원 모델에 손상이 검출된 이미지 및 상기 손상 정보를 매핑하여 3차원 디지털 점검 야장을 구축하되,
상기 프로세서는 상기 제1 스캔 데이터에 대한 포인트 클라우드를 Visual SLAM (Simultaneous Localization and Mapping) 알고리즘을 통해 정합하여 상기3차원 모델을 생성하되,
상기 스캐닝 장치의 스캐닝 시작지점으로 회귀하는 이동 경로에 따라 상기 제1 스캔 데이터에서 순차적으로 3차원 모델 이미지를 추출하고, SIFT(Scal0Invariant Feature Transform) 또는 SURF(Speeded Up Robust Feature) 알고리즘을 이용하여 특징 추출 및 특징 매칭을 수행하여 상기 3차원 모델 이미지 간에 일치하는 특징점을 추출하고, 상기 특징점을 기초로 키프레임만 추출한 뒤 상기 포인트 클라우드를 생성하고, 상기 시작지점과 회기지점이 일치하는 루프를 검출하여 루프 클로징을 수행하는 것이고,
상기 프로세서는 상기 제1 스캔 데이터를 상기 손상 검출 모델에 입력하여 상기 제1 스캔 데이터 내의 손상 의심 영역을 검출하고, 상기 제2 스캔 데이터를 스캐닝할 시에 상기 손상 의심 영역을 집중적으로 취득하는 것이고,상기 3차원 디지털 점검 야장은, 상기 3차원 모델을 생성하는 상기 제1 스캔 데이터의 카메라 포즈에 기초하여, 상기 제2 스캔 데이터로부터 생성되는 상기 손상이 검출된 이미지 및 상기 정량화 손상 정보가 상기 3차원 모델의 해당 손상 지점에 매핑되는 것이고,
상기 스캐닝 장치는
비전 카메라와 조명이 장착된 드론 본체; 및 상기 드론 본체를 보호하는 기체 보호부를 포함하는 것이고,
상기 협소시설은
내부의 벽면과 천장 주변에 설치된 빔 및 파이프를 포함하는 구조물에 의해 협소한 내부 공간을 갖는 교량 거더, 발전소, 화학탱크 및 지하시설물을 포함하는 것인, 3차원 디지털 점검 야장 구축 시스템.
- 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 손상 검출 모델은
적어도 하나 이상의 협소시설 손상을 포함한 복수의 이미지와 각 이미지에 포함된 협소시설 손상의 종류별로 상기 손상 검출 이미지를 매칭시킨 학습 데이터에 기반하여 구축된 모델인 것인, 3차원 디지털 점검 야장 구축 시스템.
- 삭제
- 협소시설의 3차원 디지털 점검 야장 구축 방법에 있어서,
(a) 스캐닝 장치로 촬영된 협소시설의 제1 스캔 데이터에 대한 포인트 클라우드를 기초로 3차원 모델을 생성하는 단계;
(b) 상기 협소시설에 대하여 재차 스캐닝된 제2 스캔 데이터를 손상 검출 모델에 입력하여 손상 검출 이미지를 생성하는 단계;
(c) 상기 손상 검출 이미지를 바이너리 이미지로 변환하고, 상기 바이너리 이미지의 픽셀을 기초로 균열형 손상 및 면적형 손상으로 구분된 손상 정보를 정량화하는 단계;
(d) 상기 포인트 클라우드를 기초로 상기 3차원 모델에 손상이 검출된 이미지 및 상기 손상 정보를 매핑하여 3차원 디지털 점검 야장을 구축하는 단계를 포함하되,
상기 (a) 단계는
상기 제1 스캔 데이터에 대한 포인트 클라우드를 Visual SLAM (Simultaneous Localization and Mapping) 알고리즘을 통해 정합하여 상기3차원 모델을 생성하되,
상기 스캐닝 장치의 스캐닝 시작지점으로 회귀하는 이동 경로에 따라 상기 제1 스캔 데이터에서 순차적으로 3차원 모델 이미지를 추출하고, SIFT(Scal0Invariant Feature Transform) 또는 SURF(Speeded Up Robust Feature) 알고리즘을 이용하여 특징 추출 및 특징 매칭을 수행하여 상기 3차원 모델 이미지 간에 일치하는 특징점을 추출하고, 상기 특징점을 기초로 키프레임만 추출한 뒤 상기 포인트 클라우드를 생성하고, 상기 시작지점과 회기지점이 일치하는 루프를 검출하여 루프 클로징을 수행하는 것이고,
상기 (b) 단계에서
상기 제1 스캔 데이터를 상기 손상 검출 모델에 입력하여 상기 제1 스캔 데이터 내의 손상 의심 영역을 검출하고, 상기 제2 스캔 데이터를 스캐닝할 시에 상기 손상 의심 영역을 집중적으로 취득하는 것이고,
상기 3차원 디지털 점검 야장은, 상기 3차원 모델을 생성하는 상기 제1 스캔 데이터의 카메라 포즈에 기초하여, 상기 제2 스캔 데이터로부터 생성되는 상기 손상이 검출된 이미지 및 상기 정량화 손상 정보가 상기 3차원 모델의 해당 손상 지점에 매핑되는 것이고,
상기 스캐닝 장치는
비전 카메라와 조명이 장착된 드론 본체; 및 상기 드론 본체를 보호하는 기체 보호부를 포함하는 것이고,
상기 협소시설은
내부의 벽면과 천장 주변에 설치된 빔 및 파이프를 포함하는 구조물에 의해 협소한 내부 공간을 갖는 교량 거더, 발전소, 화학탱크 및 지하시설물을 포함하는 것인, 3차원 디지털 점검 야장 구축 방법.
- 삭제
- 삭제
- 삭제
- 제7항에 있어서,
상기 손상 검출 모델은
적어도 하나 이상의 협소시설 손상을 포함한 복수의 이미지와 각 이미지에 포함된 협소시설 손상의 종류별로 상기 손상 검출 이미지를 매칭시킨 학습 데이터에 기반하여 구축된 모델인 것인, 3차원 디지털 점검 야장 구축 방법.
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220148324A KR102641506B1 (ko) | 2022-11-09 | 2022-11-09 | 실내 점검 드론을 활용한 인공지능 기반 협소시설의 3차원 디지털 점검 야장 구축 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220148324A KR102641506B1 (ko) | 2022-11-09 | 2022-11-09 | 실내 점검 드론을 활용한 인공지능 기반 협소시설의 3차원 디지털 점검 야장 구축 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102641506B1 true KR102641506B1 (ko) | 2024-02-27 |
Family
ID=90058360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220148324A KR102641506B1 (ko) | 2022-11-09 | 2022-11-09 | 실내 점검 드론을 활용한 인공지능 기반 협소시설의 3차원 디지털 점검 야장 구축 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102641506B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150128300A (ko) * | 2014-05-09 | 2015-11-18 | 한국건설기술연구원 | 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법 |
| KR102037893B1 (ko) | 2019-07-05 | 2019-11-26 | 세종대학교산학협력단 | 디지털 외관조사망도 구축 시스템 및 방법 |
| US20200019167A1 (en) * | 2018-07-10 | 2020-01-16 | Imam Abdulrahman Bin Faisal University | Building quality inspection system and inspection robot |
| KR20210022016A (ko) * | 2019-08-02 | 2021-03-02 | 네이버랩스 주식회사 | 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템 |
-
2022
- 2022-11-09 KR KR1020220148324A patent/KR102641506B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150128300A (ko) * | 2014-05-09 | 2015-11-18 | 한국건설기술연구원 | 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법 |
| US20200019167A1 (en) * | 2018-07-10 | 2020-01-16 | Imam Abdulrahman Bin Faisal University | Building quality inspection system and inspection robot |
| KR102037893B1 (ko) | 2019-07-05 | 2019-11-26 | 세종대학교산학협력단 | 디지털 외관조사망도 구축 시스템 및 방법 |
| KR20210022016A (ko) * | 2019-08-02 | 2021-03-02 | 네이버랩스 주식회사 | 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yeum et al. | Automated region-of-interest localization and classification for vision-based visual assessment of civil infrastructure | |
| Yang et al. | Concrete defects inspection and 3D mapping using CityFlyer quadrotor robot | |
| US10931871B2 (en) | Pipeline detection method and apparatus, and storage medium | |
| Mansuri et al. | Artificial intelligence-based automatic visual inspection system for built heritage | |
| Huang et al. | Semantics-aided 3D change detection on construction sites using UAV-based photogrammetric point clouds | |
| Yuan et al. | Near real‐time bolt‐loosening detection using mask and region‐based convolutional neural network | |
| Yang et al. | A robotic system towards concrete structure spalling and crack database | |
| Panella et al. | Deep learning and image processing for automated crack detection and defect measurement in underground structures | |
| Dang et al. | Deep learning-based masonry crack segmentation and real-life crack length measurement | |
| Wu et al. | Applying deep convolutional neural network with 3D reality mesh model for water tank crack detection and evaluation | |
| Malek et al. | Methodology to integrate augmented reality and pattern recognition for crack detection | |
| Vetrivel et al. | Potential of multi-temporal oblique airborne imagery for structural damage assessment | |
| Belloni et al. | Tack project: tunnel and bridge automatic crack monitoring using deep learning and photogrammetry | |
| Zhang et al. | Automated fatigue crack detection in steel box girder of bridges based on ensemble deep neural network | |
| WO2023091730A1 (en) | Building envelope remote sensing drone system and method | |
| JP2022549394A (ja) | コンテキストアウェアな意味的コンピュータ視覚技術を使用して公共基幹施設の異常を検出するシステム及び方法 | |
| US11423611B2 (en) | Techniques for creating, organizing, integrating, and using georeferenced data structures for civil infrastructure asset management | |
| Bai et al. | Deep cascaded neural networks for automatic detection of structural damage and cracks from images | |
| Mondal et al. | Applications of computer vision-based structural health monitoring and condition assessment in future smart cities | |
| Pan | Three-dimensional vision-based structural damage detection and loss estimation–towards more rapid and comprehensive assessment | |
| KR20240051806A (ko) | 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법 | |
| KR102641506B1 (ko) | 실내 점검 드론을 활용한 인공지능 기반 협소시설의 3차원 디지털 점검 야장 구축 시스템 및 방법 | |
| Feng et al. | Multi-scale building maps from aerial imagery | |
| JP2020016527A (ja) | 定置式ガス検知装置の設置箇所の調査方法 | |
| KR102586815B1 (ko) | 구조물 균열 측정 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |