KR102621971B1 - 수직형 구조물의 딥러닝 기반 3차원 외관 손상 모델 구축 시스템 및 그 방법 - Google Patents

수직형 구조물의 딥러닝 기반 3차원 외관 손상 모델 구축 시스템 및 그 방법 Download PDF

Info

Publication number
KR102621971B1
KR102621971B1 KR1020220117022A KR20220117022A KR102621971B1 KR 102621971 B1 KR102621971 B1 KR 102621971B1 KR 1020220117022 A KR1020220117022 A KR 1020220117022A KR 20220117022 A KR20220117022 A KR 20220117022A KR 102621971 B1 KR102621971 B1 KR 102621971B1
Authority
KR
South Korea
Prior art keywords
damage
image
model
information
optimal
Prior art date
Application number
KR1020220117022A
Other languages
English (en)
Inventor
안윤규
장근영
유훈
김철민
김동주
임석빈
Original Assignee
세종대학교산학협력단
국토안전관리원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단, 국토안전관리원 filed Critical 세종대학교산학협력단
Priority to KR1020220117022A priority Critical patent/KR102621971B1/ko
Application granted granted Critical
Publication of KR102621971B1 publication Critical patent/KR102621971B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예에 따른 수직형 구조물의 3차원 외관 손상 모델 구축 방법은 (a) 스캐닝 장치로 촬영된 수직형 구조물의 이미지 정보를 수신하는 단계; (b) 이미지 정보를 최적 이미지 선택 모델에 입력하여 최적 이미지를 선정하는 단계; (c) 최적 이미지를 손상 검출 모델에 입력하여 손상 검출 이미지를 생성하는 단계; (d) 손상 검출 이미지를 바이너리 이미지로 변환하고, 바이너리 이미지의 픽셀을 기초로 균열형 손상 및 면적형 손상으로 구분된 손상 정보를 정량화 하는 단계; 및 (e) 최적 이미지에 대한 포인트 클라우드를 기초로 3차원 외관 모델을 생성하고, 포인트 클라우드를 기초로 손상 정보를 매핑하여 3차원 외관 손상 모델을 생성하는 단계를 포함한다.

Description

수직형 구조물의 딥러닝 기반 3차원 외관 손상 모델 구축 시스템 및 그 방법{SYSTEM AND METHOD FOR ESTABLISHING DEEP LEARNING-BASED 3D DIGITAL EXTERIOR DAMAGE MODEL OF VERTICAL STRUCTURE}
본 발명은 수직형 구조물의 딥러닝 기반 3차원 외관 손상 모델 구축 시스템 및 그 방법에 관한 것이다.
구조물은 건설된 이후에 시간이 지남에 따라 노후화가 진행되므로, 구조물의 노화 상태를 파악하기 위해 안전하고 신뢰도 있는 검사 방법이 필요하다. 구조물의 상태를 육안으로 검사하는 방법은 전문가가 직접 구조물에 접근하여 손상의 치수를 측정하는 방법이다. 높이 10 m 이상의 수직형 시설물의 경우, 손상 검사를 위해서 자일(Seil)을 통해 수직구 내부에 접근하여 진단해야 하며, 조도 확보가 어려워 손상 평가에 어려움이 따른다.
또한, 비전 카메라를 이용한 영상을 이용하여 대상 구조물의 균열을 평가하는 방법은, 카메라의 성능에 따라 미세 손상의 경우 근접 촬영이 필수적이며, 카메라의 FOV의 한계로 인해 대형 구조물의 전반적인 평가가 어려워 국부 손상 검색에 국한된 경우가 잦다. 또한 손상 정량화를 위해서는 카메라와 구조물 사이의 정확한 거리를 측정하거나 기준이 되는 표식을 구조물 표면에 설치해야 하며, 데이터 수집을 위한 카메라의 정확한 포즈를 산출해야하는 등 현장 적용성이 낮다.
인력 기반의 2D 외관조사망도 (Manual stitching)를 구축하는 방법은 이미지의 지오메트리(Geometry)가 고려되지 않아 왜곡이 다수 포함되며 이미지 경계면에서 불연속성(Discontinuity)이 발생할 가능성이 크다. 일예로 단일 호모그래피(Homography) 추정에 따른 리니어 이미지 스티칭(Linear image stitching) 기법은 국부적 왜곡이 발생할 가능성이 크다.
한편 이미지 스티칭 알고리즘 기반의 2D 디지털 외관조사망도: 카메라와 대상 구조물 평면과의 평형을 유지할 수 있는 사각형 수직형 시설물의 경우 2D 외관조사망도의 왜곡을 최소화하여 구축할 수 있으나, 원형 또는 헌치가 포함된 수직형 시설물의 경우, 수직구 표면의 곡률과 카메라의 얼라인먼트(Alignment) 등의 문제로 왜곡이 발생할 가능성이 크다.
이에 따라 외관조사를 위해 3차원 라이다(3D LiDAR) 또는 이미지를 활용한 포토그래메트리(Photogrammetry) 기법 등을 활용하여 3D 데이터를 활용한 모델 구축을 진행 중이나, 균열과 같은 미세손상을 평가하기에는 해상도가 부족한 실정이다.
대한민국 등록특허공보 제10-2037893호(발명의 명칭: 디지털 외관조사망도 구축 시스템 및 방법)
본 발명의 일 실시예에 따른 수직형 구조물의 3차원 외관 손상 모델 구축 시스템 및 그 방법은 수집 데이터로부터 3차원 외관 모델을 생성하고 딥러닝에 기반하여 검출된 손상정보를 3차원 외관 모델에 정밀하게 매핑하여 3차원 외관 손상 모델을 구축하고자 한다.
본 발명의 일 실시예에 따른 수직형 구조물의 3차원 외관 손상 모델 구축 방법은 (a) 스캐닝 장치로 촬영된 수직형 구조물의 이미지 정보를 수신하는 단계; (b) 이미지 정보를 최적 이미지 선택 모델에 입력하여 최적 이미지를 선정하는 단계; (c) 최적 이미지를 손상 검출 모델에 입력하여 손상 검출 이미지를 생성하는 단계; (d) 손상 검출 이미지를 바이너리 이미지로 변환하고, 바이너리 이미지의 픽셀을 기초로 균열형 손상 및 면적형 손상으로 구분된 손상 정보를 정량화 하는 단계; 및 (e) 최적 이미지에 대한 포인트 클라우드를 기초로 3차원 외관 모델을 생성하고, 포인트 클라우드를 기초로 손상 정보를 매핑하여 3차원 외관 손상 모델을 생성하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 수직형 구조물의 3차원 외관 손상 모델 구축 시스템은 외관 손상 모델 구축 방법을 제공하는 프로그램이 저장된 메모리; 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하고, 프로세서는 프로그램의 실행에 따라, 스캐닝 장치로 촬영된 수직형 구조물의 이미지 정보를 수신하고, 이미지 정보를 최적 이미지 선택 모델에 입력하여 최적 이미지를 선정하고, 최적 이미지를 손상 검출 모델에 입력하여 손상 검출 이미지를 생성하고, 손상 검출 이미지를 바이너리 이미지로 변환하고, 바이너리 이미지의 픽셀을 기초로 균열형 손상 및 면적형 손상으로 구분된 손상 정보를 정량화 하고, 최적 이미지에 대한 포인트 클라우드를 기초로 3차원 외관 모델을 생성하고, 포인트 클라우드를 기초로 손상 정보를 매핑하여 3차원 외관 손상 모델을 생성한다.
본 발명의 일 실시예에 따른 수직형 구조물의 3차원 외관 손상 모델 구축 방법에 따르면 수집 데이터로부터 딥러닝에 기반하여 손상 정보를 자동으로 검출하고, 라이다 데이터를 활용하여 손상 정보의 정량화를 통해 구조물 보수에 필요한 보수물량을 산출할 수 있다.
수집 데이터로부터 3차원 외관 모델을 생성하고 딥러닝에 기반하여 검출된 손상 정보를 3차원 외관 모델에 정밀하게 매핑하여 3차원 외관 손상 모델을 구축할 수 있다.
지속적 및 주기적으로 손상 정보를 검출함으로써 3차원 외관 손상 모델의 업데이트를 수행하여 구조물에 대한 신뢰도 있는 시계열 데이터 관리가 가능하다.
도 1은 본 발명의 일 실시예에 따른 3차원 외관 손상 모델 구축 시스템의 구성을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 3차원 외관 손상 모델 구축 시스템의 세부 모듈을 설명하기 위한 블록도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 수직형 구조물을 촬영하기위한 스캐닝 장치를 개략적으로 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 3차원 외관 손상 모델 구축 시스템을 이용한 3차원 외관 손상 모델 구축 과정을 보여주는 개략도이다.
도 6은 본 발명의 일 실시예에 따른 최적 이미지 선택 모델을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 손상 검출 모델을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 손상 정보 산출부를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 모델 구축부를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 손상 검출 모델을 활용한 손상 검출 검증 결과를 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 손상 정보 산출 결과를 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 3차원 외관 손상 모델 구축 시스템의 검증 결과를 도시한 도면이다.
도 13은 본 발명의 다른 실시예에 따른 3차원 외관 손상 모델 구축 방법을 설명하기 위한 순서도이다.
이하에서는 첨부한 도면을 참조하여, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고, 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어 또는 소프트웨어에 의해 실현되는 유닛(unit), 양방을 이용하여 실현되는 유닛을 포함하며, 하나의 유닛이 둘 이상의 하드웨어를 이용하여 실현되어도 되고, 둘 이상의 유닛이 하나의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 외관 손상 모델 구축 시스템의 구성을 보여주는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 3차원 외관 손상 모델 구축 시스템(100)은 스캐닝 장치(10), 통신 모듈(110), 메모리(120), 프로세서(130) 및 데이터베이스를 포함한다.
통신 모듈(110)은 통신망과 연동하여 3차원 외관 손상 모델 구축 시스템(100)에 스캐닝 장치(10)로 촬영된 이미지를 송수신할 수 있는 통신 인터페이스를 제공하는데, 특히 스캐닝 장치(10)에 포함된 비전 카메라, 라이다 기기 및 관리 서버와의 데이터를 송수신하는 역할을 수행할 수 있다. 여기서, 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다. 스캐닝 장치(10)에 대한 상세한 구성은 도 4 및 도 5를 참조하여 후술하도록 한다.
메모리(120)는 3차원 외관 손상 모델 구축 방법을 제공하기 위한 프로그램이 기록된 것일 수 있다. 또한, 메모리(120)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(120)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
메모리(120)에는 외관 손상 모델 구축 방법을 제공하는 프로그램이 저장된다. 이러한 메모리(120)에는 3차원 외관 손상 모델 구축 시스템(100)의 구동을 위한 운영 체제나 외관 손상 모델 구축 방법을 제공하는 프로그램의 실행 과정에서 발생되는 여러 종류가 데이터가 저장된다.
프로세서(130)는 메모리(120)에 저장된 프로그램을 실행하되, 외관 손상 모델 구축 방법을 제공하는 프로그램의 실행에 따라 다음과 같은 처리를 수행한다.
프로세서(130)는 스캐닝 장치(10)로 촬영된 수직형 구조물의 이미지 정보를 수신하고, 이미지 정보를 최적 이미지 선택 모델에 입력하여 최적 이미지를 선정하고, 최적 이미지를 손상 검출 모델에 입력하여 손상 검출 이미지를 생성하고, 손상 검출 이미지를 바이너리 이미지로 변환하고, 바이너리 이미지의 픽셀을 기초로 균열형 손상 및 면적형 손상으로 구분된 손상 정보를 정량화 하고, 최적 이미지에 대한 포인트 클라우드를 기초로 3차원 외관 모델을 생성하고, 포인트 클라우드를 기초로 손상 정보를 매핑하여 3차원 외관 손상 모델을 생성한다. 프로그램의 실행에 따른 외관 손상 모델 구축 과정의 구체적인 각 단계에 대해서는 도 2 내지 도 9를 참조하여 후술하도록 한다.
이러한 프로세서(130)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이 크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스는 3차원 외관 손상 모델 구축 방법을 수행하기 위해 공동으로 필요한 데이터를 유기적으로 결합하여 저장한 매체일 수 있다. 데이터베이스는 구조물 손상과 관련된 이미지, 클라우드 포인트 및 학습 데이터가 저장된 것일 수 있다. 이러한 데이터베이스는 메모리(120)와는 별도의 구성 요소로서 포함되거나, 또는 메모리(120)의 일부 영역에 구축될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 3차원 외관 손상 모델 구축 시스템의 세부 모듈을 설명하기 위한 블록도이다.
도 2를 참조하면, 프로세서(130)는 메모리(120)에 저장된 프로그램의 실행에 따라 다양한 기능을 수행하는 세부 모듈을 포함할 수 있다. 세부 모듈은 최적 이미지 선택 모델(210), 손상 검출 모델(220), 손상 정보 산출부(230) 및 모델 구축부(240)를 포함한다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 수직형 구조물을 촬영하기위한 스캐닝 장치를 개략적으로 도시한 도면이다.
먼저, 본 발명의 수직형 구조물은 높이 10 m 이상이며 내부가 관통된 수직형 시설물을 의미한다. 기존의 경우, 인력 기반으로 자일(Seil)을 통해 수직형 구조물 내부에 접근하여 진단 검사를 수행하여 위험성이 높았으며, 조도 확보가 어려워 손상 검출이 부정확한 문제가 있었다.
예시적으로 본 발명의 수직형 구조물을 촬영하기 위한 스캐닝 장치(10)는 본체부(11), 윈치 케이블(40), 가이드 케이블(30), 제어부(104) 및 베이스 플레이트(20)를 포함한다.
본체부(11)는 수직형 구조물의 내부에서 상하로 이동하며, 복수의 비전 카메라(51), 라이다(52) 및 복수의 LED 모듈(53)이 장착되는 가로형 프레임(101)과 가로형 프레임(101)의 양단에 배치된 세로형 프레임(102)으로 구성될 수 있다. 예를 들어, 3개의 비전 카메라(51)는 가로형 프레임(101)의 내측에 일정한 간격으로 배치되고, 라이다(52)는 가로형 프레임(101)의 하단면 가운데 배치될 수 있다. LED 모듈(53)은 복수의 LED가 장착된 패널형으로 형성된 것이며, 둘 이상의 LED 모듈(53)이 가로형 프레임(101) 및 세로형 프레임(102)의 내측에 각각 결합될 수 있다. 이때 LED 모듈(53)은 수직형 터널과 같은 구조물의 내부를 스캐닝할 때 조도를 확보하기 위한 역할을 한다.
윈치 케이블(40)은 본체부(11)를 상측 및 하측으로 이동시켜며, 본체부(11)의 가운데에 연결될 수 있다. 한편, 본체부(11)가 상하로 이동되도록 윈치 케이블(40)을 작동시키는 별도의 구동부 등은 기존에 알려진 기술을 사용하는바, 이에 대한 상세한 설명은 생략한다.
가이드 케이블(30)은 본체부(11)의 좌측 및 우측 각각에 배치되어 본체부(11)의 수평 변위를 최소화시킬 수 있다. 즉, 세로형 프레임(102)의 외측부에 가이드 케이블(30)이 각각 연결될 수 있다.
제어부(104)는 스캐닝 장치(10)의 구동을 제어할 수 있다. 예를 들어, 제어부(104)는 비전 카메라(51), 라이다(52) 및 LED 모듈(53)의 동작을 제어하며, 데이터를 수집하고 관리하는 PC, 컨트롤러, 보드, 또는 배터리 등을 포함한 컨트롤 박스로 구성될 수 있다. 또한 제어부(104)는 스캐닝 데이터의 수집을 위한 각 모듈(비전 카메라, 라이다, LED 모듈, 케이블 작동부 등)을 동기화할 수 있다. 즉, 스캐닝 장치(10)가 수직형 구조물(1)의 내부를 상하 방향으로 스캐닝하면 조도 확보를 위해 LED 모듈(53)이 작동하고, 동기화된 비전 카메라(51) 및 라이다(52)를 통해 스냅샷 이미지와 라이다 데이터를 수집할 수 있다. 이후 프로세서(130)는 스캐닝 장치(10)가 수집한 스냅샷 이미지와 라이다 데이터를 포함한 이미지 정보를 수신할 수 있다. 일 예로, 수집된 데이터는 데이터베이스에 로우 이미지(Raw vision image)와 포인트 클라우드(Point cloud data)로 저장될 수 있다.
베이스 플레이트(20)는 수직형 구조물의 상부 또는 하부에 각각 배치되며, 베이스 플레이트(20)의 양단은 좌측 및 우측 가이드 케이블(30)과 각각 연결될 수 있다. 이와 같은 베이스 플레이트(20)는 스캐닝 장치(10)의 상하 이동 중 오작동이 발생할 경우, 본체부(11)가 윈치 케이블(40)로부터 탈거되거나 떨어지는 위험으로부터 안전성을 확보할 수 있다.
이와 같이, 본 발명은 수직형 구조물의 내부 촬영을 위한 스캐닝 장치(10)를 포함하며, 인력 기반 진단의 위험성을 해소하고 진단을 자동화할 수 있다는 효과를 제공한다.
도 5는 본 발명의 일 실시예에 따른 3차원 외관 손상 모델 구축 시스템을 이용한 3차원 외관 손상 모델 구축 과정을 보여주는 개략도이다.
구체적으로, 프로세서(130)는 스캐닝 장치(10)로 촬영된 수직형 구조물(1)의 이미지 정보를 수신하고, 이미지 정보를 최적 이미지 선택 모델(210)에 입력하여 최적 이미지(201)를 선정할 수 있다(S51). 이어서, 최적 이미지(201)를 손상 검출 모델(220)에 입력하여 손상 검출 이미지(202)를 생성할 수 있다(S52). 다음으로 손상 정보 산출부(230)를 통해 손상 검출 이미지(202)를 바이너리 이미지로 변환하고, 바이너리 이미지의 픽셀을 기초로 균열형 손상 및 면적형 손상으로 구분된 손상 정보를 정량화 할 수 있다(S53). 모델 구축부(240)를 통해 최적 이미지(201)에 대한 포인트 클라우드를 기초로 3차원 외관 모델(203)을 생성하고, 포인트 클라우드를 기초로 손상 정보를 매핑하여 3차원 외관 손상 모델(204)을 생성할 수 있다(S54). 추가적으로 프로세서(130)는 기설정된 정량화 알고리즘을 이용하여 손상 정보를 기초로 해당 수직형 구조물의 손상에 대한 보수 물량(205)을 산출(quantity take-off)할 수 있다(S55).
이하, 도 6 내지 도 9를 참조하여 프로세서(130)의 각 모듈의 구성을 상세히 설명하고자 한다.
도 6은 본 발명의 일 실시예에 따른 최적 이미지 선택 모델을 설명하기 위한 도면이다.
도 6을 참조하면, 최적 이미지 선택 모델(210)은 이미지 정보를 수신하여 연속된 복수의 로우 이미지와 이에 대응하는 포인트 클라우드를 획득하는 단계(S61), 각 로우 이미지(Raw vision image)에서 특징을 추출(Feature extraction)하는 단계(S62), 각 로우 이미지의 특징에 기초하여 최초의 제1 로우 이미지(Ip)와 제2 로우 이미지(Iq)를 선택하고, 최초의 제1 로우 이미지 및 제2 로우 이미지의 특징을 매칭하여 인라이어 벡터(Inlier vector)를 선정하고, 인라이어 벡터의 길이를 기초로 산출되는 오버랩 비율(R)을 선정하는 단계(S63), 오버랩 비율(R)이 기준치 이하이면, 오버랩 비율에 따라 제1 로우 이미지 및 제2 로우 이미지를 중첩하여, 오버랩(Overlap) 영역에 대응하는 최적 이미지를 생성하는 단계(S64)를 수행할 수 있다. 이때, 오버랩 비율이 기준치를 초과하면, S63 단계 및 S64 단계를 n회 반복 수행하여 제n 최적 이미지를 생성하고, 제n 최적 이미지와 이에 대응하는 제n 포인트 클라우드를 생성할 수 있다.
예시적으로 S63단계 및 S65단계에서 제1 및 제2 로우 이미지(Ip, Iq)에서 특징 추출 및 매칭을 수행하여 RANSAC 알고리즘을 통해 인라이어 벡터를 선정할 수 있다. 일 예로, 매칭 벡터(Matching vector)의 길이를 통해 제1 및 제2 로우 이미지(Ip, Iq)의 프레임 간 산출된 오버랩 비율(R)에 기반하여 중첩된 영역(오버랩 영역)의 프레임이 최적 이미지로 생성될 수 있다.
여기서, 오버랩 비율(R)은 수직형 구조물(1)의 형상에 따라 스티칭 왜곡이 최소화 가능한 수준으로 선정될 수 있으며, 수식1에 의해 산출될 수 있다.
<수식1>
여기서, R은 오버랩 비율, H와 W는 로우 이미지(Raw image)의 높이와 폭이며, μ와 ν는 인라이어 벡터의 높이(H), 폭(W) 방향의 평균 길이이다.
오버랩 비율(R)이 기준치(Rth)를 초과하면(R> Rth?), 각 로우 이미지로부터 제1 로우 이미지 및 제2 로우 이미지를 다시 선택하고, 제 n 최적 이미지를 생성하는 단계를 n회 반복 수행할 수 있다. 예를 들어 오버랩 비율(R)이 기준치인 Rth를 넘어서면 p와 q에 해당하는 이미지(제1 및 제2 로우 이미지)가 다시 선정이 되고, 알고리즘 루프가 반복되어 최적 이미지(201)가 모두 생성될 수 있다.
이때, 프로세서(130)는 최적 이미지(201)의 생성을 완료한 후, 동기화된 라이더로부터 취득된 포인트 클라우드도 최적 이미지(201)에 대응하는 최적 포인트 클라우드로 변환하여 저장할 수 있다.
도 7은 본 발명의 일 실시예에 따른 손상 검출 모델을 설명하기 위한 도면이다.
도 7을 참조하면, 손상 검출 모델(220)은 적어도 하나 이상의 구조물 손상을 포함한 복수의 이미지와 각 이미지에 포함된 구조물 손상의 종류별로 손상 검출 이미지를 매칭시킨 학습 데이터에 기반하여 구축될 수 있다.
예시적으로, 손상 검출 모델(220)은 최적 이미지(201)를 DCNN(Deep convolution neural network)에 입력하여, 낮은 레벨(Low-level) 특징을 추출하고, 구조물 손상의 종류 별 생성된 특징 맵을 누적하여 제1 특징 맵을 생성하고, 제1 특징 맵과 낮은 레벨 특징을 누적하여 제2 특징 맵을 생성하고, 제2 특징 맵의 특징을 최적 이미지(201) 별 픽셀 단위의 손상 라벨로 분류할 수 있다. 또한 손상 검출 모델(220)의 학습 클래스별 손상 검출 결과로서 업샘플링 층을 통해 손상 검출 이미지(202)가 생성될 수 있다. 이때 손상 라벨은 크랙(Crack), 녹(Rust), 철근노출(Rebar exposure), 부스러짐(Spalling), 풍화(Efflorescence), 네거티브 샘플(Negqtive samples), 배경(Background)을 포함할 수 있다.
일 예로, 손상 검출 모델(220)은 시맨틱 분할 네트워크(Semantic segmentation network) 기반으로 구축될 수 있으며, 입력된 최적 이미지(201) 내 손상을 자동으로 검출할 수 있다. 학습 데이터는 균열(크랙), 녹, 철근노출, 박리박락(부스러짐), 부식(풍화), 백화 등의 손상이 포함된 총 2,633장의 이미지를 활용하였고, 총 3,026개 라벨을 어노테이션(Annotation)하여 손상 검출 모델(220)을 구축하였다. 균열의 경우, 학습능력 향상을 위해 시설물 내 조인트나 그림자 등이 네거티브 샘플로서 함께 학습될 수 있다. 또한 학습된 손상 검출 모델(220)을 활용하여 최적 이미지(201) 내의 손상을 검출하고, 검출된 손상 결과는 손상 검출 이미지(202)로서 스토리지에 저장할 수 있다.
도 8은 본 발명의 일 실시예에 따른 손상 정보 산출부를 설명하기 위한 도면이다.
손상 정보 산출부(230)는 손상 검출 이미지(202)를 바이너리 이미지로 변환하고, 바이너리 이미지의 픽셀을 기초로 균열형 손상 정보를 산출하는 균열 손상 산출부(231)와 바이너리 이미지의 픽셀을 기초로 면적형 손상 정보를 산출하는 면적 손상 산출부(232)를 포함할 수 있다. 균열 손상 산출부(231)는 픽셀을 기초로 균열의 최대 두께와 길이를 산출하여 균열형 손상 정보를 정량화할 수 있다. 예를 들어, 균열 손상 산출부(231)는 바이너리 이미지에 대해 유클리드 거리변환에 기반하여 균열 두께를 계산하고, 골격화를 수행해 균열의 형상을 추출할 수 있다. 또한 면적 손상 산출부(232)는 픽셀을 기초로 검출된 손상 부위의 외곽선을 따른 픽셀의 가로 및 세로 크기를 산출하여 면적형 손상 정보를 정량화할 수 있다. 또한 균열 손상 산출부(231)는 균열형 손상과 면적형 손상을 포함하는 손상 정보에 실제 균열의 크기를 적용하기 위한 스케일 팩터(s)를 산출할 수 있다.
이때 스케일 팩터(s)는 수식2에 따라 산출될 수 있다.
<수식2>
여기서, dw는 라이다의 작동 거리(Working distance), l는 카메라의 이미지 센서 크기(Image sensor size), P는 이미지의 픽셀 해상도(Pixel resolution)이고 f는 카메라의 초점 거리(Focal length)이다.
작동 거리(dw)는 스캐닝 시에 함께 취득한 라이다 데이터를 활용하여 산출될 수 있다. 이에 따라, 손상 정보 산출부(230)는 각 손상 검출 이미지(202) 마다 스케일 팩터를 적용하여 정량화를 수행할 수 있다. 이와 같이 정량화된 손상 정보는 보수물량 산출에 활용될 수 있다.
도 9는 본 발명의 일 실시예에 따른 모델 구축부를 설명하기 위한 도면이다.
도 9를 참조하면 모델 구축부(240)는 최적 이미지(201)에 대한 포인트 클라우드를 기초로 3차원 외관 모델(203)을 생성하고, 상술한 최적 이미지 선택 모델(210), 손상 검출 모델(220) 및 손상 정보 산출부(230)를 거쳐 산출한 손상 정보를 포인트 클라우드를 기초로 3차원 외관 모델(203)에 매핑하여 3차원 외관 손상 모델(204)을 생성할 수 있다.
또한, 모델 구축부(240)는 3차원 외관 모델(203)을 생성한 이미지 정보의 카메라 포즈에 기초하여, 업데이트되는 이미지 정보의 카메라 포즈를 추정하여 추출한 손상 정보만을 3차원 외관 모델(203)에 매핑하여 3차원 외관 손상 모델(204)을 생성할 수 있다.
즉 3차원 외관 손상 모델(204)은 업데이트되는 스캔 데이터에 따라 3차원 모델 상에 손상 정보가 시계열에 따라 누적되기 때문에 손상의 추이, 원인 분석, 또는 손상을 예측하는 활용될 수 있다.
예시적으로, 프로세서(130)는 손상 검출 모델(220)을 활용하여 최적 이미지(201)의 손상을 검출하는 동시에 사진측량(Photogrammetry) 알고리즘을 활용하여 3차원 외관 모델(203)을 생성할 수 있다. 이때 상하, 좌우 방향 간격을 유지하여 취득한 3차원 외관 모델 구축에 적합한 데이터셋을 활용할 수 있다.
먼저, 최적 이미지(201)와 손상 검출 이미지(202)는 각각 I i와 D i(I =1…N I )로 정의되고, 최적 이미지(201)를 활용하여 레퍼런스 모델(Reference model) 구축할 수 있다. 이어서, 3차원 외관 손상 모델(204) 생성을 위해 SIFT 알고리즘을 활용하여 D i(I =1…N I )로부터 수식3에 의해 특징점을 추출할 수 있다.
<수식3>
여기서, FD는 추출된 특징(Feature)이고, x는 특징점(Feature point), f는 설명자(Feature descriptor), Rn은 n차원 실제 공간(n-dimensional real space)이다.
이어서 순차적으로 각 이미지 내 특징점을 매칭(Matching)하여 상호 간 특정 한계점(Threshold)을 초과하여 오버랩(Overlap)된 이미지 쌍(Image pair(C))을 수식4에 의해 생성할 수 있다.
<수식4>
3D 도메인(3D domain)에 추출된 특징점을 투영(Projective)하여 포인트 클라우드(Point cloud)를 생성하기 위해 추출된 특징점(Feature)과 에피폴라 기하학(Eppipolar geometry)에 기반하여 이미지 내 특징점(Feature)의 상관관계를 특정하는 기본 매트릭스(Fundamental matrix)를 추정할 수 있다. 이때 함께 추정된 카메라 포즈(Camera pose)()를 함께 저장한다. 여기서, SE(3)는 라이 그룹(Lie group) 중 3차원 스페셜 유클리드 그룹(3-dimension special Euclidean group)이고, 손상이 포함된 특징점 X D 는 수식5에 따라 분류하여 손상 별 RGB의 진폭(Amplitude)을 조절해 3차원 모델(3D Model)에 시각화할 수 있다.
<수식5>
여기서 S는 손상 검출 이미지(202)의 손상이 검출된 픽셀(Segmented region)을 나타낸다. 분류된 특징점 X D 는 균열, 박리박락, 철근노출, 부식, 백화 등의 손상에 따라 (255, 0, 0), (0, 255, 0), (0, 0, 255), (255, 255, 0), (0, 255, 255)의 값으로 진폭(Amplitude)이 조절되며, 손상 검출 모델(220)에 학습된 손상의 종류에 따라 추가 또는 제거될 수 있다.
위 과정을 통해 2D 공간의 특징점이 3D 공간에 포인트 클라우드(Point cloud)로 이루어진 재구성된 모델(Reconstructed model)()을 생성할 수 있다. 즉 3차원 외관 모델(203) 내의 포인트 클라우드 중 특정 형태의 모델이 있다는 가정하에 평면 모델을 가정하여 RANSAC(Random sample consensus) 알고리즘을 활용해 임계값(Threshold)을 벗어난 모델 내 이상치 포인트 클라우드(Outlier point cloud)를 제거하여 모델 내 노이즈를 최소화할 수 있다. 다음으로, 모델을 최적화하여 포인트 클라우드 모델(Point cloud model) 정밀도를 향상시키기 위해 수식6에 의해 번들 조정(Bundle adjustment) 프로세싱을 수행할 수 있다.
<수식6>
여기서 ρ는 손실 함수(loss function)이며, 함수 π를 통해 특징점(Feature point)을 이미지 공간(Image space)에 투영하여 수식6을 레벤베르크-마르카트(Levenberg-Marquardt) 방법으로 최적화하여 초기 3차원 외관 손상 모델(203)()을 생성할 수 있다. 이어서 푸아송 표면 메쉬 생성 알고리즘(Poisson surface mesh generation algorithm)을 활용하여 포인트 클라우드 모델(Point cloud model)로부터 메쉬 모델(Mesh model)을 생성하고 이어서 텍스쳐 매핑(Texture mapping)의 과정을 거쳐 3D 재구성(3D reconstruction) 과정을 완료할 수 있다.
정량화 과정에서 추출한 각 손상의 정량적 정보는 D i(I =1…N I )와 함께 저장되며, 모델 내 특징점 X D 에 손상에 대한 정량 정보를 함께 저장할 수 있다. 초기 3차원 외관 손상 모델(203)(XD , t=0)구축 후, 반복적인 데이터 취득을 통해 시계열 데이터의 축적을 위한 업데이트 모델(XD , t , t=1…n)인 3차원 외관 손상 모델(204)을 생성할 수 있다. 업데이트를 위해 손상 검출 이미지(202)만 선별하여 수식3 내지 수식6의 과정을 반복하여 3차원 외관 손상 모델(204)을 업데이트할 수 있다. 이때, 초기 3차원 외관 손상 모델(203)의 구축 파라미터인 카메라 포즈를 활용하여 새로이 추가되는 데이터의 카메라 포즈를 추정한 뒤 수식 5에 따라 손상부(손상이 포함된 특징점 X D ) 데이터만 업데이트할 수 있다. 해당 과정에서도 마찬가지로 각 손상의 정량화 과정에서 추출한 각 손상의 정량적 정보는 D i(I =1…N I )와 함께 저장되며, 모델 내 특징점 X D 에 손상에 대한 정량 정보를 함께 저장할 수 있다.
이하, 도 10 내지 도 12를 참조하여, 본 발명의 일 실시예에 따른 3차원 외관 손상 모델 구축 시스템의 실험적 검증을 위한 모델 학습 및 구축 방법을 설명한다.
도 10은 본 발명의 일 실시예에 따른 손상 검출 모델을 활용한 손상 검출 검증 결과를 도시한 도면이고, 도 11은 본 발명의 일 실시예에 따른 손상 정보 산출 결과를 도시한 도면이고, 도 12는 본 발명의 일 실시예에 따른 3차원 외관 손상 모델 구축 시스템의 검증 결과를 도시한 도면이다.
먼저, 실효성을 검증을 위해 광주 지하철 공항역의 수직형 시설물에서 본 발명에 따른 스캐닝 장치(10)를 활용하여 실험을 수행하였다. 스캐닝 장치(10)는 PC, 컨트롤러, 보드, 배터리 등을 포함한 컨트롤 박스(Control box)와 카메라, Lidar 센서 등으로 구성하였고, 스캔 이미지 정보는 약 2분간 데이터를 취득하였으며, 촬영거리는 약 2m 내외에서 취득하였다. 예를 들어 한 개의 수직형 시설물에 대해 총 4,965개 이미지를 취득하였으며, 최적 이미지 선택 알고리즘(최적 이미지 선택 모델)을 활용하여 361개의 최적 이미지를 추출하였다.
이어서 알고리즘(최적 이미지 선택 모델)의 검증을 위해 테스트베드에서 취득한 비전 이미지를 활용하여 구축한 시맨틱 분할 네트워크(손상 검출 모델)의 검증을 수행하였다. 구축한 네트워크(손상 검출 모델)를 활용하여 최적 이미지(I i)의 손상을 검출하여 손상 검출 이미지(D i)를 취득하며, 도 10에 도시된 것처럼 이미지 내 균열, 철근 노출, 부식 등의 손상을 검출되는 것을 확인할 수 있다.
다음으로 검출된 손상에 대해 도11에 도시된 것처럼 정량화 알고리즘(손상 정보 산출부)을 통해 보수물량을 산출하여 손상 검출 이미지(D i)와 매칭하여 함께 스토리지에 저장되는 것을 확인할 수 있다. 또한 도 12에 도시된 것처럼 초기 3차원 외관 모델의 카메라 포즈를 기초로 취득한 데이터로부터 검출된 손상 정보가 초기 3차원 외관 모델에 매핑되어, 3차원 외관 손상 모델이 생성된 것을 확인할 수 있다.
따라서, 본 발명은 손상 검출 이미지로부터 검출된 손상 정보의 위치나 크기가 포인트 클라우드를 기초로 명확히 특정되고, 초기 3차원 외관 모델의 카메라 포즈를 기초로 손상 정보가 매핑되어 3차원 외관 손상 모델이 생성되는 바, 기존의 포토그래매트리 3D모델링에 따른 손상 모델 생성 시에 발생하는 왜곡 문제를 해결할 수 있다.
이하에서는 상술한 도 1 내지 도12에 도시된 구성 중 동일한 기능을 수행하는 구성의 경우 설명을 생략하기로 한다.
도 13은 본 발명의 다른 실시예에 따른 3차원 외관 손상 모델 구축 방법을 설명하기 위한 순서도이다.
도 13을 참조하면, 본 발명의 수직형 구조물의 3차원 외관 손상 모델 구축 방법은 스캐닝 장치(10)로 촬영된 수직형 구조물의 이미지 정보를 수신하는 단계(S110), 이미지 정보를 최적 이미지 선택 모델(210)에 입력하여 최적 이미지를 선정하는 단계(S120), 최적 이미지를 손상 검출 모델(220)에 입력하여 손상 검출 이미지를 생성하는 단계(S130), 손상 검출 이미지를 바이너리 이미지로 변환하고, 바이너리 이미지의 픽셀을 기초로 균열형 손상 및 면적형 손상으로 구분된 손상 정보를 정량화 하는 단계(S140) 및 최적 이미지에 대한 포인트 클라우드를 기초로 3차원 외관 모델을 생성하고, 포인트 클라우드를 기초로 손상 정보를 매핑하여 3차원 외관 손상 모델을 생성하는 단계(S150)를 포함한다.
S150 단계에서 3차원 외관 손상 모델은, 3차원 외관 모델을 생성한 이미지 정보의 카메라 포즈에 기초하여, 업데이트되는 이미지 정보로부터 생성된 손상 정보만이 3차원 외관 모델에 매핑되는 것일 수 있다.
이상에서 설명한 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 상술한 설명을 기초로 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해되어야만 한다. 본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 스캐닝 장치
100: 3차원 외관 손상 모델 구축 시스템
110: 통신 모듈
120: 메모리
130: 프로세서
210: 최적 이미지 선택 모델
220: 손상 검출 모델
230: 손상 정보 산출부
240: 모델 구축부

Claims (10)

  1. 수직형 구조물의 3차원 외관 손상 모델 구축 방법에 있어서,
    (a) 스캐닝 장치로 촬영된 수직형 구조물의 이미지 정보를 수신하는 단계;
    (b) 상기 이미지 정보를 최적 이미지 선택 모델에 입력하여 최적 이미지를 선정하는 단계;
    (c) 상기 최적 이미지를 손상 검출 모델에 입력하여 손상 검출 이미지를 생성하는 단계;
    (d) 상기 손상 검출 이미지를 바이너리 이미지로 변환하고, 상기 바이너리 이미지의 픽셀을 기초로 균열형 손상 및 면적형 손상으로 구분된 손상 정보를 정량화 하는 단계; 및
    (e) 상기 최적 이미지에 대한 포인트 클라우드를 기초로 3차원 외관 모델을 생성하고, 상기 포인트 클라우드를 기초로 상기 손상 정보를 매핑하여 3차원 외관 손상 모델을 생성하는 단계를 포함하되,
    상기 최적 이미지 선택 모델은
    (b-1) 상기 이미지 정보를 수신하여 연속된 복수의 로우 이미지와 이에 대응하는 포인트 클라우드를 획득하는 단계;
    (b-2) 각 로우 이미지에서 특징을 추출하는 단계;
    (b-3) 상기 각 로우 이미지의 특징에 기초하여 최초의 제1 로우 이미지와 제2 로우 이미지를 선택하고, 최초의 제1 로우 이미지 및 제2 로우 이미지의 특징을 매칭하여 인라이어 벡터를 선정하고, 상기 인라이어 벡터의 길이를 기초로 산출되는 오버랩 비율을 선정하는 단계;
    (b-4) 상기 오버랩 비율이 기준치 이하이면, 상기 오버랩 비율에 따라 상기 제1 로우 이미지 및 제2 로우 이미지를 중첩하여, 오버랩 영역에 대응하는 최적 이미지를 생성하는 단계를 수행하되,
    상기 오버랩 비율이 기준치를 초과하면, 상기 (b-3) 단계 및 상기 (b-4) 단계를 n회 반복 수행하여 제n 최적 이미지를 생성하고, 상기 제n 최적 이미지와 이에 대응하는 제n 포인트 클라우드를 생성하는 것인, 3차원 외관 손상 모델 구축 방법.
  2. 제1항에 있어서,
    상기 스캐닝 장치는
    상기 수직형 구조물의 내부에서 상하로 이동하는 본체부;
    상기 본체부를 상측 및 하측으로 이동시키는 윈치 케이블;
    상기 본체부의 좌측 및 우측 각각에 배치되어 상기 본체부의 수평 변위를 최소화하는 가이드 케이블; 및
    상기 스캐닝 장치의 구동을 제어하는 제어부; 및
    상기 수직형 구조물의 상부 또는 하부에 각각 배치되며, 상기 가이드 케이블의 양단과 연결된 베이스 플레이트를 포함하되,
    상기 본체부는 복수의 비전 카메라, 라이다 및 복수의 LED 모듈이 장착되는 가로형 프레임과 상기 가로형 프레임의 양단에 배치된 세로형 프레임으로 구성된 것인, 3차원 외관 손상 모델 구축 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 손상 검출 모델은
    적어도 하나 이상의 구조물 손상을 포함한 복수의 이미지와 각 이미지에 포함된 구조물 손상의 종류별로 상기 손상 검출 이미지를 매칭시킨 학습 데이터에 기반하여 구축된 모델인 것인, 3차원 외관 손상 모델 구축 방법.
  5. 제1항에 있어서,
    상기 (e) 단계에서
    상기 3차원 외관 손상 모델은, 상기 3차원 외관 모델을 생성한 이미지 정보의 카메라 포즈에 기초하여, 업데이트되는 이미지 정보로부터 생성된 상기 손상 정보만이 상기 3차원 외관 모델에 매핑되는 것인, 3차원 외관 손상 모델 구축 방법.
  6. 수직형 구조물의 3차원 외관 손상 모델 구축 시스템에 있어서,
    외관 손상 모델 구축 방법을 제공하는 프로그램이 저장된 메모리; 및
    상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 프로그램의 실행에 따라,
    스캐닝 장치로 촬영된 수직형 구조물의 이미지 정보를 수신하고, 상기 이미지 정보를 최적 이미지 선택 모델에 입력하여 최적 이미지를 선정하고, 상기 최적 이미지를 손상 검출 모델에 입력하여 손상 검출 이미지를 생성하고, 상기 손상 검출 이미지를 바이너리 이미지로 변환하고, 상기 바이너리 이미지의 픽셀을 기초로 균열형 손상 및 면적형 손상으로 구분된 손상 정보를 정량화 하고, 상기 최적 이미지에 대한 포인트 클라우드를 기초로 3차원 외관 모델을 생성하고, 상기 포인트 클라우드를 기초로 상기 손상 정보를 매핑하여 3차원 외관 손상 모델을 생성하되,
    상기 최적 이미지 선택 모델은
    (b-1) 상기 이미지 정보를 수신하여 연속된 복수의 로우 이미지와 이에 대응하는 포인트 클라우드를 획득하는 단계, (b-2) 각 로우 이미지에서 특징을 추출하는 단계, (b-3) 상기 각 로우 이미지의 특징에 기초하여 최초의 제1 로우 이미지와 제2 로우 이미지를 선택하고, 최초의 제1 로우 이미지 및 제2 로우 이미지의 특징을 매칭하여 인라이어 벡터를 선정하고, 상기 인라이어 벡터의 길이를 기초로 산출되는 오버랩 비율을 선정하는 단계, (b-4) 상기 오버랩 비율이 기준치 이하이면, 상기 오버랩 비율에 따라 상기 제1 로우 이미지 및 제2 로우 이미지를 중첩하여, 오버랩 영역에 대응하는 최적 이미지를 생성하는 단계를 수행하되,
    상기 오버랩 비율이 기준치를 초과하면, 상기 (b-3) 단계 및 상기 (b-4) 단계를 n회 반복 수행하여 제n 최적 이미지를 생성하고, 상기 제n 최적 이미지와 이에 대응하는 제n 포인트 클라우드를 생성하는 것인, 3차원 외관 손상 모델 구축 시스템.
  7. 제6항에 있어서,
    상기 스캐닝 장치는
    상기 수직형 구조물의 내부에서 상하로 이동하는 본체부;
    상기 본체부를 상측 및 하측으로 이동시키는 윈치 케이블;
    상기 본체부의 좌측 및 우측 각각에 배치되어 상기 본체부의 수평 변위를 최소화하는 가이드 케이블; 및
    상기 스캐닝 장치의 구동을 제어하는 제어부; 및
    상기 수직형 구조물의 상부 또는 하부에 각각 배치되며, 상기 가이드 케이블의 양단과 연결된 베이스 플레이트를 포함하되,
    상기 본체부는 복수의 비전 카메라, 라이다 및 복수의 LED 모듈이 장착되는 가로형 프레임과 상기 가로형 프레임의 양단에 배치된 세로형 프레임으로 구성된 것인, 3차원 외관 손상 모델 구축 시스템.
  8. 삭제
  9. 제6항에 있어서,
    상기 손상 검출 모델은
    적어도 하나 이상의 구조물 손상을 포함한 복수의 이미지와 각 이미지에 포함된 구조물 손상의 종류별로 상기 손상 검출 이미지를 매칭시킨 학습 데이터에 기반하여 구축된 모델인 것인, 3차원 외관 손상 모델 구축 시스템.
  10. 제6항에 있어서,
    상기 3차원 외관 손상 모델은, 상기 3차원 외관 모델을 생성한 이미지 정보의 카메라 포즈에 기초하여, 업데이트되는 이미지 정보로부터 생성된 상기 손상 정보만이 상기 3차원 외관 모델에 매핑되는 것인, 3차원 외관 손상 모델 구축 시스템.
KR1020220117022A 2022-09-16 2022-09-16 수직형 구조물의 딥러닝 기반 3차원 외관 손상 모델 구축 시스템 및 그 방법 KR102621971B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220117022A KR102621971B1 (ko) 2022-09-16 2022-09-16 수직형 구조물의 딥러닝 기반 3차원 외관 손상 모델 구축 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220117022A KR102621971B1 (ko) 2022-09-16 2022-09-16 수직형 구조물의 딥러닝 기반 3차원 외관 손상 모델 구축 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102621971B1 true KR102621971B1 (ko) 2024-01-10

Family

ID=89511693

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220117022A KR102621971B1 (ko) 2022-09-16 2022-09-16 수직형 구조물의 딥러닝 기반 3차원 외관 손상 모델 구축 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102621971B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120109954A (ko) * 2011-03-25 2012-10-09 풍림산업 주식회사 건물 외벽 하자 모니터링 장치
KR102037893B1 (ko) 2019-07-05 2019-11-26 세종대학교산학협력단 디지털 외관조사망도 구축 시스템 및 방법
KR20210071283A (ko) * 2019-12-06 2021-06-16 주식회사 드론아이디 드론을 이용하는 구조물 안전점검 유지관리 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120109954A (ko) * 2011-03-25 2012-10-09 풍림산업 주식회사 건물 외벽 하자 모니터링 장치
KR102037893B1 (ko) 2019-07-05 2019-11-26 세종대학교산학협력단 디지털 외관조사망도 구축 시스템 및 방법
KR20210071283A (ko) * 2019-12-06 2021-06-16 주식회사 드론아이디 드론을 이용하는 구조물 안전점검 유지관리 방법 및 시스템

Similar Documents

Publication Publication Date Title
Zhao et al. Deep learning–based image instance segmentation for moisture marks of shield tunnel lining
CN110400363B (zh) 基于激光点云的地图构建方法和装置
Song et al. Real-time tunnel crack analysis system via deep learning
Xie et al. Automatic multi-image stitching for concrete bridge inspection by combining point and line features
JP2017062776A (ja) 構造物に対する変化を検出するための方法、装置およびコンピュータ可読媒体
CN111256594B (zh) 一种飞机蒙皮表面状态物理特征的测量方法
CN110288586A (zh) 一种基于可见光图像数据的多尺度输电线路缺陷检测方法
US20220092856A1 (en) Crack detection, assessment and visualization using deep learning with 3d mesh model
CN104574393A (zh) 一种三维路面裂缝图像生成系统和方法
KR102346676B1 (ko) 딥러닝 기반의 시설물 손상영상 분류를 활용한 손상도 생성방법
CN110837839B (zh) 一种高精度无人机正射影像制作及数据采集方法
Lee et al. Diagnosis of crack damage on structures based on image processing techniques and R-CNN using unmanned aerial vehicle (UAV)
Pathak et al. An object detection approach for detecting damages in heritage sites using 3-D point clouds and 2-D visual data
KR20120005654A (ko) 자동 구름 정보 산출방법
JP2020038132A (ja) コンクリート表面上のひび割れ特定方法、ひび割れ特定装置、ひび割れ特定システム及びプログラム
CN113688817A (zh) 一种自动巡检的仪表识别方法及识别系统
Alidoost et al. Y-shaped convolutional neural network for 3d roof elements extraction to reconstruct building models from a single aerial image
Wang et al. A robust subpixel refinement technique using self‐adaptive edge points matching for vision‐based structural displacement measurement
Xu et al. Deep learning guided building reconstruction from satellite imagery-derived point clouds
CN117422699A (zh) 公路检测方法、装置、计算机设备及存储介质
KR20240051806A (ko) 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법
KR102621971B1 (ko) 수직형 구조물의 딥러닝 기반 3차원 외관 손상 모델 구축 시스템 및 그 방법
Feng et al. Multi-scale building maps from aerial imagery
CN112001964A (zh) 一种基于深度学习的洪水演进过程淹没范围测量方法
Guldur et al. Damage detection on structures using texture mapped laser point clouds

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant