KR20220039450A - 구조물 외관 조사망도 구축 시스템 및 방법 - Google Patents

구조물 외관 조사망도 구축 시스템 및 방법 Download PDF

Info

Publication number
KR20220039450A
KR20220039450A KR1020200122543A KR20200122543A KR20220039450A KR 20220039450 A KR20220039450 A KR 20220039450A KR 1020200122543 A KR1020200122543 A KR 1020200122543A KR 20200122543 A KR20200122543 A KR 20200122543A KR 20220039450 A KR20220039450 A KR 20220039450A
Authority
KR
South Korea
Prior art keywords
image
vision
feature
survey network
target structure
Prior art date
Application number
KR1020200122543A
Other languages
English (en)
Other versions
KR102476701B1 (ko
Inventor
안윤규
장근영
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020200122543A priority Critical patent/KR102476701B1/ko
Publication of KR20220039450A publication Critical patent/KR20220039450A/ko
Application granted granted Critical
Publication of KR102476701B1 publication Critical patent/KR102476701B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 측면에 따른 구조물 외관 조사망도 구축 시스템은 데이터 송수신 모듈; 대상 구조물의 외관 조사망도 구축을 위한 루프 결합 기반의 디지털 이미지 스티칭 프로그램이 저장된 메모리; 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며, 프로세서는 프로그램의 실행에 의해, 비전 카메라가 대상 구조물을 스캐닝한 데이터를 데이터 송수신 모듈을 통해 수신하고, 스캐닝한 데이터로부터 비전 카메라의 시야각(FOV)에 해당하는 복수의 비전 이미지를 순차적으로 추출하고, 비전 이미지에 기초하여 대상 구조물에 대한 열 또는 행 별로 이미지 페어링를 수행하되, 특징 추출 및 특징 매칭과 인라이어 특징 선택에 따른 스캐닝 경로를 생성하고, 이미지 페어링에 의해 구분된 각 열 또는 행 별 비전 이미지 간의 공간적 특성 매칭을 통해 루프 결합을 생성하고, 루프 결합에 의한 연결관계가 있는 비전 이미지마다 메시(mesh)를 생성하고, 메시의 정점에 기초하여 복수의 비전 이미지를 변형하는 이미지 스티칭을 수행하여 대상 구조물의 ROI(Region of interest)에 대한 외관 조사망도를 생성한다.

Description

구조물 외관 조사망도 구축 시스템 및 방법{SYSTEM AND METHOD FOR ESTABLISHING STRUCTURAL EXTERIOR MAP}
본 발명은 구조물 외관 조사망도 구축 시스템 및 방법에 관한 것으로, 보다 상세하게는 대상 구조물에 대하여 비전 카메라를 탑재한 무인체를 통해 데이터를 취득하고, 취득된 데이터로부터 자동으로 가상의 공간적 스캐닝 경로를 생성, 공간적 특성 매칭을 통해 루프 결합을 형성하여 왜곡도가 최소화된 고해상도 외관 조사망도를 구축하는 시스템 및 방법에 관한 것이다.
구조물은 건설된 이후에 시간이 지남에 따라 노후화가 진행되므로, 구조물의 노화 상태를 파악하기 위해 안전하고 신뢰도 있는 검사 방법이 필요하다. 구조물의 상태를 육안으로 검사하는 방법은 전문가가 직접 대상 구조물에 접근하여 균열의 치수를 재는 것으로서, 균열 평가에 있어 사람의 주관이 개입되기 때문에 다른 검사 방법에 비해 신뢰도가 떨어지며, 구조물에 따라 접근이 불가한 경우가 발생할 수 있어 균열 평가가 어렵고 번거롭다.
한편, 비전 카메라를 이용한 영상을 촬영하여 대상 구조물의 손상을 평가하는 방법은, 카메라의 성능에 따라 미세 균열의 경우 근접 촬영이 필수적으로 수반되어야 하며, 카메라의 FOV(Field of view)의 한계로 인해 대형 구조물의 전반적인 평가가 어려워 대부분 국부 손상 검색에 국한되기도 한다. 또한 균열 정량화를 위해서는 카메라와 구조물 사이의 정확한 거리를 측정하거나 기준이 되는 표식을 구조물 표면에 설치해야 하는 등 현장 적용성이 낮다.
또한 인력 기반의 수작업 스티칭(Manual stitching)의 경우, 이미지의 지오메트리(Geometry)가 고려되지 않아 왜곡이 다수 포함되며 이미지 경계면에서 불연속성(Discontinuity)이 발생할 가능성이 크다. 단일 호모그래피(Homography) 추정에 따른 선형 이미지 스티칭(Linear image stitching) - 시밀러리티 변환(Similarity transformation), 아핀 변환(Affine transformation), 사영 변환(Projective transformation) - 기법은 국부적 왜곡이 발생할 가능성이 크다.
현재 구조물의 외관조사를 위해 3D LiDAR 또는 포토그래메트리(Photogrammetry) 기법 등을 활용하여 3D 데이터를 활용한 모델 구축을 진행 중이나, 균열과 같은 미세손상을 평가하기에는 해상도가 부족한 실정이다.
대한민국 공개특허공보 제10-2017-0097670호 (발명의 명칭: 비행체를 이용한 콘크리트 구조물 외곽 균열 탐지 시스템)
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 이미지 스티칭을 통해 카메라가 지니고 있는 FOV 한계를 극복하고 넓은 ROI(Region of interest)에 고해상도 외관 조사망도 구축을 위한 루프 결합 기반의 디지털 이미지 스티칭 기술을 이용한 구조물 외관 조사망도 구축 시스템 및 방법을 제공하는데 목적이 있다.
또한 본 발명은 취득 데이터로부터 자동으로 공간적 스캐닝 경로를 생성하고, 공간적 특성 매칭을 통해 루프 결합을 생성하여 외관 조사망도의 왜곡도를 최소화할 수 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 구조물 외관 조사망도 구축 시스템은 데이터 송수신 모듈; 대상 구조물의 외관 조사망도 구축을 위한 루프 결합 기반의 디지털 이미지 스티칭 프로그램이 저장된 메모리; 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며, 프로세서는 프로그램의 실행에 의해, 비전 카메라가 대상 구조물을 스캐닝한 데이터를 데이터 송수신 모듈을 통해 수신하고, 스캐닝한 데이터로부터 비전 카메라의 시야각(FOV)에 해당하는 복수의 비전 이미지를 순차적으로 추출하고, 비전 이미지에 기초하여 대상 구조물에 대한 열 또는 행 별로 이미지 페어링를 수행하되, 특징 추출 및 특징 매칭과 인라이어 특징 선택에 따른 스캐닝 경로를 생성하고, 이미지 페어링에 의해 구분된 각 열 또는 행 별 비전 이미지 간의 공간적 특성 매칭을 통해 루프 결합을 생성하고, 루프 결합에 의한 연결관계가 있는 비전 이미지마다 메시(mesh)를 생성하고, 메시의 정점에 기초하여 복수의 비전 이미지를 변형하는 이미지 스티칭을 수행하여 대상 구조물의 ROI(Region of interest)에 대한 외관 조사망도를 생성한다.
프로세서는 이미지 페어링을 수행하는 경우, 열 또는 행 별로 이미지에 대해 SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features) 등 특징 추출 알고리즘을 통해 특징 추출 및 특징 매칭을 수행하고, RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 인라이어 특징을 선택하여 매칭 방향을 산출한다.
본 발명의 다른 측면에 따른 구조물 외관 조사망도 구축 시스템을 이용한 구조물 외관 조사망도 구축 방법은 (a) 비전 카메라가 대상 구조물을 스캐닝한 데이터를 데이터 송수신 모듈을 통해 수신하고, 스캐닝한 데이터로부터 비전 카메라의 시야각(FOV)에 해당하는 복수의 비전 이미지를 순차적으로 추출하는 단계, (b) 비전 이미지에 기초하여 대상 구조물에 대한 열 또는 행 별로 이미지 페어링를 수행하되, 특징 추출 및 특징 매칭과 인라이어 특징 선택에 따른 스캐닝 경로를 생성하는 단계, (c)이미지 페어링에 의해 구분된 각 열 또는 행 별 비전 이미지 간의 공간적 특성 매칭을 통해 루프 결합을 생성하는 단계, 및 (d) 루프 결합에 의한 연결관계가 있는 비전 이미지마다 메시(mesh)를 생성하고, 메시의 정점에 기초하여 복수의 비전 이미지를 변형하는 이미지 스티칭을 수행하여 대상 구조물의 ROI(Region of interest)에 대한 외관 조사망도를 생성하는 단계를 포함한다.
(c) 단계는 열 또는 행 별로 이미지에 대해 SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features) 등 특징 추출 알고리즘을 통해 특징 추출 및 특징 매칭을 수행하고, RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 인라이어 특징을 선택하여 매칭 방향을 산출한다.
전술한 본원의 과제 해결 수단에 의하면, 본 발명의 일 실시예에 구조물 외관 조사망도 구축 시스템은 부착형 무인체에 탑재된 비전 카메라를 통해 비파괴, 비접촉으로 데이터를 취득할 수 있고, 취득된 데이터로부터 자동으로 가상의 공간적 스캐닝 경로를 생성, 공간적 특성 매칭을 통해 루프 결합을 형성하여 왜곡도가 최소화된 고해상도 외관 조사망도 구축할 수 있다.
또한 기존의 균열과 같은 미세손상을 평가하기에는 해상도가 부족한 구조물의 외관 조사망도의 정확성을 획기적으로 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 시스템의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 시스템을 설명하기 위한 개략도이다.
도 3은 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 시스템에 따른 스캐닝 경로를 도시한 개략도이다.
도 4는 본 발명의 일 실시예에 따른 이미지 페어링 알고리즘에 의한 가상 스캐닝 경로를 생성하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 루프 결합 생성 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 메시 기반 이미지 스티칭 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 루프 결합 과정 미 적용시 나타나는 구조물 외관 조사망도의 결과를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 콘트리트 시편을 테스트베드로 활용한 실험 셋업을 도시한 도면이다.
도 9a및 도9b는 도8의 실험 셋업에 대한 이미지 페어링과 이에 따른 경로 생성 결과를 도시한 도면이다.
도 10은 도8의 실험 셋업에 대한 루프 결합 과정 적용 여부를 설명하기 위한 도면이다.
도 11은 도10의 루프 결합 과정 적용 여부 비교 결과와 실험 셋업에 대한 원본 이미지를 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 시스템의 구성을 도시한 블록도이다.
도시된 바와 같이 구조물 외관 조사망도 구축 시스템(100)은 스캐닝 모듈(110), 데이터 송수신 모듈(120), 프로세서(130), 메모리(140) 및 데이터베이스(150)를 포함할 수 있다.
스캐닝 모듈(110)은 대상 구조물의 영상을 스캐닝 하는 모듈이며, 비전 카메라(111)와 같은 다양한 카메라를 포함할 수 있다. 스캐닝 모듈(110)은 대상 구조물을 스캐닝하기 위해 무인체, 클라이밍 로봇, 드론 등의 부착형 무인체에 탑재되어 사용될 수 있다.
데이터 송수신 모듈(120)은 스캐닝 모듈(110)과 설정된 통신 포맷으로 통신하여 스캐닝 모듈(110)에서 스캐닝한 데이터 등을 송수신할 수 있다. 또한 데이터 송수신 모듈(120)은 각종 외부 장치(서버 또는 단말) 로부터 구조물 외관 조사망도 구축 프로그램 등의 업데이트 정보 등을 수신하여 프로세서(130)로 전송할 수 있다.
데이터 송수신 모듈(120)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
프로세서(130)는 메모리(140)에 저장된 프로그램을 실행하되, 구조물 외관 조사망도 구축 프로그램의 실행에 따라 다음과 같은 처리를 수행한다.
프로세서(130)는 비전 카메라(111)가 대상 구조물을 스캐닝한 데이터를 데이터 송수신 모듈(120)을 통해 수신하고, 스캐닝한 데이터로부터 비전 카메라(111)의 시야각(FOV)에 해당하는 복수의 비전 이미지를 순차적으로 추출하고, 비전 이미지에 기초하여 대상 구조물에 대한 열 또는 행 별로 이미지 페어링를 수행하되, 특징 추출 및 특징 매칭과 인라이어 특징 선택에 따른 스캐닝 경로를 생성하고, 이미지 페어링에 의해 구분된 각 열 또는 행 별 비전 이미지 간의 공간적 특성 매칭을 통해 루프 결합을 생성하고, 루프 결합에 의한 연결관계가 있는 비전 이미지마다 메시(mesh)를 생성하고, 메시의 정점에 기초하여 복수의 비전 이미지를 변형하는 이미지 스티칭을 수행하여 대상 구조물의 ROI(Region of interest)에 대한 외관 조사망도를 생성한다.
또한 프로세서(130)는 이미지 페어링을 수행하는 경우, 열 또는 행 별로 이미지에 대해 SIFT(Scale-Invariant Feature Transform) 또는 SURF(Speeded Up Robust Features)을 포함하는 특징 추출 알고리즘을 통해 특징 추출 및 특징 매칭을 수행하고, RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 인라이어 특징을 선택하여 매칭 방향을 산출한다. 이때 특징 추출 알고리즘은 SIFT 및 SURF에 한정되는 것은 아니다.
이러한 프로세서(130)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이 크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
메모리(140)에는 구조물 외관 조사망도 구축 프로그램이 저장된다. 이러한 메모리(140)에는 구조물 외관 조사망도 구축 시스템(100)의 구동을 위한 운영 체제나 구조물 외관 조사망도 구축 프로그램의 실행 과정에서 발생되는 여러 종류가 데이터가 저장된다.
이때, 메모리(140)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.
또한, 메모리(140)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(140)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(150)는 프로세서(130)의 제어에 따라, 구조물 외관 조사망도 구축 시스템에 필요한 데이터를 저장 또는 제공한다. 이러한 데이터베이스(150)는 메모리(140)와는 별도의 구성 요소로서 포함되거나, 또는 메모리(140)의 일부 영역에 구축될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 시스템을 설명하기 위한 개략도이다.
도시된 바와 같이 프로세서(130)는 비전 센서 또는 비전 카메라(Vision camera)가 탑재된 무인체(UAV)를 활용하여 고해상도 영상을 취득하기 위해 설계된 스캐닝 경로에 따라 대상 구조물의 근접거리에서 표면을 누락영역 없이 스캐닝하여 데이터(영상 또는 디지털 이미지)를 취득할 수 있다. 여기서, 스캐닝 데이터 취득을 위한 스캐닝 경로는 도2에 도시된 스캐닝 경로에 한정되지 않으며, 다양한 방식의 스캐닝 경로 설계도를 포함할 수 있다.
이때, 각 비전 카메라는 제한된 시야각(Field of view ?FOV)을 가지므로 스캐닝을 통해 취득된 데이터는 시, 공간적으로 변화하는 데이터이다. 특히, 대상 구조물의 검사 영역(Region of interest- ROI)이 넓을 경우, 방대한 양의 취득된 데이터로부터 기존의 전문가 판단에 의존하여 손상 정보와 그 위치를 추출하는데 어려움이 있다. 또한 각 시야각(FOV)으로부터 추출된 손상 정보 등은 카메라의 포즈에 따라 왜곡될 가능성이 높다. 따라서, 정밀한 구조물 외관 조사망도 구축을 위해서는, 이미지 페어링에 의한 가상의 스캐닝 경로 생성 단계, 공간적 특성 매칭을 통한 루프 결합 생성 단계 및 메시 기반 이미지 스티칭 단계를 수행하여 왜곡도가 최소화된 외관 조사망도를 자동으로 구축할 수 있다. 상술한 3가지는 단계에 대한 상세한 설명은 도3 내지 도6을 참조하여 후술하도록 한다.
이에 따라, 본 발명은 기존의 육안검사를 기반으로 수기로 작성했던 구조물 외관조사망도의 정확성을 획기적으로 향상시킬 수 있으며, 특히 드론 등 무안체로부터 취득한 대용량 데이터를 자동으로 처리/분석이 가능하므로 외관 조사망도에 투입되었던 전문 인력과 시간을 대폭 절감할 수 있다.
도 3은 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 시스템에 따른 스캐닝 경로를 도시한 개략도이다. 도 4는 본 발명의 일 실시예에 따른 이미지 페어링 알고리즘에 의한 가상 스캐닝 경로를 생성하는 과정을 설명하기 위한 도면이다.
도시된 바와 같이, 프로세서(130)는 비전 카메라를 장착한 무인체(UAV)를 활용하여 설계된 스캐닝 경로에 따라 대상 구조물의 근접거리에서 표면을 누락영역 없이 스캐닝하여 데이터를 취득할 수 있다. 이때 취득 데이터는 영상 또는 스냅샷(비전 이미지)을 모두 포함한다.
이후, 프로세서(130)는 스캐닝한 데이터로부터 비전 카메라의 시야각(FOV)에 해당하는 복수의 비전 이미지를 순차적으로 추출할 수 있다. 이때 각 비전 이미지는 최소 70 % 이상의 중첩 비율(Overlap)을 갖도록 취득된 것이며, 도3에 나타낸 것과 같이 각 열(Row) 또는 행(Column)도 동일한 중첩비를 갖도록 취득된 것일 수 있다.
프로세서(130)는 비전 이미지에 기초하여 대상 구조물에 대한 열 또는 행 별로 이미지 페어링를 수행하되, 특징 추출 및 특징 매칭과 인라이어 특징 선택에 따른 스캐닝 경로를 생성할 수 있다.
또한 프로세서(130)는 이미지 페어링을 수행하는 경우, 열 또는 행 별로 이미지에 대해 SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features) 등 특징 추출 알고리즘을 통해 특징 추출 및 특징 매칭을 수행하고, RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 인라이어 특징을 선택하여 매칭 방향을 산출할 수 있다.
즉, 비전 이미지는 FOV 내에서 시, 공간적으로 변하여 대상 구조물의 어느 영역을 스캐닝하는지 파악이 어려우므로, 프로세서(130)는 가상의 스캐닝 경로를 생성할 수 있다.
예시적으로, 스캐닝 경로 생성을 위해 프로세서(130)는 추출된 비전 이미지에 기초하여 대상 구조물에 대한 열 또는 행 별로 이미지 페어링을 수행할 수 있다. 이어서, 특징 추출 및 특징 매칭을 수행한 뒤, RANSAC 알고리즘을 통해 인라이어 특징만 남길 수 있다. 각 매칭은 스캐닝 경로에 따라 x 방향 또는 y 방향 매칭으로 구분할 수 있다. 이에 따라 프로세서(130)는 열과 행을 구분지어 1열(1st row), 2열(2nd row), ... 또는 1행(1st column), 2행(2nd column), ... 로서, 짝(Pair)을 만들어 스캐닝 경로를 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 루프 결합 생성 과정을 설명하기 위한 도면이다.
도시된 바와 같이 프로세서(130)는 이미지 페어링에 의해 구분된 각 열 또는 행 별 비전 이미지 간의 공간적 특성 매칭을 통해 루프 결합을 생성할 수 있다.
도 5(a)에 나타낸 것과 같이 열 별 데이터 순서대로 다음 열 데이터와의 특징 매칭을 통해 스캐닝 경로 외에 루프 결합을 생성할 수 있다. 결과로 도5(b)에 나타낸 것과 같이, ROI에 대한 루프 결합이 생성될 수 있다.
도 6은 본 발명의 일 실시예에 따른 메시 기반 이미지 스티칭 과정을 설명하기 위한 도면이다.
도시된 바와 같이 프로세서(130)는 루프 결합에 의한 연결관계가 있는 비전 이미지마다 메시(mesh)를 생성하고, 메시의 정점에 기초하여 복수의 비전 이미지를 변형하는 이미지 스티칭을 수행하여 대상 구조물의 ROI(Region of interest)에 대한 외관 조사망도를 생성할 수 있다.
예시적으로, 프로세서(130)는 루프 결합에 기반하여 각 연결관계가 있는 4개의 비전 이미지 간 호모그래피(Homography) 관계를 추정할 수 있다. 이어서 각 비전 이미지마다 메시를 생성할 수 있다. 다음으로 메시의 각 정점은 V로 정의되며, 다음 수학식1을 만족하는 변형된 정점
Figure pat00001
를 찾을 때까지 반복할 수 있다.
[수학식1]
Figure pat00002
여기서, Ψa(V)는 미스 얼라이먼트(Misalignment)를 해결하기 위한 얼라이먼트 텀(Alignment term)이고, λι는 스케일 팩터(Scale factor)이고, Ψι(V)는 왜곡도를 줄이기 위한 로컬 시밀러리티 텀(Local similarity term)이고, Ψg(V)는 결과의 부자연스러움(Unnatural)을 해결하기 위한 글로벌 시밀러리티 텀(Global similarity term)이다. 변형된 정점
Figure pat00003
를 통해 상응하는 이미지를 동일하게 변형하여 스티칭을 수행하면 스티치트 비전 이미지(Stitched vision image)를 얻는다.
도 7은 본 발명의 일 실시예에 따른 루프 결합 과정 미 적용시 나타나는 구조물 외관 조사망도의 결과를 도시한 도면이다.
도7에 도시된 바와 같이 본 발명의 일 실시예에 따른 루프 결합를 적용하지 않은 경우(W/O loop closure), 생성된 대상 구조물의 ROI에 대한 외관 조사망도는 불연속성(Discontinuity)과 모양 왜곡(Shape distortion) 등이 발생할 수 있다.
도 8은 본 발명의 일 실시예에 따른 콘트리트 시편을 테스트베드로 활용한 실험 셋업을 도시한 도면이다.
본 발명의 일 실시예에 따른 시스템은 무인체에 탑재된 비전 카메라로 구성된다. 조종자(Safety pilot)가 무인체에 신호를 보내면, 설계된 스캐닝 경로에 따라 스캐닝을 수행하며, 비전카메라로 데이터를 취득한다. 일 실시예로, 60 fps로 약 1분간 데이터를 취득하였으며, 촬영거리는 약 2m 내외에서 취득하였다.
도 9a및 도9b는 도8의 실험 셋업에 대한 이미지 페어링과 이에 따른 경로 생성 결과를 도시한 도면이다.
이후, 본 발명의 시스템(100)을 통해 취득된 데이터에 대해 SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features) 등 특징 추출 알고리즘을 통해 특징 추출 및 특징 매칭을 수행한 뒤, RANSAC 알고리즘을 통해 인라이어 특징만 남기면 도9a에 도시된 바와 같이 매칭 방향을 산출할 수 있다. 이에 따라 트렌드에 반대되는 y 방향 매칭이 있을 때, 각 열을 구분 지어 공간적 스캐닝 경로를 자동으로 생성할 수 있다. 도9b에 도시된 바와 같이 이미지 페어링에 따라 6개의 열로 분류된 이미지들을 확인할 수 있다. 이어서, 각 열 별로 특징 매칭을 수행하여 루프 결합을 생성할 수 있다.
도 10은 도8의 실험 셋업에 대한 루프 결합 과정 적용 여부를 설명하기 위한 도면이다.
이어서 생성된 루프 결합을 활용하여 메시 기반 디지털 이미지 스티칭을 수행할 수 있다. 실험적 검증을 위해 도 10(a)에 도시된 바와 같이 루프 결합을 적용하지 않고(w/o loop closure) 이미지 스티칭을 수행하였다. 즉, 도 10(a)에 나타낸 것과 같이 왜곡(Distortion) 발생으로 인해 크랙(Crack)이 제대로 나타나지 않고 중첩되어 나타나는 고스팅(Ghosting) 현상이 나타났으며, 시편 내 사물도 마찬가지로 고스팅 현상이 나타나는 것을 확인할 수 있다. 한편, 루프 결합을 적용한(w/ loop closure) 도 10(b)의 경우는 고스팅 현상이 없는 것을 확인할 수 있다.
도 11은 도10의 루프 결합 과정 적용 여부 비교 결과와 실험 셋업에 대한 원본 이미지를 도시한 도면이다.
도11을 참조하면 실제 원본 이미지와 비교해 보았을 때, 도 11(c)에 도시된 바와 같이 루프 결합이 있는 경우, 도 11(a)의 원본 이미지와 유사한 것을 확인할 수 있으나, 루프 결합이 없을 때, 도 11(b)에 도시된 바와 같이 블러가 상당히 발생한 것을 확인할 수 있다.
이에 대한 결과로서, 하기 표 1에 나타낸 것과 같이 대표적인 이미지 품질 평가(Image quality assessment) 지표인 PSNR(Peak Signal-to-Noise Ratio)와 SSIM(Structural Similarity Index Map) 모두 루프 결합이 있을 때 더 높은 수치를 달성한 것을 확인할 수 있다.
[표1]
Figure pat00004
이하에서는 도1 내지 도11에 도시된 구성 중 동일한 구성의 설명은 생략하도록 한다.
도 12는 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 방법의 순서도이다.
도시된 바와 같이 구조물 외관 조사망도 구축 시스템을 이용한 구조물 외관 조사망도 구축 방법은 비전 카메라(111)가 대상 구조물을 스캐닝한 데이터를 데이터 송수신 모듈을 통해 수신하고, 스캐닝한 데이터로부터 비전 카메라(111)의 시야각(FOV)에 해당하는 복수의 비전 이미지를 순차적으로 추출하는 단계(S110), 비전 이미지에 기초하여 대상 구조물에 대한 열 또는 행 별로 이미지 페어링를 수행하되, 특징 추출 및 특징 매칭과 인라이어 특징 선택에 따른 스캐닝 경로를 생성하는 단계(S120), 이미지 페어링에 의해 구분된 각 열 또는 행 별 비전 이미지 간의 공간적 특성 매칭을 통해 루프 결합을 생성하는 단계(S130), 및 루프 결합에 의한 연결관계가 있는 비전 이미지마다 메시(mesh)를 생성하고, 메시의 정점에 기초하여 복수의 비전 이미지를 변형하는 이미지 스티칭을 수행하여 대상 구조물의 ROI(Region of interest)에 대한 외관 조사망도를 생성하는 단계(S140)를 포함한다.
S130단계는 열 또는 행 별로 이미지에 대해 SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features) 등 특징 추출 알고리즘을 통해 특징 추출 및 특징 매칭을 수행하고, RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 인라이어 특징을 선택하여 매칭 방향을 산출한다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
100: 구조물 외관 조사망도 구축 시스템
110: 스캐닝 모듈
111: 비전 카메라
120: 데이터 송수신 모듈
130: 프로세서
140: 메모리
150: 데이터베이스

Claims (6)

  1. 구조물 외관 조사망도 구축 시스템에 있어서,
    데이터 송수신 모듈;
    대상 구조물의 외관 조사망도 구축을 위한 루프 결합 기반의 디지털 이미지 스티칭 프로그램이 저장된 메모리;
    상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며, 상기 프로세서는 상기 프로그램의 실행에 의해, 비전 카메라가 상기 대상 구조물을 스캐닝한 데이터를 상기 데이터 송수신 모듈을 통해 수신하고, 상기 스캐닝한 데이터로부터 상기 비전 카메라의 시야각(FOV)에 해당하는 복수의 비전 이미지를 순차적으로 추출하고,
    상기 비전 이미지에 기초하여 상기 대상 구조물에 대한 열 또는 행 별로 이미지 페어링를 수행하되, 특징 추출 및 특징 매칭과 인라이어 특징 선택에 따른 스캐닝 경로를 생성하고,
    상기 이미지 페어링에 의해 구분된 각 열 또는 행 별 상기 비전 이미지 간의 공간적 특성 매칭을 통해 루프 결합을 생성하고,
    상기 루프 결합에 의한 연결관계가 있는 상기 비전 이미지마다 메시(mesh)를 생성하고, 상기 메시의 정점에 기초하여 상기 복수의 비전 이미지를 변형하는 이미지 스티칭을 수행하여 상기 대상 구조물의 ROI(Region of interest)에 대한 외관 조사망도를 생성하는 것인, 구조물 외관 조사망도 구축 시스템.
  2. 제1항에 있어서,
    상기 프로세서는
    상기 이미지 페어링을 수행하는 경우,
    상기 열 또는 행 별로 상기 이미지에 대해 SIFT(Scale-Invariant Feature Transform) 또는 SURF(Speeded Up Robust Features)을 포함하는 특징 추출 알고리즘을 통해 특징 추출 및 특징 매칭을 수행하고,
    RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 인라이어 특징을 선택하여 매칭 방향을 산출하는 것인, 구조물 외관 조사망도 구축 시스템.
  3. 제1항에 있어서,
    상기 이미지 스티칭은 다음의 수학식 1에 따라 상기 메시의 정점을 변형하는 것인, 구조물 외관 조사망도 구축 시스템.
    [수학식1]
    Figure pat00005

    여기서, Ψa(V)는 미스 얼라이먼트(Misalignment)를 해결하기 위한 얼라이먼트 텀(Alignment term)이고, λι는 스케일 팩터(Scale factor)이고, Ψι(V)는 왜곡도를 줄이기 위한 로컬 시밀러리티 텀(Local similarity term)이고, Ψg(V)는 결과의 부자연스러움(Unnatural)을 해결하기 위한 글로벌 시밀러리티 텀(Global similarity term)이다.
  4. 구조물 외관 조사망도 구축 시스템을 이용한 구조물 외관 조사망도 구축 방법에 있어서,
    (a) 비전 카메라가 대상 구조물을 스캐닝한 데이터를 데이터 송수신 모듈을 통해 수신하고, 상기 스캐닝한 데이터로부터 상기 비전 카메라의 시야각(FOV)에 해당하는 복수의 비전 이미지를 순차적으로 추출하는 단계,
    (b) 상기 비전 이미지에 기초하여 상기 대상 구조물에 대한 열 또는 행 별로 이미지 페어링를 수행하되, 특징 추출 및 특징 매칭과 인라이어 특징 선택에 따른 스캐닝 경로를 생성하는 단계,
    (c)상기 이미지 페어링에 의해 구분된 각 열 또는 행 별 상기 비전 이미지 간의 공간적 특성 매칭을 통해 루프 결합을 생성하는 단계, 및
    (d) 상기 루프 결합에 의한 연결관계가 있는 상기 비전 이미지마다 메시(mesh)를 생성하고, 상기 메시의 정점에 기초하여 상기 복수의 비전 이미지를 변형하는 이미지 스티칭을 수행하여 상기 대상 구조물의 ROI(Region of interest)에 대한 외관 조사망도를 생성하는 단계를 포함하는, 구조물 외관 조사망도 구축 방법.
  5. 제 4항에 있어서,
    상기 (c) 단계는
    상기 열 또는 행 별로 상기 이미지에 대해 SIFT(Scale-Invariant Feature Transform) 또는 SURF(Speeded Up Robust Features)를 포함하는 특징 추출 알고리즘을 통해 특징 추출 및 특징 매칭을 수행하고,
    RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 인라이어 특징을 선택하여 매칭 방향을 산출하는 것인, 구조물 외관 조사망도 구축 방법.
  6. 제 4항에 있어서,
    상기 이미지 스티칭은 다음의 수학식 1에 따라 상기 메시의 정점을 변형하는 것인, 구조물 외관 조사망도 구축 방법.
    [수학식1]
    Figure pat00006

    여기서, Ψa(V)는 미스 얼라이먼트(Misalignment)를 해결하기 위한 얼라이먼트 텀(Alignment term)이고, λι는 스케일 팩터(Scale factor)이고, Ψι(V)는 왜곡도를 줄이기 위한 로컬 시밀러리티 텀(Local similarity term)이고, Ψg(V)는 결과의 부자연스러움(Unnatural)을 해결하기 위한 글로벌 시밀러리티 텀(Global similarity term)이다.
KR1020200122543A 2020-09-22 2020-09-22 구조물 외관 조사망도 구축 시스템 및 방법 KR102476701B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200122543A KR102476701B1 (ko) 2020-09-22 2020-09-22 구조물 외관 조사망도 구축 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200122543A KR102476701B1 (ko) 2020-09-22 2020-09-22 구조물 외관 조사망도 구축 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220039450A true KR20220039450A (ko) 2022-03-29
KR102476701B1 KR102476701B1 (ko) 2022-12-12

Family

ID=80995969

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200122543A KR102476701B1 (ko) 2020-09-22 2020-09-22 구조물 외관 조사망도 구축 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102476701B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101723536B1 (ko) * 2015-11-19 2017-04-05 고려대학교 산학협력단 도로에서의 차선 검출 방법 및 장치
KR20170097670A (ko) 2014-12-03 2017-08-28 후아웨이 테크놀로지즈 뒤셀도르프 게엠베하 프리앰블 코딩으로 랜덤 액세스를 우선순위화하는 방법
KR101885728B1 (ko) * 2017-05-19 2018-08-06 이화여자대학교 산학협력단 영상 스티칭 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
KR101990491B1 (ko) * 2017-08-03 2019-06-20 (주)아이피티브이코리아 초고해상도 영상 스티칭 방법 및 시스템
KR102037893B1 (ko) * 2019-07-05 2019-11-26 세종대학교산학협력단 디지털 외관조사망도 구축 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170097670A (ko) 2014-12-03 2017-08-28 후아웨이 테크놀로지즈 뒤셀도르프 게엠베하 프리앰블 코딩으로 랜덤 액세스를 우선순위화하는 방법
KR101723536B1 (ko) * 2015-11-19 2017-04-05 고려대학교 산학협력단 도로에서의 차선 검출 방법 및 장치
KR101885728B1 (ko) * 2017-05-19 2018-08-06 이화여자대학교 산학협력단 영상 스티칭 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
KR101990491B1 (ko) * 2017-08-03 2019-06-20 (주)아이피티브이코리아 초고해상도 영상 스티칭 방법 및 시스템
KR102037893B1 (ko) * 2019-07-05 2019-11-26 세종대학교산학협력단 디지털 외관조사망도 구축 시스템 및 방법

Also Published As

Publication number Publication date
KR102476701B1 (ko) 2022-12-12

Similar Documents

Publication Publication Date Title
Bang et al. UAV-based automatic generation of high-resolution panorama at a construction site with a focus on preprocessing for image stitching
Shariq et al. Revolutionising building inspection techniques to meet large-scale energy demands: A review of the state-of-the-art
JP6733267B2 (ja) 情報処理プログラム、情報処理方法および情報処理装置
US20200177866A1 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
WO2019111976A1 (ja) 対象物検出装置、予測モデル作成装置、対象物検出方法及びプログラム
WO2021098567A1 (zh) 生成带深度信息的全景图的方法、装置及存储介质
KR102481896B1 (ko) 이미지 스티칭을 이용한 구조물 외관 조사망도 구축 시스템 및 방법
KR102248459B1 (ko) 카메라 캘리브레이션 장치 및 방법
US11915411B2 (en) Structure management device, structure management method, and structure management program
CN110998655A (zh) 损伤图创建方法、损伤图创建装置、损伤图创建系统及记录介质
JP2019032218A (ja) 位置情報記録方法および装置
CN103546678A (zh) 用于校正后置摄像机的图像畸变的装置和方法
CN112381847A (zh) 管路端头空间位姿测量方法及系统
JP3618649B2 (ja) 不定形窓を用いた画像間拡張イメージマッチング方法
US11423511B2 (en) Image composition method, image composition device, and recording medium
CN114339185A (zh) 用于车辆相机图像的图像彩色化
KR20110089299A (ko) 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체
Shah et al. Condition assessment of ship structure using robot assisted 3D-reconstruction
CN114372919A (zh) 一种双挂汽车列车全景环视图像拼接方法及系统
CN107941241B (zh) 一种用于航空摄影测量质量评价的分辨率板及其使用方法
CN110349209A (zh) 基于双目视觉的振捣棒定位方法
US20180114293A1 (en) Large scale image mosaic construction for agricultural applications
KR102476701B1 (ko) 구조물 외관 조사망도 구축 시스템 및 방법
CN111445513A (zh) 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant