KR20220093492A - 이미지 스티칭을 이용한 구조물 외관 조사망도 구축 시스템 및 방법 - Google Patents

이미지 스티칭을 이용한 구조물 외관 조사망도 구축 시스템 및 방법 Download PDF

Info

Publication number
KR20220093492A
KR20220093492A KR1020200184244A KR20200184244A KR20220093492A KR 20220093492 A KR20220093492 A KR 20220093492A KR 1020200184244 A KR1020200184244 A KR 1020200184244A KR 20200184244 A KR20200184244 A KR 20200184244A KR 20220093492 A KR20220093492 A KR 20220093492A
Authority
KR
South Korea
Prior art keywords
image data
image
survey network
matching
depth value
Prior art date
Application number
KR1020200184244A
Other languages
English (en)
Other versions
KR102481896B1 (ko
Inventor
안윤규
강명수
장근영
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020200184244A priority Critical patent/KR102481896B1/ko
Publication of KR20220093492A publication Critical patent/KR20220093492A/ko
Application granted granted Critical
Publication of KR102481896B1 publication Critical patent/KR102481896B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G01C11/10—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken using computers to control the position of the pictures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/30—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/32—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring the deformation in a solid
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • B64C2201/127—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 측면에 따른 구조물 외관 조사망도 구축 시스템은 데이터 송수신 모듈; 대상 구조물의 외관 조사망도 구축 프로그램이 저장된 메모리; 및 상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 이때, 외관 조사망도 구축 프로그램은, 비전 카메라가 상기 대상 구조물을 스캐닝한 이미지 데이터를 상기 데이터 송수신 모듈을 통해 수신하고, 이미지 데이터를 기계 학습 모듈에 입력하여 각 이미지 데이터의 깊이 값을 산출하고, 각 이미지 데이터의 깊이 값에 기초하여 상기 대상 구조물 주변의 배경 영역을 제거하고, 상기 배경 영역이 제거된 이미지 데이터에 대하여 서로 유사한 특징을 갖는 특징점을 서로 매칭하여 이미지 스티칭을 수행한다.

Description

이미지 스티칭을 이용한 구조물 외관 조사망도 구축 시스템 및 방법{SYSTEM AND METHOD FOR ESTABLISHING STRUCTURAL EXTERIOR MAP USING IMAGE STITCHING}
본 발명은 이미지 스티칭을 이용한 구조물 외관 조사망도 구축 시스템 및 방법에 관한 것으로, 보다 상세하게는 대상 구조물에 대하여 비전 카메라를 탑재한 무인체를 통해 이미지 데이터를 취득하고, 취득된 데이터에 이미지 스티칭 알고리즘을 적용하여 구조물 외관 조사망도를 구축하는 시스템 및 방법에 관한 것이다.
구조물은 건설된 이후에 시간이 지남에 따라 노후화가 진행되므로, 구조물의 노화 상태를 파악하기 위해 안전하고 신뢰도 있는 검사 방법이 필요하다. 구조물의 상태를 육안으로 검사하는 방법은 전문가가 직접 대상 구조물에 접근하여 균열의 치수를 재는 것으로서, 균열 평가에 있어 사람의 주관이 개입되기 때문에 다른 검사 방법에 비해 신뢰도가 떨어지며, 구조물에 따라 접근이 불가한 경우가 발생할 수 있어 균열 평가가 어렵고 번거롭다.
한편, 비전 카메라를 이용한 영상을 촬영하여 대상 구조물의 손상을 평가하는 방법은, 카메라의 성능에 따라 미세 균열의 경우 근접 촬영이 필수적으로 수반되어야 하며, 카메라의 FOV(Field of view)의 한계로 인해 대형 구조물의 전반적인 평가가 어려워 대부분 국부 손상 검색에 국한되기도 한다.
이와 같은, 구조물의 근접 촬영이 극단적으로 반복되는 경우에는 대상체가 되는 구조물을 제외한 배경 이미지에 의하여, 왜곡된 외관 조사망도가 구축될 위험성이 높다.
본 발명에서는 이러한 문제점을 해결하기 위하여, 촬영된 이미지에서 배경 이미지를 효과적으로 제거할 수 있는 외관 조사망도 구축 시스템 및 방법을 제안하는 것을 목적으로 한다.
대한민국 공개특허공보 제10-2017-0097670호 (발명의 명칭: 비행체를 이용한 콘크리트 구조물 외곽 균열 탐지 시스템)
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 비전 카메라를 통해 수집된 이미지 데이터에서 배경 영역을 제거하고, 배경 영역이 제거된 이미지들을 이미지 스티칭하여 외관 조사망도를 구축하는 구조물 외관 조사망도 구축 시스템 및 방법을 제공하는데 목적이 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 구조물 외관 조사망도 구축 시스템은 데이터 송수신 모듈; 대상 구조물의 외관 조사망도 구축 프로그램이 저장된 메모리; 및 상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 이때, 외관 조사망도 구축 프로그램은, 비전 카메라가 상기 대상 구조물을 스캐닝한 이미지 데이터를 상기 데이터 송수신 모듈을 통해 수신하고, 이미지 데이터를 기계 학습 모듈에 입력하여 각 이미지 데이터의 깊이 값을 산출하고, 각 이미지 데이터의 깊이 값에 기초하여 상기 대상 구조물 주변의 배경 영역을 제거하고, 상기 배경 영역이 제거된 이미지 데이터에 대하여 서로 유사한 특징을 갖는 특징점을 서로 매칭하여 이미지 스티칭을 수행한다.
또한, 본 발명의 다른 측면에 따른 구조물 외관 조사망도 구축 시스템을 이용한 구조물 외관 조사망도 구축 방법은, (a) 비전 카메라가 대상 구조물을 스캐닝한 이미지 데이터를 데이터 송수신 모듈을 통해 수신하는 단계; (b) 상기 수신한 이미지 데이터를 기계 학습 모듈에 입력하여 각 이미지 데이터의 깊이 값을 산출하는 단계; (c) 각 이미지 데이터의 깊이 값에 기초하여 상기 대상 구조물 주변의 배경 영역을 제거하는 단계; 및 (d) 상기 배경 영역이 제거된 이미지 데이터에 대하여 서로 유사한 특징을 갖는 특징점을 서로 매칭하여 이미지 스티칭을 수행하는 단계를 포함한다.
전술한 본원의 과제 해결 수단에 의하면, 본 발명의 일 실시예에 구조물 외관 조사망도 구축 시스템은 비전 카메라를 통해 비파괴, 비접촉으로 데이터를 취득할 수 있고, 취득된 데이터로부터 깊이 값을 추출한 후 이를 이용하여 배경 이미지를 제거함으로써, 이미지 스티칭 과정에 발생할 수 있는 오류를 최소화할 수 있다.
또한, 이미지의 관심 영역외에 배경 영역을 제거하고 이미지 스티칭을 수행하므로, 스티칭 성능을 향상시킴은 물론 데이터 저장공간 및 연산 시간을 현저히 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 시스템의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 시스템을 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 과정에서 배경 영역을 제거하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 이미지 스티칭 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 메시 기반 이미지 스티칭 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 방법을 적용한 실험 이미지를 도시한 도면이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 시스템의 구성을 도시한 블록도이다.
도시된 바와 같이 구조물 외관 조사망도 구축 시스템(100)은 스캐닝 모듈(110), 데이터 송수신 모듈(120), 프로세서(130), 메모리(140) 및 데이터베이스(150)를 포함할 수 있다.
스캐닝 모듈(110)은 대상 구조물의 영상을 스캐닝 하는 모듈이며, 비전 카메라(111)와 같은 다양한 카메라를 포함할 수 있다. 스캐닝 모듈(110)은 대상 구조물을 스캐닝하기 위해 무인체, 클라이밍 로봇, 드론 등의 부착형 무인체에 탑재되어 사용될 수 있다.
데이터 송수신 모듈(120)은 스캐닝 모듈(110)과 설정된 통신 포맷으로 통신하여 스캐닝 모듈(110)에서 스캐닝한 데이터 등을 송수신할 수 있다. 또한 데이터 송수신 모듈(120)은 각종 외부 장치(서버 또는 단말) 로부터 구조물 외관 조사망도 구축 프로그램 등의 업데이트 정보 등을 수신하여 프로세서(130)로 전송할 수 있다.
데이터 송수신 모듈(120)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
프로세서(130)는 메모리(140)에 저장된 프로그램을 실행하되, 구조물 외관 조사망도 구축 프로그램의 실행에 따라 다음과 같은 처리를 수행한다.
프로세서(130)는 비전 카메라(111)가 대상 구조물을 스캐닝한 이미지 데이터를 데이터 송수신 모듈(120)을 통해 수신하고, 이미지 데이터를 기계 학습 모델에 입력하여 각 이미지 데이터의 깊이 값을 산출하고, 각 이미지 데이터의 깊이 값에 기초하여 대상 구조물 주변의 배경 영역을 제거하고, 배경 영역이 제거된 이미지 데이터에 대하여 서로 유사한 특징을 갖는 특징점을 서로 매칭하여 이미지 스티칭을 수행한다.
이러한 프로세서(130)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이 크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
메모리(140)에는 대상 구조물의 구조물 외관 조사망도 구축 프로그램이 저장된다. 이러한 메모리(140)에는 구조물 외관 조사망도 구축 시스템(100)의 구동을 위한 운영 체제나 구조물 외관 조사망도 구축 프로그램의 실행 과정에서 발생되는 여러 종류가 데이터가 저장된다.
이때, 메모리(140)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.
또한, 메모리(140)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(140)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(150)는 프로세서(130)의 제어에 따라, 구조물 외관 조사망도 구축 시스템에 필요한 데이터를 저장 또는 제공한다. 이러한 데이터베이스(150)는 메모리(140)와는 별도의 구성 요소로서 포함되거나, 또는 메모리(140)의 일부 영역에 구축될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 시스템을 설명하기 위한 개념도이고, 도 3은 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 방법을 설명하기 위한 순서도이다.
메모리(140)에 저장된 구조물 외관 조사망도 구축 프로그램에 의해 수행되는 구조물 외관 조사망도 구축 방법을 살펴보기로 한다.
먼저, 구조물 외관 조사망도 구축 시스템(100)은 비전 카메라가 대상 구조물을 스캐닝한 이미지 데이터를 데이터 송수신 모듈을 통해 수신한다(S310).
이를 위해, 구조물 외관 조사망도 구축 프로그램은 비전 카메라를 장착한 무인체(UAV)로부터 촬영된 이미지 데이터를 수신한다. 한편, 구조물 외관 조사망도 구축 시스템(100)은 무인체(UAV)의 동작을 직접 제어할 수 있으며, 이를 통해 대상 구조물의 근접거리에서 표면을 누락영역 없이 스캐닝하여 데이터를 취득하도록 한다. 이때 취득 데이터는 영상 또는 스냅샷(비전 이미지)을 모두 포함한다.
다음으로, 수신한 이미지 데이터를 기계 학습 모델에 입력하여 각 이미지 데이터의 깊이 값을 산출한다(S320).
이때, 기계 학습 모델은 딥러닝 네트워크를 기반으로 구축된 것이다. 테스트를 위해 U-Net 기반의 Monodepth2 네트워크를 사용하였으며, KITTI 데이터셋을 이용해 학습을 진행하였다. 이와 같은 기계 학습 모델을 통해, 이미지 내에서 상대적으로 깊이가 평가되며, 대상 구조물과 배경의 경계에서 급격한 깊이 값의 변화가 발생함을 확인할 수 있었다. 따라서, 이러한 깊이 값의 변화를 기울기의 크기로 계산하여 구조물과 배경의 경계를 산출할 수 있다.
다음으로, 각 이미지 데이터에서 산출된 구조물과 배경의 경계에 기초하여 상기 대상 구조물 주변의 배경 영역을 제거한다(S330).
도 4는 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 과정에서 배경 영역을 제거하는 과정을 설명하기 위한 도면이다.
앞서 기계 학습 모델을 통해 산출한 각 이미지 데이터의 깊이 값에 기초하여 기울기 크기를 산출한 기울기 크기 맵을 생성한다.
깊이 값은 대상 구조물과 배경의 경계에서 가장 큰 변화가 발생하고, 이에 따라 기울기의 크기도 커지며 다음 수학식에 따라 x축과 y축에 대한 미분 방적식을 이용하여 기울기(gradient, G)의 크기를 특정할 수 있다.
[수학식 1]
Figure pat00001
이때, Id는 이미지 데이터 I의 깊이 이미지를 나타낸다.
다음으로, 기울기 크기 맵에 대하여 이진화 처리를 수행하는데, 이진화 처리를 위해 종래 알려진 Otsu 기법을 사용할 수 있다.
다음으로, 이진화 처리 수행 결과 중 연속된 픽셀의 개수가 가장 많은 픽셀 집합을 선정하여 노이즈를 제거한다. 도시된 바와 같이, 연속된 픽셀로 이루어진 픽셀 집합이 여러 개 잔류할 수 있는데, 그 중 연속된 픽셀 개수가 가장 많은 집합을 경계로 결정하고, 나머지는 노이즈로 판단한다. 이 때, 추출된 픽셀 집합의 길이가 이미지의 높이보다 작을 수 있기 때문에, 1차원 보간을 수행하여 픽셀 집합이 이미지를 양분하도록 경계 값을 증강시킬 수 있다.
다음으로, 선정된 픽셀 집합을 기준으로 이미지 데이터 중 배경 영역을 제거한다. 이때, 앞서 결정된 경계값에서 깊이 값이 큰 값에서 작은 값으로 변화할때, 깊이가 작은 값에 있는 영역이 카메라에서 멀리 떨어진 배경 영역에 해당하여 제거된다.
다시 도 3을 참조하면, 배경 영역이 제거된 이미지 데이터에 대하여 서로 유사한 특징을 갖는 특징점을 서로 매칭하여 이미지 스티칭을 수행한다(S340).
도 5는 본 발명의 일 실시예에 따른 이미지 스티칭 과정을 설명하기 위한 도면이다.
본 발명에서는 서로 인접한 이미지의 특징점을 추출하고, 유사한 특징점을 매칭시켜 복수의 매칭 벡터를 생성한 후 매칭 벡터를 이용하여 최적으로 매칭될 수 있는 이미지를 선택한다.
이를 위해, 도 5에 도시된 바와 같이, SIFT (Scale Invariant Feature Transform) 기법을 이용하여 각 이미지로부터 특징점을 추출한 후 초기 매칭을 수행한다. 일치하는 두 특징점 간의 매칭들을 벡터로 환산하고 매칭 벡터들의 각도와 크기 를 산출 했을 때 최빈값을 기준으로 필터링을 수행하여, 인라이어(Inlier) 매칭 벡터들을 추출한다. 그림에 도시된 바와 같이, 스캐닝 방향에 따라 인라이어 벡터는 서로 x축 또는 y축에 나란하게 되며, 벡터의 각도와 스캐닝 방향축 간의 각도 차이는 0에 가까우며, 매칭 벡터 크기의 최빈값에 가까운 매칭 벡터들이 인라이어 벡터에 해당하게 된다.
이후, 잔류하는 인라이어 벡터의 개수와 전체 매칭 벡터의 개수에 기초하여 서로 스티칭할 최적 이미지를 선택한다. 이 과정을 보다 구체적으로 살펴보면 다음과 같다.
먼저, 초기에 생성된 전체 매칭 벡터의 개수와 필터링을 통해 잔류하는 인라이어 매칭 백터의 개수의 비율을 이용하여 스티칭에 적합한 이미지 중첩도를 산출한다.
양 이미지가 충분히 중첩되어 있는 올바른 이미지 조합인지에 대한 여부는 m∈{0. 1}, i 번째 특징점 매칭이 인라이어 매칭 벡터인지이의 여부는 f(i)∈{0, 1}의 독립적인 베르누이 확률로서, 수학식 2와 같이 가정할 수 있다.
[수학식 2]
Figure pat00002
이때, ni는 인라이어 매칭 벡터의 개수이고, nf는 초기 매칭 벡터의 개수이고, P1은 특징점 매칭이 올바른 이미지 조합의 인라이어 벡터일 확률이고, P0는 특징점 매칭이 잘못된 이미지 조합의 인라이어 벡터일 확률을 나타낸다.
이때, 이미지 중첩도의 적합성 판단을 위한 확률모델은 베이즈 룰(Bayes' rule)에 의해 수학식 3과 같이 설정할 수 있다.
[수학식 3]
Figure pat00003
이때, α와 β는 실험적으로 산출된 파라미터로서, 본 발명의 실험에서는 각각 8과 0.3으로 설정하였으나, 이러한 수치는 예시적인 것으로서, 본 발명의 구성을 제한하지 않는다.
연속된 이미지 중 첫 번째 이미지를 기준으로 순차적으로 다음 이미지와의 특징점을 매칭한 후, 확률 모델을 만족하는 이미지 중 마지막 이미지를 최적 이미지로 선택하며, 선택된 이미지와의 중첩도를 다음 수학식 4와 같이 산출할 수 있다.
[수학식 4]
Figure pat00004
H, W는 이미지의 높이와 너비를 각각 나타내고, μ와
Figure pat00005
는 각각, x 와 y 방향으로의 변위의 크기를 나타낸다.
이후, 선택된 최적 이미지를 기준으로 다시 다음 이미지와의 특징점을 추출 및 매칭하여 중첩도를 만족하는 이미지를 선택하는 과정을 반복함으로써, 전체 이미지 데이터 중 이미지 스티칭에 적합한 최적 이미지를 결정할 수 있다.
한편, 이미지 스티칭에 적합한 이미지를 결정한후 바로 이미지 스티칭을 수행하지 않고, 메시를 이용하여 이미지 스티칭을 수행하는 과정을 수행할 수 있다.
도 6은 본 발명의 일 실시예에 따른 메시 기반 이미지 스티칭 과정을 설명하기 위한 도면이다.
도시된 바와 같이 프로세서(130)는 스티칭 대상이 되는 이미지마다 메시(mesh)를 생성하고, 메시의 정점에 기초하여 복수의 비전 이미지를 변형하는 이미지 스티칭을 수행하여 대상 구조물의 ROI(Region of interest)에 대한 외관 조사망도를 생성할 수 있다.
예시적으로, 프로세서(130)는 비전 이미지 간 호모그래피(Homography) 관계를 추정할 수 있다. 이어서 각 비전 이미지마다 메시를 생성할 수 있다. 다음으로 메시의 각 정점은 V로 정의되며, 다음 수학식1을 만족하는 변형된 정점
Figure pat00006
를 찾을 때까지 반복할 수 있다.
[수학식5]
Figure pat00007
여기서, Ψa(V)는 미스 얼라이먼트(Misalignment)를 해결하기 위한 얼라이먼트 텀(Alignment term)이고, λι는 스케일 팩터(Scale factor)이고, Ψι(V)는 왜곡도를 줄이기 위한 로컬 시밀러리티 텀(Local similarity term)이고, Ψg(V)는 결과의 부자연스러움(Unnatural)을 해결하기 위한 글로벌 시밀러리티 텀(Global similarity term)이다. 변형된 메시지의 정점
Figure pat00008
(vertices)를 통해 상응하는 이미지를 동일하게 변형하여 스티칭을 수행하면 스티치트 비전 이미지(Stitched vision image)를 획득할 수 있다.
이와 같이 획득된 이미지들을 중심으로 대상 구조물에 대한 외관 조사망도를 구축할 수 있다.
도 7은 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 방법을 적용한 실험 이미지를 도시한 도면이다.
(a)는 배경이 제거되지 않은 이미지를 이용해 이미지 스티칭을 수행한 결과를 나타내는 것으로서, 심각한 스티칭 왜곡이 발생한 것을 확인할 수 있다.
(b)는 배경이 제거된 이미지를 사용하여 이미지 스티칭을 수행한 결과를 나타내고 있으며, 구조물의 외관이 내부 및 외부 왜곡없이 정확하게 합성되었음을 확인할 수 있다. 따라서 제안된 알고리즘은 구조물의 근접 스캐닝으로부터 취득된 이미지들을 이용한 이미지 스티칭의 정확도 향상 뿐만 아니라 전체 1410 장의 이미지 중 20 장, 단 1.42 %의 이미지만을 사용하여 구조물의 정확한 외관 디지털 모델을 구축할 수 있는 기술이다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
100: 구조물 외관 조사망도 구축 시스템
110: 스캐닝 모듈
111: 비전 카메라
120: 데이터 송수신 모듈
130: 프로세서
140: 메모리
150: 데이터베이스

Claims (8)

  1. 구조물 외관 조사망도 구축 시스템에 있어서,
    데이터 송수신 모듈;
    대상 구조물의 외관 조사망도 구축 프로그램이 저장된 메모리; 및
    상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며,
    상기 외관 조사망도 구축 프로그램은, 비전 카메라가 상기 대상 구조물을 스캐닝한 이미지 데이터를 상기 데이터 송수신 모듈을 통해 수신하고, 이미지 데이터를 기계 학습 모델에 입력하여 각 이미지 데이터의 깊이 값을 산출하고, 각 이미지 데이터의 깊이 값에 기초하여 상기 대상 구조물 주변의 배경 영역을 제거하고, 상기 배경 영역이 제거된 이미지 데이터에 대하여 서로 유사한 특징을 갖는 특징점을 서로 매칭하여 이미지 스티칭을 수행하는 것인, 구조물 외관 조사망도 구축 시스템.
  2. 제 1 항에 있어서,
    상기 외관 조사망도 구축 프로그램은,
    각 이미지 데이터의 깊이 값에 기초하여 기울기 크기를 산출한 기울기 크기 맵을 생성하고, 기울기 크기 맵에 대하여 이진화 처리를 수행하고, 이진화 처리 수행 결과 중 연속된 픽셀의 개수가 가장 많은 픽셀 집합을 선정하여 노이즈를 제거하고, 상기 선정된 픽셀 집합을 기준으로 상기 이미지 데이터 중 배경 영역을 제거하는 것인, 구조물 외관 조사망도 구축 시스템.
  3. 제 1 항에 있어서,
    상기 외관 조사망도 구축 프로그램은
    서로 인접한 이미지의 특징점을 추출하고, 유사한 특징점을 매칭시켜 복수의 매칭 벡터를 생성하고, 매칭 벡터의 각도 및 크기를 기준으로 필터링을 수행한 후 잔류하는 인라이어 벡터의 개수와 전체 매칭 벡터의 개수에 기초하여 서로 스티칭할 최적 이미지를 선택하는 것인, 구조물 외관 조사망도 구축 시스템.
  4. 제 3 항에 있어서,
    상기 외관 조사망도 구축 프로그램은
    상기 선택된 서로 스티칭할 최적 이미지마다 메시(mesh)를 생성하고, 상기 메시의 정점에 기초하여 스티칭할 이미지를 변형하는 이미지 스티칭을 수행하는 것인, 구조물 외관 조사망도 구축 시스템.
  5. 구조물 외관 조사망도 구축 시스템을 이용한 구조물 외관 조사망도 구축 방법에 있어서,
    (a) 비전 카메라가 대상 구조물을 스캐닝한 이미지 데이터를 데이터 송수신 모듈을 통해 수신하는 단계;
    (b) 상기 수신한 이미지 데이터를 기계 학습 모델에 입력하여 각 이미지 데이터의 깊이 값을 산출하는 단계;
    (c) 각 이미지 데이터의 깊이 값에 기초하여 상기 대상 구조물 주변의 배경 영역을 제거하는 단계; 및
    (d) 상기 배경 영역이 제거된 이미지 데이터에 대하여 서로 유사한 특징을 갖는 특징점을 서로 매칭하여 이미지 스티칭을 수행하는 단계를 포함하는 구조물 외관 조사망도 구축 방법.
  6. 제 5 항에 있어서,
    상기 (c) 단계는,
    각 이미지 데이터의 깊이 값에 기초하여 기울기 크기를 산출한 기울기 크기 맵을 생성하는 단계,
    상기 기울기 크기 맵에 대하여 이진화 처리를 수행하는 단계,
    상기 이진화 처리 수행 결과 중 연속된 픽셀의 개수가 가장 많은 픽셀 집합을 선정하여 노이즈를 제거하는 단계 및
    상기 선정된 픽셀 집합을 기준으로 상기 이미지 데이터 중 배경 영역을 제거하는 단계를 포함하는 것인, 구조물 외관 조사망도 구축 방법.
  7. 제 5 항에 있어서,
    상기 (d) 단계는,
    서로 인접한 이미지의 특징점을 추출하고, 유사한 특징점을 매칭시켜 복수의 매칭 벡터를 생성하는 단계 및
    매칭 벡터의 각도 및 크기를 기준으로 필터링을 수행한 후 잔류하는 인라이어 벡터의 개수와 전체 매칭 벡터의 개수에 기초하여 서로 스티칭할 최적 이미지를 선택하는 단계를 포함하는 것인, 구조물 외관 조사망도 구축 방법.
  8. 제 7 항에 있어서,
    상기 (d) 단계는
    상기 선택된 서로 스티칭할 최적 이미지마다 메시(mesh)를 생성하고, 상기 메시의 정점에 기초하여 스티칭할 이미지를 변형하는 이미지 스티칭을 수행하는 것인, 구조물 외관 조사망도 구축 방법.
KR1020200184244A 2020-12-28 2020-12-28 이미지 스티칭을 이용한 구조물 외관 조사망도 구축 시스템 및 방법 KR102481896B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200184244A KR102481896B1 (ko) 2020-12-28 2020-12-28 이미지 스티칭을 이용한 구조물 외관 조사망도 구축 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200184244A KR102481896B1 (ko) 2020-12-28 2020-12-28 이미지 스티칭을 이용한 구조물 외관 조사망도 구축 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220093492A true KR20220093492A (ko) 2022-07-05
KR102481896B1 KR102481896B1 (ko) 2022-12-27

Family

ID=82402071

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200184244A KR102481896B1 (ko) 2020-12-28 2020-12-28 이미지 스티칭을 이용한 구조물 외관 조사망도 구축 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102481896B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102467590B1 (ko) * 2022-08-23 2022-11-17 (주)니어스랩 풍력발전기 점검을 위한 ai 기반 이미지 스티칭 장치 및 방법
KR102577483B1 (ko) * 2022-11-23 2023-09-13 주식회사 에프엠웍스 드론영상을 통한 건축물 외피 열화 손상에 대한 검사관리 시스템과 그에 따른 영상데이터 관리 방법
CN117593301A (zh) * 2024-01-18 2024-02-23 深圳市奥斯珂科技有限公司 基于机器视觉的内存条损伤快速检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170097670A (ko) 2014-12-03 2017-08-28 후아웨이 테크놀로지즈 뒤셀도르프 게엠베하 프리앰블 코딩으로 랜덤 액세스를 우선순위화하는 방법
KR101917622B1 (ko) * 2017-11-07 2018-11-13 (주)서경네트웍스 배경모델링 기법을 이용한 영상 내 누수 감지 방법
US20200286247A1 (en) * 2019-03-06 2020-09-10 Qualcomm Incorporated Radar-aided single image three-dimensional depth reconstruction
KR102190315B1 (ko) * 2020-01-07 2020-12-11 주식회사 에이아이스튜디오 제품 식별 방법 및 그 방법을 이용한 판매 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170097670A (ko) 2014-12-03 2017-08-28 후아웨이 테크놀로지즈 뒤셀도르프 게엠베하 프리앰블 코딩으로 랜덤 액세스를 우선순위화하는 방법
KR101917622B1 (ko) * 2017-11-07 2018-11-13 (주)서경네트웍스 배경모델링 기법을 이용한 영상 내 누수 감지 방법
US20200286247A1 (en) * 2019-03-06 2020-09-10 Qualcomm Incorporated Radar-aided single image three-dimensional depth reconstruction
KR102190315B1 (ko) * 2020-01-07 2020-12-11 주식회사 에이아이스튜디오 제품 식별 방법 및 그 방법을 이용한 판매 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102467590B1 (ko) * 2022-08-23 2022-11-17 (주)니어스랩 풍력발전기 점검을 위한 ai 기반 이미지 스티칭 장치 및 방법
KR102577483B1 (ko) * 2022-11-23 2023-09-13 주식회사 에프엠웍스 드론영상을 통한 건축물 외피 열화 손상에 대한 검사관리 시스템과 그에 따른 영상데이터 관리 방법
CN117593301A (zh) * 2024-01-18 2024-02-23 深圳市奥斯珂科技有限公司 基于机器视觉的内存条损伤快速检测方法及系统
CN117593301B (zh) * 2024-01-18 2024-04-30 深圳市奥斯珂科技有限公司 基于机器视觉的内存条损伤快速检测方法及系统

Also Published As

Publication number Publication date
KR102481896B1 (ko) 2022-12-27

Similar Documents

Publication Publication Date Title
KR102037893B1 (ko) 디지털 외관조사망도 구축 시스템 및 방법
KR102481896B1 (ko) 이미지 스티칭을 이용한 구조물 외관 조사망도 구축 시스템 및 방법
US11790272B2 (en) System and method for end-to-end-differentiable joint image refinement and perception
CN111582207B (zh) 图像处理方法、装置、电子设备及存储介质
CN111797650B (zh) 障碍物的识别方法、装置、计算机设备和存储介质
Li et al. DeepI2P: Image-to-point cloud registration via deep classification
Yang et al. Concrete defects inspection and 3D mapping using CityFlyer quadrotor robot
US10311595B2 (en) Image processing device and its control method, imaging apparatus, and storage medium
KR102157610B1 (ko) 초고해상도 디지털 이미지 생성을 통한 자동화 구조물 손상 검출 시스템 및 그 방법
CN109635714B (zh) 文档扫描图像的矫正方法及装置
WO2014203687A1 (ja) 画像処理方法、画像処理装置、および画像処理プログラム
WO2021108626A1 (en) System and method for correspondence map determination
KR20150114950A (ko) 이미지 스트림의 프레임 레이트 증가
JP2017130067A (ja) 衛星映像の位置正確度改善のための自動映像処理システム及びその方法
JP2020038550A (ja) ラインセンサカメラのキャリブレーション装置及び方法
Nouduri et al. Deep realistic novel view generation for city-scale aerial images
Li et al. Driver drowsiness behavior detection and analysis using vision-based multimodal features for driving safety
JP2006113832A (ja) ステレオ画像処理装置およびプログラム
JP4747293B2 (ja) 画像処理装置および画像処理方法並びにこれらに用いるプログラム
Zeng et al. TIMTAM: Tunnel-image texturally accorded mosaic for location refinement of underground vehicles with a single camera
US11551379B2 (en) Learning template representation libraries
CN115456870A (zh) 基于外参估计的多图像拼接方法
JP7101918B2 (ja) 画像検査装置および画像検査方法
KR101598399B1 (ko) 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템
KR102476701B1 (ko) 구조물 외관 조사망도 구축 시스템 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant