KR102541678B1 - 무인 비행체를 이용한 깊이 맵 기반의 디지털 외관 조사망도 구축 및 구조물 물량 산출 장치 및 방법 - Google Patents

무인 비행체를 이용한 깊이 맵 기반의 디지털 외관 조사망도 구축 및 구조물 물량 산출 장치 및 방법 Download PDF

Info

Publication number
KR102541678B1
KR102541678B1 KR1020210024342A KR20210024342A KR102541678B1 KR 102541678 B1 KR102541678 B1 KR 102541678B1 KR 1020210024342 A KR1020210024342 A KR 1020210024342A KR 20210024342 A KR20210024342 A KR 20210024342A KR 102541678 B1 KR102541678 B1 KR 102541678B1
Authority
KR
South Korea
Prior art keywords
depth map
image data
image
generating
survey network
Prior art date
Application number
KR1020210024342A
Other languages
English (en)
Other versions
KR20220120343A (ko
Inventor
안윤규
장근영
배현진
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020210024342A priority Critical patent/KR102541678B1/ko
Publication of KR20220120343A publication Critical patent/KR20220120343A/ko
Application granted granted Critical
Publication of KR102541678B1 publication Critical patent/KR102541678B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 측면에 따른 무인 비행체를 이용한 구조물 외관 조사망도 구축 방법은, (a) 상기 무인 비행체에 결합된 비전 카메라 및 거리 센서가 대상 구조물을 스캐닝하여 생성된 이미지 데이터 및 대상 구조물 까지의 거리 데이터를 수집하는 단계; (b) 각 이미지 데이터에 대하여 초기값으로서 생성된 기본 메쉬에 대하여 오정렬, 왜곡 또는 부자연스러움(unnatural)을 최소화하도록 하는 변형 메쉬를 생성하는 단계; (c) 상기 변형 메쉬와 상기 기본 메쉬 간에 서로 대응하는 각 폴리곤의 상대적 넓이의 비율을 나타내는 상대적 깊이 맵을 생성하는 단계; (d) 상기 상대적 깊이 맵의 각 폴리곤의 상대적 넓이의 비율에 대하여, 상기 대상 구조물 까지의 거리 데이터를 기초로 산출된 스케일 팩터를 각각 곱하여 각 이미지 데이터별 깊이 맵을 생성하는 단계; (e) 각 이미지 데이터별 깊이 맵을 통합한 전체 관심 영역에 대한 통합 깊이 맵을 생성하는 단계; (f) 상기 변형 메쉬에 따라 스티칭된 이미지 데이터에 대하여 손상을 검출하여 손상 형태 이미지를 생성하는 단계; 및 (g) 상기 통합 깊이 맵과 상기 손상 형태 이미지를 결합하여 최종 이미지를 생성하는 단계를 포함한다. 이와 같이 생성된 구조물 외관 조사망도를 이용하여 각 손상에 대한 보수물량을 산출할 수 있다.

Description

무인 비행체를 이용한 깊이 맵 기반의 디지털 외관 조사망도 구축 및 구조물 물량 산출 장치 및 방법{APPARATUS AND METHOD FOR ESTABLISHING DEPTH MAP BASED-DIGITAL EXTERIOR MAP ESTABLISHMENT AND STRUCTURAL DAMAGE QUANTIFICATION USING UAVs}
본 발명은 무인 비행체를 이용하여 수집한 이미지 데이터 및 대상 구조물까지의 거리 데이터를 이용하여 깊이 맵을 생성하고 이를 기반으로 대상 구조물의 외관 조사망도 구축 및 구조물 보수물량을 산출하는 장치 및 방법에 관한 것이다.
구조물은 건설된 이후에 시간이 지남에 따라 노후화가 진행되므로, 구조물의 노화 상태를 파악하기 위해 안전하고 신뢰도 있는 검사 방법이 필요하다. 구조물의 상태를 육안으로 검사하는 방법은 전문가가 직접 대상 구조물에 접근하여 균열의 치수를 재는 것으로서, 균열 평가에 있어 사람의 주관이 개입되기 때문에 다른 검사 방법에 비해 신뢰도가 떨어지며, 구조물에 따라 접근이 불가한 경우가 발생할 수 있어 균열 평가가 어렵고 번거롭다.
이러한 대형 구조물의 외관 조사망도 구축을 위해 드론과 같은 무인 비행체를 이용하여 영상을 촬영하고 대상 구조물의 손상을 평가하는 방법에 대한 연구가 이루어지고 있다.
다만, 무인 비행체에 결합된 비전 카메라를 활용한 데이터 취득 시, 이격거리 유지 및 자세 제어가 어려워 왜곡이 포함될 수 밖에 없다. 특히, 드론을 활용할 경우 현장 상황에 따라 촬영 거리 및 각도 유지 등 자세 제어가 어려우므로 드론의 촬영 자세를 고려한 보정이 필요하며, 이에 대한 해결책으로 아래 2가지 방법이 알려져 있다.
첫번째로는 기저 데이터(Reference data)를 활용하는 방법으로, 구조물의 표면에 실제 크기를 알고 있는 마커 등을 부착하여 이를 통해 픽셀 당 물리적 크기나 왜곡도 등을 고려하여 보정을 수행한다. 다만, 반드시 인력이 접근 가능한 구조물에만 적용 가능하며, 기저 데이터 부착 지점에 한하여 정밀 평가가 가능한 한계점이 있다.
두번째로는 비전 카메라의 위치를 추정하는 방법이 있다. 인력 또는 드론에 탑재한 비전 카메라의 포즈 추정을 바탕으로, 촬영 거리 및 각도 등의 파라미터를 산출하는 방법이다. 카메라 위치 추정 기법은 취득한 각각의 이미지 내의 특징을 이용하여 두 개 또는 다수의 영상으로부터 지오메트리를 추정하여 이미지를 보정하는 방법이다. 대형 시설물 진단을 위해 지오메트리를 고려하지 않고, 이미지 스티칭을 수행하면 앵글 왜곡 및 국부적인 정렬 왜곡이 발생할 가능성이 크다. 정량화 과정에는 특히 이와 같은 왜곡이 정량적 평가 수치에 에러를 유발하여 유지관리 등급의 신뢰도에 영향을 준다. 이와 함께, 정량화 과정에서 카메라 중심점에서 촬영거리를 측정하여 정량화 기법이 주로 활용되고 있으나, 정밀도 향상을 위해서는 앵글 및 촬영 거리에 따른 각기 다른 스케일 값을 부여해야 한다. 이에 대한 시도는 전무한 실정이다.
대한민국 공개특허공보 제10-2017-0097670호 (발명의 명칭: 비행체를 이용한 콘크리트 구조물 외곽 균열 탐지 시스템)
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 비전 카메라를 통해 수집된 이미지 데이터와 거리 센서를 통해 수집한 거리 데이터를 이용하여 무인 비행체의 촬영 자세에 따른 왜곡을 최소화할 수 있는 구조물 외관 조사망도 구축 장치 및 방법을 제공하는데 목적이 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 무인 비행체를 이용한 구조물 외관 조사망도 구축 방법은, (a) 상기 무인 비행체에 결합된 비전 카메라 및 거리 센서가 대상 구조물을 스캐닝하여 생성된 이미지 데이터 및 대상 구조물 까지의 거리 데이터를 수집하는 단계; (b) 각 이미지 데이터에 대하여 초기값으로서 생성된 기본 메쉬에 대하여 오정렬, 왜곡 또는 부자연스러움(unnatural)을 최소화하도록 하는 변형 메쉬를 생성하는 단계; (c) 상기 변형 메쉬와 상기 기본 메쉬 간에 서로 대응하는 각 폴리곤의 상대적 넓이의 비율을 나타내는 상대적 깊이 맵을 생성하는 단계; (d) 상기 상대적 깊이 맵의 각 폴리곤의 상대적 넓이의 비율에 대하여, 상기 대상 구조물 까지의 거리 데이터를 기초로 산출된 스케일 팩터를 각각 곱하여 각 이미지 데이터별 깊이 맵을 생성하는 단계; (e) 각 이미지 데이터별 깊이 맵을 통합한 전체 관심 영역에 대한 통합 깊이 맵을 생성하는 단계; (f) 상기 변형 메쉬에 따라 스티칭된 이미지 데이터에 대하여 손상을 검출하여 손상 형태 이미지를 생성하는 단계; 및 (g) 상기 통합 깊이 맵과 상기 손상 형태 이미지를 결합하여 최종 이미지를 생성하는 단계를 포함한다.
또한, 본 발명의 다른 측면에 구조물 외관 조사망도 구축 장치는 대상 구조물의 외관 조사망도 구축 프로그램이 저장된 메모리; 및 상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며, 상기 외관 조사망도 구축 프로그램은, 무인 비행체에 결합된 비전 카메라 및 거리 센서가 대상 구조물을 스캐닝하여 생성된 이미지 데이터 및 대상 구조물 까지의 거리 데이터를 수집하고, 각 이미지 데이터에 대하여 초기값으로서 생성된 기본 메쉬에 대하여 오정렬, 왜곡 또는 부자연스러움(unnatural)을 최소화하도록 하는 변형 메쉬를 생성하고, 상기 변형 메쉬와 상기 기본 메쉬 간에 서로 대응하는 각 폴리곤의 상대적 넓이의 비율을 나타내는 상대적 깊이 맵을 생성하고, 상기 상대적 깊이 맵의 각 폴리곤의 상대적 넓이의 비율에 대하여, 상기 대상 구조물 까지의 거리 데이터를 기초로 산출된 스케일 팩터를 각각 곱하여 각 이미지 데이터별 깊이 맵을 생성하고, 각 이미지 데이터별 깊이 맵을 통합한 전체 관심 영역에 대한 통합 깊이 맵을 생성하고, 상기 변형 메쉬에 따라 스티칭된 이미지 데이터에 대하여 손상을 검출하여 손상 형태 이미지를 생성하고, 상기 통합 깊이 맵과 상기 손상 형태 이미지를 결합하여 최종 이미지를 생성하는 것이다.
전술한 본원의 과제 해결 수단에 의하면, 본 발명의 일 실시예에 구조물 외관 조사망도 구축 장치는 비전 카메라를 통해 획득한 이미지 데이터 간 지오메트리를 고려한 비선형 이미지 스티칭을 수행하기 때문에, 무인 비행체의 촬영 자세에 따른 왜곡을 최소화할 수 있다.
특히, 무인 비행체의 촬영 자세를 고려한 변형 메쉬를 생성하고, 이를 이용하여 깊이 맵을 생성하므로, 촬영 영상의 자세를 복잡하게 추정하지 않고도 대상 구조물에 대한 정밀한 손상 검출과 정량화가 가능하다.
나아가 대형 시설물의 디지털 외관조사망도를 자동으로 구축하고, 그 보수 물량을 정밀하게 산출함으로써, 비용 및 인력, 시간 자원의 큰 절감 효과를 누릴 수 있으며, 외관조사망도의 객관성 및 신뢰성을 확보할 수 있다.
도 1은 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 시스템의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 시스템을 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 변형 메쉬 생성 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 통합 깊이 맵 생성 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 손상 정량화 처리를 도시한 개념도이다.
도 7 내지 도 10는 본 발명의 일 실시예에 따른 외관 조사망도 구축과정을 적용한 사례를 도시한 것이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 시스템의 구성을 도시한 블록도이다.
도시된 바와 같이 구조물 외관 조사망도 구축 시스템(10)은 서버(100) 및 무인 비행체(200)를 포함한다.
본 발명에서 제안하는 구조물 외관 조사망도 구축 장치는 서버(100) 또는 무인 비행체(200)의 형태로 구현될 수 있다. 첫번째 실시예로는 서버(100)가 외관 조사망도 구축 프로그램을 실행하여 무인 비행체(200)로부터 수신한 이미지 데이터 및 거리 데이터를 수집하고, 이를 이용하여 최종 이미지를 생성하는 동작을 수행할 수 있다. 두번째 실시예로는 무인 비행체(200)가 외관 조사망도 구축 프로그램을 실행하여 이미지 데이터 및 거리 데이터를 직접 수집하고, 이를 이용하여 최종 이미지를 생성하는 동작을 수행할 수 있다.
아래에서는 첫번째 실시예를 중심으로 발명을 설명하도록 한다.
서버(100)는 통신 모듈(110), 프로세서(130), 메모리(120) 및 데이터베이스(140)를 포함한다. 또한, 무인 비행체(200)는 비행을 위한 기본 수단으로서 본체와 구동부를 포함하고, 추가적으로 비전 카메라(210) 및 거리 센서(220), 프로세서(230), 메모리(240) 및 통신 모듈(250)을 포함한다.
통신 모듈(110)은 무인 비행체(200)의 통신 모듈(250)과 설정된 통신 포맷으로 통신하여 무인 비행체(200)가 비전 카메라(210)를 통해 획득한 이미지 데이터 및 거리 센서(220)를 통해 획득한 대상 구조물 까지의 거리 데이터를 수신한다. 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
프로세서(130)는 메모리(120)에 저장된 프로그램을 실행하되, 구조물 외관 조사망도 구축 프로그램의 실행에 따라 다음과 같은 처리를 수행한다.
프로세서(130)는 무인 비행체(200)에 결합된 비전 카메라(210) 및 거리 센서(220)가 대상 구조물을 스캐닝하여 생성된 이미지 데이터 및 대상 구조물 까지의 거리 데이터를 수집하고, 각 이미지 데이터에 대하여 초기값으로서 생성된 기본 메쉬에 대하여 오정렬, 왜곡 또는 부자연스러움(unnatural)을 최소화하도록 하는 변형 메쉬를 생성하고, 변형 메쉬와 기본 메쉬 간에 서로 대응하는 각 폴리곤의 상대적 넓이의 비율을 나타내는 상대적 깊이 맵을 생성하고, 상대적 깊이 맵의 각 폴리곤의 상대적 넓이의 비율에 대하여, 대상 구조물 까지의 거리 데이터를 기초로 산출된 스케일 팩터를 각각 곱하여 각 이미지 데이터별 깊이 맵을 생성하고, 각 이미지 데이터별 깊이 맵을 통합한 전체 관심 영역에 대한 통합 깊이 맵을 생성하고, 상기 변형 메쉬에 따라 스티칭된 이미지 데이터에 대하여 손상을 검출하여 손상 형태 이미지를 생성하고, 통합 깊이 맵과 손상 형태 이미지를 결합하여 최종 이미지를 생성한다.
이러한 프로세서(130)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
메모리(120)에는 대상 구조물의 구조물 외관 조사망도 구축 프로그램이 저장된다. 이러한 메모리(120)에는 서버(100)의 구동을 위한 운영 체제나 구조물 외관 조사망도 구축 프로그램의 실행 과정에서 발생되는 여러 종류가 데이터가 저장된다. 이때, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.
또한, 메모리(120)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(140)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(140)는 프로세서(130)의 제어에 따라, 구조물 외관 조사망도 구축 시스템에 필요한 데이터를 저장 또는 제공한다. 이러한 데이터베이스(140)는 메모리(120)와는 별도의 구성 요소로서 포함되거나, 또는 메모리(120)의 일부 영역에 구축될 수도 있다.
무인 비행체(200)는 비전 카메라(210)와 거리 센서(220)를 포함하며, 이를 통해 수집한 대상 구조물에 대한 이미지 데이터 및 대상 구조물까지의 거리 데이터를 서버(100)로 전송한다. 무인 비행체(200)의 프로세서(230)와 메모리(240)는 무인 비행체(200)의 구동을 위한 동작을 기본적으로 수행한다. 특히, 대상 구조물의 스캐닝을 위해 미리 설정된 이동 경로를 따라 이동하면서 스캐닝을 수행하게 된다. 또한, 프로세서(230)와 메모리(240)는 비전 카메라(210)와 거리 센서(220)를 통해 수집한 대상 구조물에 대한 이미지 데이터 및 대상 구조물까지의 거리 데이터를 서버(100)로 전송하는 기능을 수행한다. 다만, 두번째 실시예에서는 프로세서(230)와 메모리(240)가 외관 조사망도 구축 프로그램의 실행을 통해 이미지 데이터 및 거리 데이터를 직접 처리하여 최종 이미지를 생성할 수 있다.
한편, 거리 센서(220)로는 라이다 센서 또는 레이저 센서를 주로 사용할 수 있으나, 본 발명이 이에 제한되는 것은 아니며, 다른 센서를 통해 거리를 측정하는 것도 가능하다.
또한, 비전 카메라(210)와 거리 센서(220)가 물리적으로 융합된 융합 센서를 사용하는 것도 가능하다.
도 2는 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 시스템을 설명하기 위한 개념도이고, 도 3은 본 발명의 일 실시예에 따른 구조물 외관 조사망도 구축 방법을 설명하기 위한 순서도이고, 도 4는 본 발명의 일 실시예에 따른 변형 메쉬 생성 과정을 설명하기 위한 도면이고, 도 5는 본 발명의 일 실시예에 따른 통합 깊이 맵 생성 과정을 설명하기 위한 도면이다.
메모리(120)에 저장된 구조물 외관 조사망도 구축 프로그램에 의해 수행되는 구조물 외관 조사망도 구축 방법을 살펴보기로 한다.
먼저, 무인 비행체(200)에 결합된 비전 카메라(210) 및 거리 센서(220)가 대상 구조물을 스캐닝하여 생성된 이미지 데이터 및 대상 구조물까지의 거리 데이터를 수집한다(S310). 대상 구조물의 전체 면적을 고려할 때, 무인 비행체(200)가 도 2에 도시된 바와 같이, 수직 또는 수평방향으로 이동하면서 복수의 이미지 데이터를 획득하며, 이미지 데이터의 획득시에 거리 센서(220)를 통해 거리 데이터를 함께 획득하여, 각각의 데이터가 함께 매칭된 상태로 데이터베이스(140)에 저장되도록 한다.
도 4에 도시된 바와 같이, 각각의 이미지 데이터(
Figure 112021021964289-pat00001
)가 데이터베이스(140)에 저장될 수 있다. 또한, 각 이미지 데이터에 매칭되는 거리 데이터(
Figure 112021021964289-pat00002
)가 함께 수집된다.
그리고, SIFT, SURF 등 알고리즘을 통해 특징 추출(Feature extraction), 특징 매칭(Feature matching)을 수행하여 각 이미지 간 호모그래피(Homography)관계를 추정할 수 있다.
다음으로, 각 이미지 데이터에 대하여 초기값으로서 기본 메쉬를 생성하고, 이후 오정렬, 왜곡 또는 부자연스러움(unnatural)을 최소화하도록 하는 변형 메쉬를 생성한다(S320).
도 4에 도시된 바와 같이, 기본 메쉬(MN)의 정점은 V로 정의되며, 아래 의 수학식 1이 최소가 되도록 하는 변형된 정점(
Figure 112021021964289-pat00003
)을 찾아 변형 메쉬(
Figure 112021021964289-pat00004
)를 생성한다.
[수학식 1]
Figure 112021021964289-pat00005
수학식 1은 오정렬을 최소화하기 위한 정렬 항(
Figure 112021021964289-pat00006
), 왜곡도를 최소화하기 위한 로컬 유사도 항(
Figure 112021021964289-pat00007
) 및 부자연스러움을 최소화하기 위한 글로벌 유사도 항(
Figure 112021021964289-pat00008
)을 포함한다. 식 1에서
Figure 112021021964289-pat00009
은 스케일 팩터를 나타낸다. 이와 같은 변형 메쉬는 각 이미지를 촬영할 때 무인 비행체의 자세를 정량적으로 나타내므로, 무인 비행체의 촬영 자세차이로부터 발생하는 스티칭 왜곡을 최소화할 수 있다. 또한, 변형 메쉬는 각 이미지내의 중앙점에 해당하는 거리 정보를 각 메쉬별 면적 환산을 통해 정밀한 물리적 이격거리를 나타내는 깊이 맵을 생성할 수 있도록 한다.
다음으로, 변형 메쉬와 기본 메쉬 간에 서로 대응하는 각 폴리곤의 상대적 넓이의 비율을 나타내는 상대적 깊이 맵을 생성한다(S330).
기본 메쉬에서 하나의 폴리곤을 결정하는 정점 4개(
Figure 112021021964289-pat00010
)를 이용하여 최소단위 넓이 An,m을 구할 수 있다.
또한, 변형 메쉬에서 하나의 폴리곤을 결정하는 정점 4개(
Figure 112021021964289-pat00011
)를 이용하여 최소단위 넓이
Figure 112021021964289-pat00012
를 구할 수 있다.
그리고, 이를 이용하여 수학식 2에 따라 상대적 넓이의 비율A* n,m을 구할 수 있다.
[수학식 2]
Figure 112021021964289-pat00013
상대적 깊이 맵은 수학식 3에 따라, 상대적 넓이의 비율을 각 폴리곤 별로 나타낸다.
[수학식 3]
Figure 112021021964289-pat00014
이때, (p, q)는 RN 의 픽셀을 나타내며, 상대적 깊이 맵의 예는 도 5에 도시된 바와 같다.
다음으로, 상대적 깊이 맵의 각 폴리곤의 상대적 넓이의 비율에 대하여, 대상 구조물까지의 거리 데이터를 기초로 산출된 스케일 팩터를 각각 곱하여 각 이미지 데이터별 깊이 맵을 생성한다(S340).
보다 구체적으로 살펴보면, 수학식 4와 같이, 대상 구조물까지의 거리 데이터(
Figure 112021021964289-pat00015
)와 비전 카메라의 센서의 크기(l)의 곱을 상기 이미지 데이터의 픽셀의 해상도(P)와 비전 카메라의 초점 거리(f)의 곱으로 나누어 각각의 스케일 팩터(SN)를 산출할 수 있다.
[수학식 4]
Figure 112021021964289-pat00016
그리고, 수학식 5와 같이, 스케일 팩터(SN)와 상대적 깊이 맵의 각 폴리곤의 상대적 넓이의 비율을 곱하여 각 이미지 데이터별 깊이 맵을 생성한다.
[수학식 5]
Figure 112021021964289-pat00017
다음으로, 각 이미지 데이터별 깊이 맵을 통합한 전체 관심 영역에 대한 통합 깊이 맵을 생성한다(S350).
아래의 수학식 6에 따라 각각의 이미지 데이터별 깊이 맵을 통합할 수 있으며, 그 예는 도 5에 도시된 바와 같다.
[수학식 6]
Figure 112021021964289-pat00018
Figure 112021021964289-pat00019
(p,q)는 통합 깊이 맵을 구성하는 각 픽셀의 좌표를 나타낸다.
다음으로, 변형 메쉬에 따라 스티칭된 이미지 데이터에 대하여 손상을 검출하여 손상 형태 이미지를 생성한다(S360).
도 2에 도시된 바와 같이, 변형 메쉬를 이용하여 전체의 이미지 데이터를 스티칭할 수 있으며, 이를 통해 전체 관심 영역에 대한 스티칭 이미지를 생성할 수 있다. 그리고, 스티칭 이미지에 대하여 기 구축된 딥러닝(Deep learning) 네트워크를 활용하여 손상을 검출한다. 종래 알려진 의미론적 분할(emantic segmentation) 기반의 인공지능 네트워크를 손상 검출에 적합하도록 전이학습한 손상검출용 네트워크를 통해, 스티칭 이미지에서 손상을 검출한다. 이때, 검출 대상 손상은 박리박락, 백태, 균열, 철근노출로 각 300장씩 총 1,200장의 이미지에 대해서 학습이 완료된 네트워크를 활용하여 스티칭 이미지에 나타난 손상을 자동으로 검출한다.
검출된 손상은 정량적 평가를 위해 추가 프로세싱을 통해 손상 정량화를 수행한다.
도 6은 본 발명의 일 실시예에 따른 손상 정량화 처리를 도시한 개념도이다.
도시된 바와 같이 검출된 균열은 정밀한 평가결과가 아니므로 추가적인 프로세싱을 통해 균열정량화를 수행한다. 즉, 인공지능 기반으로 검출된 균열 영역에 대해서 동일 영역의 RGB 이미지로부터 추출하고, 이진처리(Binarization)를 수행한다.
또한, 이진처리된 이미지(Binary image)에 대해 유클리디언 거리변환(EDT)에 기반하여 균열 두께를 계산하고, 골격화(skeletonization)를 수행해 균열의 형상을 추출한다. 이와 같은 균열에 대한 손상 정보를 정량화 하는 과정은 본 출원인의 등록 특허 제10-2037893호(발명의 명칭: 디지털 외관조사망도 구축 시스템 및 방법)에 상세하게 기재되어 있으며, 해당 내용을 참조하기로 한다. 해당 특허에서는 학습된 손상 검출 모델을 통해 통합 영상에서 손상을 검출하고, 검출된 손상에 대해 정량화 프로세스를 수행하여 정량화된 손상 정보를 반영한 디지털 외관조사망도를 생성한다. 이때, 정량화 프로세스는 검출된 손상의 영상을 이진처리하고, 이진처리된 영상에서 유클리디언 거리 변환(Euclidean distance transform)을 사용하여 손상의 두께를 계산하고, 골격화(Skeletonization) 알고리즘을 이용하여 손상의 형상을 추출하여, 손상 형태 이미지(Q)가 생성된다.
다음으로, 통합 깊이 맵과 손상 형태 이미지를 결합하여 최종 이미지를 생성한다(S370).
[수학식 7]
Figure 112021021964289-pat00020
이때, F는 최종 이미지, Q는 손상 형태 이미지, DI는 통합 깊이 맵을 나타낸다.
다음으로, 최종 이미지를 기반으로 대상 구조물에서 각 손상 별로 손상의 두께, 길이, 폭, 크기 등을 나타내는 보수 물량을 추가로 산출할 수 있다.
도 7내지 도 10은 본 발명의 일 실시예에 따른 외관 조사망도 구축과정을 적용한 사례를 도시한 것이다.
도 7에서, (a)는 비전 카메라를 통해 획득한 복수의 이미지를 나타내고, (b)는 전체 관심 영역에 대하여 형성된 변형 메쉬를 이용하여 이미지 스티칭을 수행하는 과정을 나타내며, (c)는 이미지 스티칭의 결과를 도시한다.
도 8에서, (a)는 단일 이미지에 대한 변형 메쉬를 도시한 것이고, (b)는 단일 이미지에 대한 상대적 깊이 맵을 도시한 것이며, (c)는 전체 이미지에서의 변형 메쉬를 도시한 것이고, (d)는 전체 이미지에 대한 상대적 깊이 맵을 도시한 것이다.
도 9에서, (a)는 상대적 깊이 맵에 스케일 팩터를 적용하여 생성한 통합 깊이 맵을 도시한 것이고, (b)는 이를 기반으로 구축한 외관 조사망도를 도시한 것이다.
도 10은 외관 조사망도에 기초하여 각 손상의 식별 번호, 손상의 형태, 손상의 크기, 두께, 깊이, 손상의 폭 등을 특정한 보수 물량을 구체적으로 나타내는 것이다. 이와 같이, 최종 이미지를 기반으로 대상 구조물의 보수 물량을 산출할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
10: 구조물 외관 조사망도 구축 시스템
100: 서버
110: 통신모듈
120: 메모리
130: 프로세서
140: DB
200: 무인 비행체
210: 비전 카메라
220: 거리 센서
230: 프로세서
240: 메모리
250: 통신 모듈

Claims (11)

  1. 무인 비행체를 이용한 구조물 외관 조사망도 구축 방법에 있어서,
    (a) 상기 무인 비행체에 결합된 비전 카메라 및 거리 센서가 대상 구조물을 스캐닝하여 생성된 이미지 데이터 및 대상 구조물 까지의 거리 데이터를 수집하는 단계;
    (b) 각 이미지 데이터에 대하여 초기값으로서 생성된 기본 메쉬에 대하여 오정렬, 왜곡 또는 부자연스러움(unnatural)을 최소화하도록 하는 변형 메쉬를 생성하는 단계;
    (c) 상기 변형 메쉬와 상기 기본 메쉬 간에 서로 대응하는 각 폴리곤의 상대적 넓이의 비율을 나타내는 상대적 깊이 맵을 생성하는 단계;
    (d) 상기 상대적 깊이 맵의 각 폴리곤의 상대적 넓이의 비율에 대하여, 상기 대상 구조물 까지의 거리 데이터를 기초로 산출된 스케일 팩터를 각각 곱하여 각 이미지 데이터별 깊이 맵을 생성하는 단계;
    (e) 각 이미지 데이터별 깊이 맵을 통합한 전체 관심 영역에 대한 통합 깊이 맵을 생성하는 단계;
    (f) 상기 변형 메쉬에 따라 스티칭된 이미지 데이터에 대하여 손상을 검출하여 손상 형태 이미지를 생성하는 단계; 및
    (g) 상기 통합 깊이 맵과 상기 손상 형태 이미지를 결합하여 최종 이미지를 생성하는 단계를 포함하는, 구조물 외관 조사망도 구축 방법.
  2. 제 1 항에 있어서,
    상기 (d) 단계는,
    상기 대상 구조물까지의 거리 데이터와 상기 비전 카메라의 센서의 크기의 곱을 상기 이미지 데이터의 픽셀의 해상도와 상기 비전 카메라의 초점 거리의 곱으로 나누어 상기 스케일 팩터를 산출하는 것인, 구조물 외관 조사망도 구축 방법.
  3. 제 1 항에 있어서,
    상기 (e) 단계는,
    하기의 수학식 1에 따라 상기 통합 깊이 맵(DI)을 생성하는, 구조물 외관 조사망도 구축 방법.
    [수학식 1]
    Figure 112021021964289-pat00021

    Figure 112021021964289-pat00022

    (p,q)는 통합 깊이 맵을 구성하는 각 픽셀의 좌표를 나타냄.
  4. 제 1 항에 있어서,
    상기 (g) 단계는,
    하기의 수학식 2에 따라 상기 최종 이미지를 생성하는, 구조물 외관 조사망도 구축 방법.
    [수학식 2]
    Figure 112021021964289-pat00023

    F 는 상기 최종 이미지를 나타내고, Q는 상기 손상 형태 이미지를 나타내고, DI는 상기 통합 깊이 맵을 나타냄.
  5. 제 1 항에 있어서,
    (h) 상기 최종 이미지에 기초하여 각 손상의 길이, 두께, 폭 및 크기를 나타내는 보수물량을 산출하는 단계를 더 포함하는, 구조물 외관 조사망도 구축 방법.
  6. 구조물 외관 조사망도 구축 장치에 있어서,
    대상 구조물의 외관 조사망도 구축 프로그램이 저장된 메모리; 및
    상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며,
    상기 외관 조사망도 구축 프로그램은, 무인 비행체에 결합된 비전 카메라 및 거리 센서가 대상 구조물을 스캐닝하여 생성된 이미지 데이터 및 대상 구조물 까지의 거리 데이터를 수집하고, 각 이미지 데이터에 대하여 초기값으로서 생성된 기본 메쉬에 대하여 오정렬, 왜곡 또는 부자연스러움(unnatural)을 최소화하도록 하는 변형 메쉬를 생성하고, 상기 변형 메쉬와 상기 기본 메쉬 간에 서로 대응하는 각 폴리곤의 상대적 넓이의 비율을 나타내는 상대적 깊이 맵을 생성하고, 상기 상대적 깊이 맵의 각 폴리곤의 상대적 넓이의 비율에 대하여, 상기 대상 구조물 까지의 거리 데이터를 기초로 산출된 스케일 팩터를 각각 곱하여 각 이미지 데이터별 깊이 맵을 생성하고, 각 이미지 데이터별 깊이 맵을 통합한 전체 관심 영역에 대한 통합 깊이 맵을 생성하고, 상기 변형 메쉬에 따라 스티칭된 이미지 데이터에 대하여 손상을 검출하여 손상 형태 이미지를 생성하고, 상기 통합 깊이 맵과 상기 손상 형태 이미지를 결합하여 최종 이미지를 생성하는 것인, 구조물 외관 조사망도 구축 장치.
  7. 제 6항에 있어서,
    상기 외관 조사망도 구축 프로그램은 상기 대상 구조물까지의 거리 데이터와 상기 비전 카메라의 센서의 크기의 곱을 상기 이미지 데이터의 픽셀의 해상도와 상기 비전 카메라의 초점 거리의 곱으로 나누어 상기 스케일 팩터를 산출하는 것인, 구조물 외관 조사망도 구축 장치.
  8. 제 6 항에 있어서,
    상기 외관 조사망도 구축 프로그램은,
    하기의 수학식 3에 따라 상기 통합 깊이 맵(DI)을 생성하는, 구조물 외관 조사망도 구축 장치.
    [수학식 3]
    Figure 112021021964289-pat00024

    Figure 112021021964289-pat00025

    (p,q)는 통합 깊이 맵을 구성하는 각 픽셀의 좌표를 나타냄.
  9. 제 6 항에 있어서,
    상기 외관 조사망도 구축 프로그램은,
    하기의 수학식 4에 따라 상기 최종 이미지를 생성하는, 구조물 외관 조사망도 구축 장치.
    [수학식 4]
    Figure 112023039392465-pat00026

    F 는 상기 최종 이미지를 나타내고, Q는 상기 손상 형태 이미지를 나타내고, DI는 상기 통합 깊이 맵을 나타냄.
  10. 제 6 항에 있어서,
    상기 외관 조사망도 구축 프로그램은 상기 최종 이미지에 기초하여 각 손상의 길이, 두께, 폭 및 크기를 나타내는 보수물량을 산출하는 것인, 구조물 외관 조사망도 구축 장치.
  11. 제 1 항 내지 제 5 항 중 어느 한 항에 따른 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체.
KR1020210024342A 2021-02-23 2021-02-23 무인 비행체를 이용한 깊이 맵 기반의 디지털 외관 조사망도 구축 및 구조물 물량 산출 장치 및 방법 KR102541678B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210024342A KR102541678B1 (ko) 2021-02-23 2021-02-23 무인 비행체를 이용한 깊이 맵 기반의 디지털 외관 조사망도 구축 및 구조물 물량 산출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210024342A KR102541678B1 (ko) 2021-02-23 2021-02-23 무인 비행체를 이용한 깊이 맵 기반의 디지털 외관 조사망도 구축 및 구조물 물량 산출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220120343A KR20220120343A (ko) 2022-08-30
KR102541678B1 true KR102541678B1 (ko) 2023-06-12

Family

ID=83114275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210024342A KR102541678B1 (ko) 2021-02-23 2021-02-23 무인 비행체를 이용한 깊이 맵 기반의 디지털 외관 조사망도 구축 및 구조물 물량 산출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102541678B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102037893B1 (ko) 2019-07-05 2019-11-26 세종대학교산학협력단 디지털 외관조사망도 구축 시스템 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6505862B2 (ja) 2014-12-03 2019-04-24 ホアウェイ・テクノロジーズ・デュッセルドルフ・ゲーエムベーハー プリアンブルコーディングによってランダムアクセスを優先順位付けする方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102037893B1 (ko) 2019-07-05 2019-11-26 세종대학교산학협력단 디지털 외관조사망도 구축 시스템 및 방법

Also Published As

Publication number Publication date
KR20220120343A (ko) 2022-08-30

Similar Documents

Publication Publication Date Title
KR102037893B1 (ko) 디지털 외관조사망도 구축 시스템 및 방법
Morgenthal et al. Framework for automated UAS-based structural condition assessment of bridges
Yang et al. Concrete defects inspection and 3D mapping using CityFlyer quadrotor robot
KR102256181B1 (ko) 강구조물의 도막 상태 검사 및 평가 방법과 이를 위한 시스템
CN104574393B (zh) 一种三维路面裂缝图像生成系统和方法
CN111260615B (zh) 基于激光和机器视觉融合的无人机桥梁表观病害检测方法
WO2019230339A1 (ja) 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置
KR102113068B1 (ko) 수치지도 및 도로정밀지도 구축 자동화를 위한 방법
KR102481896B1 (ko) 이미지 스티칭을 이용한 구조물 외관 조사망도 구축 시스템 및 방법
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
JP2017182695A (ja) 情報処理プログラム、情報処理方法および情報処理装置
JP6524529B2 (ja) 建築限界判定装置
US20230080178A1 (en) Automated assessment of cracks using lidar and camera data
JPWO2018155590A1 (ja) 写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラム
JP2019032218A (ja) 位置情報記録方法および装置
EP4066162A1 (en) System and method for correspondence map determination
Ioli et al. UAV photogrammetry for metric evaluation of concrete bridge cracks
Ebrahimikia et al. True orthophoto generation based on unmanned aerial vehicle images using reconstructed edge points
KR102541678B1 (ko) 무인 비행체를 이용한 깊이 맵 기반의 디지털 외관 조사망도 구축 및 구조물 물량 산출 장치 및 방법
Li et al. Driver drowsiness behavior detection and analysis using vision-based multimodal features for driving safety
JP2012248004A (ja) 画像処理装置、画像認識装置及び方法
CN112991372B (zh) 一种基于多边形匹配的2d-3d相机外参标定方法
KR102586815B1 (ko) 구조물 균열 측정 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
AU2020317303B2 (en) Information processing device, data generation method, and program
CN115222789A (zh) 实例深度估计模型的训练方法、装置及设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant