KR102007567B1 - 스테레오 드론 및 이를 이용하는 무기준점 토공량 산출 방법과 시스템 - Google Patents

Abstract

스테레오 영상을 이용하여 무기준점으로 재난지역이나 토목건설 현장 등에 대한 토공량을 산출하는 스테레오 드론 및 이를 이용하는 무기준점 토공량 산출 방법과 시스템이 개시된다. 스테레오 드론을 이용하는 무기준점 토공량 산출 방법은, 드론에 탑재된 스테레오 카메라에서 촬영된 영상 데이터와, 드론에 탑재된 위성항법장치(GPS)와 관성항법장치(INS)에서 생성된 위치 데이터 및 자세 데이터를 토대로 스테레오 카메라, GPS, INS 또는 드론의 위치와 회전각를 결정하는 단계, 위치와 회전각에 기초하여 GPS의 시간에 따라 영상 데이터를 위치 데이터 및 자세 데이터와 동기화한 드론 영상들을 상호 매칭시키는 단계, 매칭된 드론 영상들을 실시간 연속적으로 정합시키는 단계, 및 정합된 드론 영상들을 이용하여 포인트 클라우드를 생성하는 단계를 포함한다.

Description

스테레오 드론 및 이를 이용하는 무기준점 토공량 산출 방법과 시스템{STEREO DRONE AND METHOD AND SYSTEM FOR CALCULATING EARTH VOLUME IN NON-CONTROL POINTS USING THE SAME}

본 발명의 실시예는 스테레오 카메라를 탑재한 드론 및 이를 이용하는 토공량 산출 기술에 관한 것으로서, 더욱 상세하게는, 드론에 탑재된 스테레오 카메라로 촬영된 스테레오 영상을 이용하여 무기준점으로 재난지역이나 토목건설 현장 등에 대한 토공량을 산출하는 스테레오 드론 및 이를 이용하는 무기준점 토공량 산출 방법과 시스템에 관한 것이다.

무인항공기는 조종사를 태우지 않고, 공기역학적 힘에 의해 부양하여 자율적으로 또는 원격조종으로 비행을 하며, 무기 또는 일반화물을 실을 수 있는 일회용 또는 재사용할 수 있는 동력 비행체로 정의될 수 있다. 무인항공기 체계는 드론(drone)으로 지칭되기도 한다.

드론 기술의 발달에 따라 드론을 이용한 다양한 기술들이 여러 형태로 연구개발되고 있다. 드론은 초기에 주로 군사용으로 개발되었지만 점차 활용 분야가 확대되어 최근에는 시설물 관리, 해안/환경 감시, 대형 건축물 감시, 산불/산림 감시, 야간 무인 순찰, 무인 택배 서비스, 농약살포기, 범죄 색출/추적, 작전 수행, 익스트림 스포츠 촬영, 지형 및 구조물 모델링 등과 같은 다양한 용도로 사용되고 있으며 드라마, 예능, 관광지 촬영 등에도 사용되고 있다.

한편, 재난 현장에서 매몰자를 탐지하기 위해서는 구조 업무를 수행하는 인력이나 관리자가 현장의 실제 붕괴 정도 및 현재 상태를 신속하게 파악하여야 구조 업무가 순조롭게 진행될 수 있다.

하지만, 위험한 현장 여건과 구조 인력의 한계로 인하여 재난 현장의 상황을 신속하고 정확하게 파악하는 일은 쉽지 않다. 실례로 붕괴 현장의 경우 사람의 접근시 추가 붕괴의 위험 등으로 인해 현장 접근이 어려워 현장의 정보를 파악하기가 쉽지 않다. 또한, 재난 지역이 상대적으로 넓은 경우, 한정된 구조 인력을 활용하여 현장의 실제 붕괴 상황이나 붕괴된 시설물들을 치우기 위한 토공량 등을 파악하기가 쉽지 않다.

이와 유사하게, 기존 건물을 파괴한 후 새로운 건물이나 녹지 환경 등을 조성하고자 하는 경우, 해당 토목 건설 현장에서 기존 건물을 파괴한 후에 필요한 토공량을 산출하는데는 많은 시간과 인력이 요구되고 있는 실정이다.

등록특허공보 제10-1546708호(2015.08.18)

본 발명은 상술한 종래의 문제점을 개선하기 위해 도출된 것으로, 사진 측량학 요소를 사용하여 스테레오 카메라의 장점인 카메라간 외부 표정 요소를 고정함으로써, 드론의 높이와 자세에 관계없이 그리고 드론의 스테레오 카메라에 의한 영상(이하, 드론 영상)에서 에피폴라(epipolar)의 수직 오차를 재설정하지 않고도, 실시간 얻어진 드론 영상과 부가 정보(위치 정보 포함)를 이용해 현장에서 포인트 클라우드를 위한 깊이지도 값을 실시간으로 취득할 수 있는, 스테레오 드론을 제공하는데 그 목적이 있다.

본 발명의 다른 목적은 영상이나 공액점이 추가되는 시점마다 항공삼각측량을 수행함으로써 영상의 외부표정요소나 공액점에 상응하는 지상점 좌표와 같은 미지수를 자동으로 갱신 및 추정하는 스테레오 드론 및 이를 이용하는 무기준점 토공량 산출 방법과 시스템을 제공하는데 있다.

본 발명의 또 다른 목적은 기존 아날로그 필름 현상을 활용한 사진 측량에서 고해상도 카메라의 컴퓨터 기술의 진보로 영상 취득 및 측정, 조정, 분석에 이르는 과정이 자동화된 수치해석 사진측량 기법을 활용하는 스테레오 드론 및 이를 이용하는 무기준점 토공량 산출 방법과 시스템을 제공하는데 있다.

상술한 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따른 스테레오 드론을 이용하는 무기준점 토공량 산출 방법은, 드론에 탑재된 스테레오 카메라에서 촬영된 영상 데이터와, 상기 드론에 탑재된 위성항법장치(global positioning system, GPS)와 관성항법장치(inertial navigation system, INS)에서 생성된 위치 데이터 및 자세 데이터를 토대로 상기 스테레오 카메라, 상기 GPS, 상기 INS 또는 상기 드론의 위치와 회전각를 결정하는 단계; 상기 위치와 회전각에 기초하여 상기 GPS의 시간에 따라 상기 영상 데이터를 상기 위치 데이터 및 상기 자세 데이터와 동기화한 드론 영상들을 상호 매칭시키는 단계; 상기 매칭된 드론 영상들을 실시간 연속적으로 정합시키는 단계; 및 상기 정합된 드론 영상들을 이용하여 포인트 클라우드를 생성하는 단계를 포함한다.

일실시예에서, 스테레오 드론을 이용하는 무기준점 토공량 산출 방법은 상기 포인트 클라우드를 3차원 메쉬 모델링하는 단계를 더 포함할 수 있다.

일실시예에서, 상기 생성하는 단계 또는 상기 모델링하는 단계 후에, 상기 포인트 클라우드 또는 상기 3차원 메쉬 모델링에 기초하여 상기 드론 영상 내 특정 위치에 대응하는 현장 영역에 대한 토공량을 추정하는 단계를 더 포함할 수 있다.

일실시예에서, 상기 정합시키는 단계는, 상기 매칭시키는 단계에서 기하 보정된 영상 데이터의 보정값을 원본 영상과 해당 영상을 정합할 때 더해줄 수 있다.

상술한 기술적 과제를 달성하기 위한 본 발명의 다른 측면에 따른 스테레오 드론은, 스테레오 카메라를 탑재한 스테레오 드론으로서, 상기 스테레오 카메라에서 촬영된 영상 데이터와, 위성항법장치(global positioning system, GPS)와 관성항법장치(inertial navigation system, INS)에서 생성된 위치 데이터 및 자세 데이터를 토대로 상기 스테레오 카메라, 상기 GPS, 상기 INS 또는 이들의 조합에 대한 위치와 회전각을 결정하는 위치자세 결정부; 상기 위치와 회전각에 기초하여 상기 GPS의 시간에 따라 상기 영상 데이터를 상기 위치 데이터 및 상기 자세 데이터와 동기화한 드론 영상들을 상호 매칭시키는 영상매칭부; 상기 매칭된 드론 영상들을 실시간 연속적으로 정합시키는 영상정합부; 및 상기 정합된 드론 영상들을 이용하여 포인트 클라우드를 생성하는 포인트 클라우드 생성부를 포함한다.

일실시예에서, 스테레오 드론은, 상기 포인트 클라우드를 3차원 메쉬 모델링하는 모델링부를 포함한다.

일실시예에서, 스테레오 드론은, 상기 3차원 메쉬 모델링에 기초하여 상기 드론 영상 내 특정 위치에 대응하는 현장 영역에 대한 토공량을 추정하는 토공량 추정부를 더 포함할 수 있다.

일실시예에서, 상기 영상정합부는, 상기 영상매칭부에서 기하 보정된 영상 데이터의 보정값을 원본 영상과 해당 영상을 정합할 때 더해줄 수 있다.

전술한 스테레오 드론이나 스테레오 드론을 이용하는 무기준점 토공량 산출 방법 또는 시스템을 이용하는 경우에는, 사진 측량학 요소를 사용하여 스테레오 카메라의 장점인 카메라간 외부 표정 요소를 고정함으로써, 드론의 높이와 자세에 관계없이 그리고 드론의 스테레오 카메라에 의한 드론 영상에서 에피폴라(epipolar)의 수직 오차를 재설정하지 않고도, 실시간 얻어진 드론 영상과 부가 정보를 이용해 현장에서 깊이지도 값을 실시간으로 취득할 수 있다.

또한, 드론 영상에서 얻은 깊이지도 값을 이용하여 3차원 위치 값을 산출하고 이를 통해 실시간 현장 데이터로서 토목 작업하고자 하는 현장 영역에 대한 부피, 면적, 길이, 위치 또는 이들의 조합에 대한 값들을 확인할 수 있다.

또한, 3차원 현장 영역에 대한 메쉬 모델링에 기초하여 토공량을 신속하고 정확하게 산출할 수 있으며, 그에 의해 토목 건설 현장에서 현장 상황이나 지형이 변경되는 경우나, 혹은 재난 지역과 같이 갑작스럽게 발생하여 신속한 처리가 요구되는 현장에서 실시간 토공량을 효과적으로 신뢰성 있게 추정할 수 있는 효과가 있다.

도 1은 본 발명의 일실시예에 따른 스테레오 드론에 대한 블록도이다.
도 2는 도 1의 통합제어보드에 대한 블록도이다.
도 3은 도 2의 토공량 산출 모듈에 대한 블록도이다.
도 4는 도 1의 스테레오 드론의 토공량 산출을 위한 주요 작동 원리를 설명하기 위한 흐름도이다.
도 5는 도 4의 주요 작동 원리 중 항공삼각측량를 설명하기 위한 흐름도이다.
도 6은 도 1의 스테레오 드론의 드론 영상에 대한 예시도이다.
도 7은 도 6의 드론 영상의 기하 보정 과정을 설명하기 위한 예시도이다.
도 8은 도 1의 스테레오 드론의 드론 영상에 대한 깊이지도 생성 과정을 설명하기 위한 예시도이다.
도 9는 도 8의 깊이지도 생성 과정에 채용가능한 영상 접합 과정을 설명하기 위한 예시도이다.
도 10은 도 9의 영상 정합 과정을 통해 얻은 깊이지도에 대한 예시도이다.
도 11은 도 10의 깊이지도와 같이 준비된 다른 깊이지도들을 이용한 3차원 모델링의 결과 영상들이다.
도 12는 본 발명의 다른 실시예에 따른 스테레오 드론을 이용하는 무기준점 토공량 산출 방법을 설명하기 위한 흐름도이다.
도 13은 본 발명의 또 다른 실시예에 따른 스테레오 드론을 이용하는 무기준점 토공량 산출 시스템에 대한 블록도이다.
도 14는 도 13의 토공량 산출 시스템의 작동 원리를 설명하기 위한 예시도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 아니하는 것으로 이해되어야 할 것이다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함한다", "가진다" 등과 관련된 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 포함한다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 의미와 일치하는 의미로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 명세서에서 스테레오 드론은 스테레오 카메라를 탑재한 드론을 지칭하고, 드론 영상은 드론에 탑재된 스테레오 영상을 지칭한다. 본 명세서에서 드론에 탑재된 스테레오 카메라로 촬영된 영상을 간략히 드론 영상 또는 스테레오 영상이라고 하기로 한다. 또한, 용어 '드론'은 무선조정비행체, 무인항공기 등으로 지칭될 수 있으며, 좁은 의미에서 헬리캠(helicam) 또는 무선조정헬리곱터로 지칭 혹은 대체될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 스테레오 드론에 대한 블록도이다. 도 2는 도 1의 통합제어보드에 대한 블록도이다. 도 3은 도 2의 토공량 산출 모듈에 대한 블록도이다.

도 1을 참조하면, 본 실시예에 따른 스테레오 드론(100)은, 플랫폼(110), 스테레오 카메라(120), 위성항법장치(global positioning system, GPS)(130), 관성항법장치(inertial navigation system, INS)(140) 및 통합제어보드(150)를 포함한다. 플랫폼(110)은 드론의 무인항공기 플랫폼에 대응하고, 스테레오 카메라(120), GPS(130) 및 INS(140)는 드론에 탑재되는 센서에 대응하고, 통합제어보드(150)는 드론에 탑재되는 센서지원부에 대응할 수 있다. GPS(130)는 GPS 수신기, GPS 송신기, 실시간 이동측위(real time kinematic, RTK) GPS 또는 이들의 조합을 포함할 수 있고, INS(140)는 항법측정장치(inertial measurement unit, IMU) 등의 다른 자세측정장치로 대체될 수 있고, 가속도계와 자이로스코프(자이로 센서)를 포함할 수 있다. 또한, 스테레오 드론(100)은 GPS(130)와 혼합한 항법 알고리즘을 통해 정확한 위치와 자세를 측정하기 위한 지구 가지 감지 센서(magnetometer or magnetic sensor) 등을 더 포함할 수 있다.

통합제어보드(150)는 도 2에 도시한 바와 같이 프로세서(152), 메모리(160) 및 서브통신시스템(180)을 포함하고, 메모리(160)에는 카메라 제어 모듈(161), GPS 관리 모듈(163), INS 관리 모듈(165) 및 토공량 산출 모듈(170)을 포함할 수 있다.

프로세서(152), 메모리(160) 및 서브통신시스템(180)의 기본적인 동작이나 하드웨어 구성은 본 기술분야에 이미 잘 알려져 있으므로 그에 대한 상세 설명은 생략한다. 또한, 카메라 제어 모듈(161), GPS 관리 모듈(163) 및 INS 관리 모듈(165)은 해당 장치를 제어하거나 관리하기 위한 모듈로서 이들의 구성이나 기능 또한 잘 알려져 있으므로 상세한 설명은 생략하기로 한다.

한편, 토공량 산출 모듈(170)은 도 3에 도시한 바와 같이 드론 스테레오 사진 측량 모듈(171), 실시간 동기화 모듈(172), 원시데이터 저장 모듈(173), 기하보정 모듈(174), 깊이지도 생성 모듈(175) 및 포인트 클라우드 생성 모듈(176)을 포함할 수 있다. 실시간 동기화 모듈(172)은 위치자세 결정부로, 기하보정 모듈(174)은 영상매칭부로, 깊이지도 생성 모듈(175)은 영상정합부로, 그리고 포인트 클라우드 생성 모듈(176)은 포인트 클라우드 생성부로 각각 지칭될 수 있다.

드론 스테레오 사진 측량 모듈(171)은 드론에 탑재된 스테레오 카메라의 동작을 제어하고 촬영된 스테레오 사진들이나 영상 데이터를 저장한다.

실시간 동기화 모듈(172)은 실시간 이동측위 GPS와 INS에 의한 센서의 위치 및 회전각에 기초하여 영상 데이터의 각 단위 영상을 동기화하여 저장한다.

원시데이터 저장 모듈(173)은 스테레오 카메라에서 촬영된 영상 데이터와 실시간 동기화된 데이터를 저장한다.

기하보정 모듈(174)은 한 쌍의 스테레오 영상들의 특징점을 이용하여 기하보정을 수행하고, 기하보정된 영상들을 XML 파일 형식으로 저장할 수 있다.

깊이지도 생성 모듈(175)은 원본 영상과 오른쪽(right) 영상을 정합하여 깊이지도(depth map)를 생성할 때, 앞서 기하 보정된 영상을 이용해 보정값을 더해주어 정확도 높은 깊이지도를 추출할 수 있다.

또한, 깊이지도 생성 모듈(175)은, 드론에 탑재된 실시간 이동측위(real time kinematic, RTK) GPS와 관성항법장치(INS)를 이용하여 센서의 위치와 회전각이 정확하게 결정됨에 따라, 직접 지오레퍼런싱(direct georeferencing)을 수행할 수 있다. 즉, 영상 정합을 위해 외부 표정 요소를 결정하기 위한 지상 기준점의 측량을 생략한 상태에서 깊이지도를 생성할 수 있다. 생성된 깊이지도는 데이터베이스에 저장될 수 있다.

포인트 클라우드 생성 모듈(176)은 생성된 깊이지도를 이용하여 포인트 클라우드를 생성할 수 있고, 생성된 포인트 클라우드는 데이터베이스에 저장될 수 있다.

도 4는 도 1의 스테레오 드론의 토공량 산출을 위한 주요 작동 원리를 설명하기 위한 흐름도이다. 도 5는 도 4의 주요 작동 원리 중 항공삼각측량를 좀더 상세히 설명하기 위한 흐름도이다.

도 4를 참조하면, 본 실시예에 따른 스테레오 드론의 통합제어보드의 토공량 산출 모듈은 드론 영상을 포함한 데이터의 입력에 따라 실시간 영상 지오레퍼런싱(S41), 실시간 영상 매칭(S42) 및 온라인 항공삼각측량(S43)의 일련의 과정들을 수행한다. 그리고 상기의 일련의 과정을 통해 조정된 외부표정요소와 조정된 지상점 좌표를 출력할 수 있다.

각 과정을 좀더 구체적으로 설명하면, 실시간 영상 지오레퍼런싱(S41)은 드론에 탑재된 실시간 이동측위(real time kinematic, RTK) GPS와 관성항법장치(INS)를 이용하여 센서의 위치와 회전각을 정확하게 결정하는 과정을 포함할 수 있다

실시간 영상 매칭(S42)은 외주 표정 요소의 결정을 위한 지상기준점의 측량 없이 앞서 결정된 센서의 위치와 회전각에 기초하여 드론 영상의 수치해석 사진측량, 조정 및 분석 과정과 시간동기화를 통해 연속적으로 매칭하는 과정을 포함할 수 있다.

온라인 항공삼각측량(S43)은 매칭되는 영상들을 연속적으로 정합하여 깊이지도를 생성하는 과정을 포함할 수 있다.

또한, 온라인 항공삼각측량(S43)은 도 5에 도시한 바와 같이 3차원 위치값에서 기준 높이값을 설정하고(S431), 측정한 위치에 대한 영역을 설정하고(S432), 설정 영역의 2차원 면적에 대한 값을 생성하고(S433), 설정 영역을 삼각망으로 계산하고(S434), 그리고 계산된 삼각망에 기준 높이값을 곱하여 구하고자 하는 면적에 대한 부피를 추출하도록 이루어질 수 있다. 추출된 부피는 토공량을 산출하는 지형 데이터에 대응한다.

즉, 토공량 산출 모듈은 토공량 추정부 또는 토공량 추정 모듈을 더 구비할 수 있고, 토공량 추정부는 상기 부피에 기초하여 해당 지형 영역에 대한 토공량을 추정할 수 있다. 또한, 토공량 추정 모듈은 해당 지형 영역에 대한 드론 영상이나 드론 영상과 설계도면의 조합에 기초하여 드론 영상 내 재질들의 종류, 지질구조 등에 미리 설정된 가중치를 부여함으로써 보다 정확한 토공량을 추정할 수 있다.

이하에서는 전술한 스테레오 드론을 이용하는 무기준점 토공량 산출 방법(이하, 간략히 토공량 산출 방법이라고 한다)의 주요 과정을 예시 도면을 참조하여 좀더 구체적으로 설명한다.

도 6은 도 1의 스테레오 드론의 드론 영상에 대한 예시도이다. 도 7은 도 6의 드론 영상의 기하 보정 과정을 설명하기 위한 예시도이다. 도 8은 도 1의 스테레오 드론의 드론 영상에 대한 깊이지도 생성 과정을 설명하기 위한 예시도이다. 도 9는 도 8의 깊이지도 생성 과정에 채용가능한 영상 접합 과정을 설명하기 위한 예시도이다. 도 10은 도 9의 영상 정합 과정을 통해 얻은 깊이지도에 대한 예시도이다. 도 11은 도 10의 깊이지도와 같이 준비된 다른 깊이지도들을 이용한 3차원 모델링의 결과 영상들이다.

본 실시예에 따른 토공량 산출 방법은 도 6의 (a) 및 (b)에 도시한 바와 같이 드론에 탑재된 스테레오 카메라에서 촬영된 스테레오 사진들(61, 62) 즉, 드론 영상을 이용한다. 좌우 스테레오 영상들 각각에는 거의 동일한 특징점(64)이 존재할 수 있다.

드론 영상의 측량을 위해, 스테레오 드론은 관리자나 사용자의 단말로부터 촬영 대상 지역, 촬영 경로, 촬영 고도, 촬영 시간 등을 포함한 촬영 계획이나 촬영 정책 관련 정보 예컨대, 초기 설정 및 운행 정보를 수신하고, 촬영 정책이나 사용자의 실시간 조작 명령에 따라 재난 현장이나 토목건설 현장 등에 대한 사진 측량 및 영상 데이터 취득 동작을 수행할 수 있다.

좌우 스테레오 영상들은 도 7의 (a) 및 (b)에 도시한 바와 같이 기하(epipolar) 보정될 수 있다. 기하 보정은 베이스라인만큼 서로 다른 위치에서 획득한 동일한 사물에 대한 스테레오 영상들(61, 62)에서 서로 대응하는 특징점들의 매칭쌍들 사이의 기하학적 관계를 기하 라인(epipolar line)(65)에 따라 보정하는 것을 가리킬 수 있다. 기하 보정된 영상들은 XML(extensible markup language) 파일 형식으로 메모리나 데이터베이스에 저장될 수 있다.

스테레오 영상들(61, 62)에서 기하 라인은 2차원 공간상의 매칭쌍들을 정렬하는 것이므로 기존의 3차원 공간상의 기하 라인에 비해 단순화할 수 있고 적은 계산량을 가질 수 있다.

또한, 본 실시예에 따른 토공량 산출 방법에서는 깊이지도 생성 시, 도 8의 (a) 내지 (e)에 도시한 바와 같이, 원본 영상과 오른쪽(right) 영상을 정합하여 깊이지도(depth map)를 생성할 때, 앞서 기하 보정된 영상을 이용해 보정값을 더해주어 정확도 높은 깊이지도를 추출할 수 있다.

또한, 본 실시예에 따른 토공량 산출 방법에서는 깊이지도 생성 시, 도 9의 (a) 내지 (f)에 도시한 바와 같이, 드론에 탑재된 실시간 이동측위(real time kinematic, RTK) GPS와 관성항법장치(INS)를 이용하여 센서의 위치와 회전각을 정확하게 결정할 수 있다. 이러한 직접 지오레퍼런싱(direct georeferencing)에 의하면, 영상 정합을 위해 외부 표정 요소를 결정하기 위한 지상 기준점의 측량을 생략할 수 있다.

직접 지오레퍼런싱에 의해 영상 정합된 현장의 적어도 일부에 대한 깊이지도(67)가 도 10에 예시되어 있다. 도 10의 (a) 및 (b)에 도시한 바와 같이, 소정 프로그램(71)에 의해 깊이지도는 사용자 단말의 화면(72)에 3차원적으로 표현되고, 사용자의 프로그램 설정(73)에 따라 확대, 축소, 회전하며 깊이지도 내용을 출력할 수 있다. 출력되는 깊이지도의 다양한 형태를 병렬적으로 예시하면 도 11의 화면(75)과 같다.

이와 같이, 본 실시예에 따른 깊이지도 생성 과정에서는 연속 추정에 기반한 온라인 항공삼각측량 기법을 이용한다. 즉, 영상이나 공액점이 추가되는 시점마다 항공 삼각측량을 수행함으로써 영상의 외부표정요소나 공액점에 상응하는 지상점 좌표와 같은 미지수를 갱신 및 추정할 수 있다. 이것은 과거 아날로그 필름 영상을 활용한 사진측량에서 고해상도 카메라와 컴퓨터 기술의 진보에 영상 취득 및 측정, 조정, 분석에 이르는 과정을 자동화된 수행해석 사진측량으로 대체한 것에 대응할 수 있으며, 특히 본 실시예에서는 스테레오 카메라의 장점인 카메라간의 외부표정요소를 사진 측량학 요소를 사용하여 고정함으로써 드론의 높이나 자세와 관계없이 그리고 에피폴라의 수직 오차를 재설정하지 않고도 실시간 획득한 영상과 부가 정보를 이용해 현장에서 깊이지도 값을 취득할 수 있다.

게다가, 드론이나 드론과 연결되는 별도의 컴퓨팅 장치(사용자 단말 등)에서 드론에서 생성된 깊이지도 값을 이용하여 3차원 위치 값으로 표현되는 실시간 현장 데이터를 통해 현장의 특정 지역에서의 토공량을 위한 부피, 면적, 깊이 또는 위치 값을 빠르고 정확하게 확인할 수 있다.

다시 말해서, 3차원 위치 값에서 기준 높이 값을 설정하고, 측정한 위치에 서의 영역 설정에 따라 출력되는 2차원적인 면적 값에 기초하여 앞서 설정된 영역의 삼각망으로 계산하고, 계산된 삼각망의 높이 값을 곱해주면서 사용자가 구하고자 하는 면적에 대한 부피를 효과적으로 추출할 수 있다.

본 실시예에 의하면, 스테레오 영상에서 직접적으로 3차원 위치를 결정하고 그에 의해 포인트 클라우드 생성이나, 3차원 메쉬 모델링(3D mesh modeling)이나, 정사영상 생성이나, 수치 지도의 수정 또는 갱신 등을 효과적으로 수행할 수 있다. 3차원 메쉬 모델링 결과의 예시가 도 11의 (a) 내지 (f)에 도시되어 있다.

도 12는 본 발명의 다른 실시예에 따른 스테레오 드론을 이용하는 무기준점 토공량 산출 방법을 설명하기 위한 흐름도이다.

도 12를 참조하면, 본 실시예에 따른 토공량 산출 시스템은 하기와 같은 후처리 작업을 수행하며, 이러한 후처리 작업은 드론에서 측량되고 취득된 영상 데이터를 이용하여 상기 드론에서 수행되거나 네트워크를 통해 드론과 연결되는 영상매칭 관리자(250)에 의해 수행될 수 있다.

여기에서 후처리 작업은, 오차 보정을 위한 GPS 후처리 과정(S251), 좌표계변환 과정(S252), 변환된 좌표계에서의 모델링 데이터 생성 과정(S253) 및 생성된 모델링 데이터에 기초하여 불규칙 삼각망(triangulated irregular network, TIN)을 구축하거나 수치지표면모형(digital elevation model, DSM)을 추출할 수 있다(S254).

TIN은 다양한 크기의 삼각형을 이용하여 실세계를 표현하는 것으로, 삼각형은 상호 중첩되지 않으며 서로 인접하게 배치된다. TIN에서 삼각형의 한 지점을 선택할 경우 보간에 의한 해당 현상에 대한 값을 계산할 수 있다.

DSM은 수치표고모형(digital elevation model, DEM)이나 수치지형모델(digital terrain model, DTM)과 유사한 의미이지만, 지표면의 표고값이 아니라 인공지물(건물 등)과 지형지물(식생 등)의 표고 값을 나타낸다. 여기에서, DEM은 수치 지형 또는 수심 측량 데이터에 관한 일반적인 용어로서 식생과 인공지물을 포함하지 않는 지형만의 표고값을 의미하며, 강이나 호수의 DEM 값은 수표면을 나타낼 수 있다. 그리고 DTM은 DEM보다 지형을 좀더 정확하게 묘사하기 위해 불규칙적으로 간격을 갖는 불연속선(breakline)을 포함하는 점에서 차이가 있으며, 그 최종 결과는 특정 지형을 정확하게 묘사하는 것으로, 등고선은 지형의 실제 형태에 가깝게 생성된다.

도 13은 본 발명의 또 다른 실시예에 따른 스테레오 드론을 이용하는 무기준점 토공량 산출 시스템에 대한 블록도이다. 도 14는 도 13의 토공량 산출 시스템의 작동 원리를 설명하기 위한 예시도이다.

도 13 및 도 14를 참조하면, 본 실시예에 따른 토공량 산출 시스템은, 드론(100A) 및 영상매칭 매니저(200B)를 포함한다. 드론(100A)은 영상 데이터, 위치 데이터 및 자세 데이터를 시간 동기화하여 저장하고, 저장된 영상 데이터를 직접 지오레퍼런싱하여 영상매칭 매니저(200B)에 제공할 수 있다.

영상매칭 매니저(200B)는 드론(100A)과 네트워크를 통해 연결되는 외부의 컴퓨팅 장치를 포함하며, 현장 단말, 사용자 단말 등으로 지칭될 수 있다. 컴퓨팅 장치는 프로세서, 메모리 및 통신서브시스템을 포함할 수 있다.

드론(100A)로부터의 영상 데이터, 위치 데이터, 자세 데이터, 또는 영상 데이터가 위치 데이터와 자세 데이터에 의해 동기화된 드론 영상은 영상 데이터 및/또는 드론 영상을 저장하는 제1 데이터베이스(201)와 위치 데이터, 자세 데이터 등을 저장하는 제2 데이터베이스(202)에 먼저 저장된 후, 영상매칭 매니저(200B)로 전달될 수 있다.

영상 데이터나 포인트 클라우드를 이용하여 좌표계 변환, 모델링 데이터 생성, 및 TIN 또는 DSM 추출 등의 기능을 수행할 수 있다. 이를 위해, 영상매칭 매니저(200B)는 영상매칭부(210), 영상정합부(230) 및 토공량 추정부(250)를 포함할 수 있다. 각 구성부의 동작이나 기능은 전술한 실시예를 스트레오 드론의 경우와 실질적으로 동일할 수 있다.

또한, 영상매칭 매니저(200B)는 웹 애플리케이션 서버(web application server, WAS)(280) 등을 통해 또 다른 사용자 단말(300)이나 이에 대응하는 컴퓨팅 장치와 연결되고, 이 사용자 단말(300)이나 컴퓨팅 장치의 지리정보체계(GIS) 컨텐츠 요청에 대한 사용자 질의에 따라 데이터베이스에서 해당 정보와 데이터를 추출한 후 WAS(280)를 통해 상기 사용자 단말(300)에 응답으로서 상기 정보나 데이터를 제공할 수 있다. 상기 정보나 데이터는 포인트 클라우드(point cloud), DSM, DEM 등의 데이터이거나 이들에 접근하기 위한 URL(uniform resource locator) 등의 위치 정보를 포함할 수 있다.

사용자 단말(300)은 포인트 클라우드(point cloud), DSM 또는 DEM을 이용하여 해당 현장의 특정 지역이나 장소에서의 토공량을 산출할 수 있다. 이를 위해, 사용자 단말(310)은 분석 툴(310)을 구비할 수 있다, 분석 툴(310)은 포인트 클라우드, DSM 또는 DEM을 이용하여 3차원 메쉬 모델링(3D mesh modeling)이나, 정사영상 생성이나, 수치 지도의 수정 또는 갱신 등을 수행할 수 있다.

전술한 영상매칭 매니저(200B)와 WAS(280)는 단일 장소에 함께 설치될 수 있으며, 그 경우 이들의 조합도 넓은 의미에서 스테레오 드론을 이용하는 무기준점 토공량 산출 시스템으로 지칭될 수 있다.

좀더 구체적으로 설명하면, 사용자 단말(300)은 네트워크를 통해 영상매칭 관리자(200B)에 연결되고, 토공량 산출 대상지역의 범위와 이 대상지역에 대한 정사영상의 해상도 정보를 영상매칭 관리자(200B) 측에 전달할 수 있다. 사용자 단말(300)은 디스플레이 장치와 서브통신시스템을 포함하는 클라이언트 단말, 프로세서와 메모리를 포함하는 컴퓨팅 장치 등으로 구현될 수 있다.

드론(100A)은 영상 데이터와 위치 및 자세 데이터를 정확하게 시간 동기화하여 수집하고, 수집한 데이터를 영상매칭 관리자(200)에게 제공할 수 있다. 드론(100A)은 무인항공기 플랫폼, 센서 및 센서 지원부를 포함할 수 있다. 플랫폼은 센서 및 센서 지원부를 지지하며, 고정익 또는 회전익 형태를 구비할 수 있다.

드론(100A)에 탑재되는 센서는 디지털 카메라, 위성항법장치(global positioning system, GPS), 관성항법장치(inertial navagation system, INS)/관성측정장치(inertial measurement unit, IMU), 레이저 스캐너 등을 포함할 수 있다.

디지털 카메라는 광학레인지 파인더를 가지고 있지 않은 가벼운 카메라일 수 있으며, 다양한 렌즈가 탈착될 수 있고 센서의 사이즈가 무게에 비하여 큰 카메라일 수 있다. GPS는 영상의 촬영 당시 카메라의 위치를 획득하기 위한 실시간 파싱(parsing)이 가능한 제품을 사용할 수 있으며, 센서 시스템 전체의 시간 동기화를 위한 기준 시간을 제공할 수 있다. 그리고 IMU는 미세전자기계 시스템(Micro Electro Mechanical Systems)으로 형성될 수 있고, GPS와 마찬가지로 실시간 데이터 획득이 가능한 형태인 것이 바람직하며, 플랫폼의 자세를 나타내는 롤(roll), 피치(pitch), 요(yaw)/헤딩(heading) 값을 제공할 수 있다.

또한, 드론(100A)에 탑재되는 센서 지원부는 센서 통합 및 동기화를 담당하는 통합제어보드를 포함할 수 있고, 센서 제어 및 센서 데이터 저장, 시간 동기화 등의 기능을 수행할 수 있다. 통합제어보드는 비행 계획에 따라 설정된 사항을 전송받아 데이터 취득 주기를 조절할 수 있고 획득되는 영상 데이터와, 위치 데이터 및 자세 데이터를 GPS 시간으로 동기화하여 저장할 수 있다. 전술한 센서와 통합제어보드는 플랫폼에 플러그인 방식으로 탑재 가능하다.

또한, 드론(100A)에 탑재되는 스테레오 카메라의 내부표정요소는 토공량 산출 시스템의 영상매칭 관리자(200B)의 카메라 보정을 통해 획득될 수 있다. 이와 같이, 본 실시예에서는 드론(100A)에 탑재된 스테레오 카메라로부터 영상 데이터를 획득하기 전에 스테레오 카메라를 보정하여 내부표정요소를 획득하는 과정을 더 포함할 수 있다.

스테레오 카메라 또는 스테레오 비전 카메라의 경우, 카메라의 위치가 고정되어 있어 스테레오 카메라 정보를 이용하여 동일한 정합 과정 적용 가능하다. 또한 매 순간이 독립촬영이고 좌ㆍ우 영상의 동기화를 통해 조명 조건이 같아 기상 및 밝기 변화에 강한 장점을 가지고 있다. 뿐만 아니라 촬영 위치 점마다 포인트 클라우드 정보를 생성해 내기 때문에 적은 사진으로도 3차원 정보를 구성할 수 있으며, 스테레오 영상마다 절대 표정된 포인트 클라우드 정보를 생성할 수 있기 때문에 오차의 누적이 없거나 적다는 장점을 가지고 있다.

스테레오 카메라는 두 카메라들 사이의 거리인 베이스라인(baseline)의 길이에 따라 초점 거리가 달라지므로 베이스라인을 조정하면 지상에서 10M ∼ 150M 범위 내에서 촬영이 적합하도록 장비를 구성할 수 있다. 또한, 스테레오 비전 카메라는 데이터 처리 속도를 빠르게 할 수 있도록 회색톤(grey scale)의 영상을 획득하도록 구성될 수 있다.

드론(100B)의 스테레오 카메라로 촬영된 영상 즉 드론 영상은 실제 현장이나 원하는 지역보다 더 넓은 지역을 촬영한 것일 수 있다. 그 경우, 모든 드론 영상에 원하는 현장이 포함되지 않을 수 있다. 실제로, 80M 고도에서 촬영된 드론 영상이 총 150장이라고 할 때, 그 중 87장만이 실제 현장을 포함하여 87장에 대한 드론 영상을 모델링에 사용하였고, 100M 고도에 대해서는 총 100장의 드론 영상들 중 65장이, 120M 고도에 대해서는 총 80장의 드론 영상들 중 48장이 모델링에 사용하였다. 이와 같이, 본 실시예에서는 매칭 과정 이전이나 매칭 과정 도중에 드론 영상들 중 원하는 드론 영상을 선별하는 과정을 포함할 수 있다.

또한, 본 실시예에서 드론 영상은 기본적으로 지상 기준점을 포함하지 않는다. 종래 기술에서는 통상 지상에 지상기준점을 설치함으로써 서로 다른 비행 고도나 위치 또는 자세에서 촬영된 영상들에 포함된 기상기준점 등을 이용하여 영상들을 상호 매칭시켜 정합하거나 외부 표정 요소를 결정하도록 이루어진다. 한편, 본 실시예에서는 드론에 탑재된 실시간 이동측위(real-time kinematic, RTK) GPS와 관성항법장치(INS)로 스테레오 카메라 등 센서의 위치와 회전각을 정확하게 결정함으로써 외부 표정 요소의 결정을 위한 지상기준점 및 지상기준점 측량 과정을 생략할 수 있다.

또한, 드론(100A)은, 자이로 센서의 3축 각속도 데이터는 자세 벡터를 계산하는 프로세서를 포함할 수 있다. 추가적으로 드론은 안정적인 비행을 지원하기 위해 기압계(barometer) 등과 같은 장비도 탑재할 수 있다.

전술한 드론(100A)은 위치데이터를 생성하는 위성항법장치(global positioning system, GPS)와 자세값을 생성하는 관성항법장치(inertial navigation system, INS)를 구비한다. 관성항법장치는 관성측정장치(inertial measurement unit, IMU)에 대응할 수 있고, 가속도 센서와 자이로(gyro) 센서를 구비할 수 있다.

관성항법장치에서 가속도 센서의 3축 가속도 데이터(Ax, Ay, Az)는 축 변환(axis trasform) 모듈에 의해 미리 설정된 3차원 가속도 데이터(An, Ae, Av)로 변환되고, 3차원 가속도 데이터(An, Ae, Av)는 위치 데이터와 속도 데이터로 변환되어 출력될 수 있다. 이때, 위치 데이터와 속도 데이터에 대응하는 자이로 토크 신호(gyro torquing signals)가 자이로 센서의 3축 각속도 데이터(Wx, Wy, Wz)를 처리하는 자세 벡터 계산 모듈에 입력될 수 있다. 자세 벡터 계산 모듈의 출력은 축 변환 모듈에 입력될 수 있다.

영상매칭 관리자(200B)는 크게 드론(100A)이 비행 전과 후에 동작하는 모듈들로 구비할 수 있다. 드론(100A)의 비행 전에는 사용자 단말(300)로부터 촬영 지역과 요구 공간해상도 값을 받아 비행경로를 자동 생성할 수 있다. 그리고 생성된 비행경로 정보로부터 데이터 획득 주기를 통합제어보드에 설정할 수 있다.

또한, 드론(100A)이 앞서 생성된 비행 계획에 따라 비행을 완료하면, 영상매칭 관리자(200B)는 획득한 데이터를 시간동기화와 필터링을 수행하고, 필터링 후의 데이터를 입력으로 빠르게 3차원 공간정보를 자동으로 생성하기 위한 영상 지오레퍼런싱, 정사영상 생성 과정을 수행할 수 있다.

좀더 구체적으로, 영상매칭 관리자(200B)는 사용자 단말(100)로부터 대상지역 범위와 이 대상지역에 대한 정사영상의 해상도 정보를 받고, 대상지역과 요구되는 해상도를 고려하여 드론(100A)의 최적 비행경로를 수립하고 드론(100A)을 통해 데이터를 획득할 수 있다. 데이터는 멀티센서 데이터로서 영상 데이터와 위치 데이터와 자세 데이터를 포함하며, 드론(100A)의 초기 위치 자세를 포함할 수 있다.

또한, 영상매칭 관리자(200B)는 취득한 멀티센서 데이터의 초기 위치 자세를 활용하여 영상매칭을 수행하고 이를 통해 영상들 간의 신뢰성 높은 공액점을 자동으로 추출한다. 추출한 공액점과 앞서 영상과 함께 취득한 위치자세 데이터를 확률제한조건으로 적용하는 번들블럭조정에 기초하여 지오레퍼런싱(georeferencing) 과정을 수행하고, 이를 통해 영상의 외부표정요소를 정밀하게 추정할 수 있다.

또한, 영상매칭 관리자(200B)는 추정된 외부표정요소를 활용하여 개별 영상을 기존의 수치표고모형(digital elevation model, DEM)이나 평균고도면에 투영하여 적절한 품질의 정사영상을 생성할 수 있다.

전술한 영상매칭 관리자(200B)는 비행경로 생성 모듈, 데이터 획득주기 설정 모듈, 시간동기화 모듈, 필터링 모듈, 영상 지오레퍼런싱 모듈, 정사영상 생성모듈 등을 포함한다. 사용자 단말(300)로부터 토공량 산출 대상지역에 대한 범위와 이 대상지역의 정사영상의 해상도에 대한 정보가 입력되면, 영상매칭 관리자(200)는 드론(300)의 비행계획을 수립하고, 드론(100A)에서 시간동기화되어 수집되는 데이터를 받거나, 이 데이터를 필터링한 데이터를 받을 수 있다.

또한, 드론(100A)에서 직접 지오레퍼런싱(direct georeferencing)을 수행하는 경우, 영상매칭 관리자(200B)는 드론(100A)으로부터 영상의 지오레퍼런싱 결과를 제공받을 수 있다. 영상 지오레퍼런싱 결과는 영상 지오레퍼렌싱은 공액점을 추출하는 영상 매칭과 외부표정요소를 결정하는 번들 블록 조정 단계로 구성될 수 있다.

영상 매칭은 번들 블록 조정의 입력 데이터 중 하나인 공액점을 추출하는 과정으로, 자동으로 연속된 여러 장의 영상에서 동일한 객체를 나타내는 영상점의 쌍을 찾아 추출하는 과정이다. 고속으로 공간정보를 생성하는 지상 소프트웨어의 요구 사항에 따라 영상 매칭 과정 역시 빠른 처리 속도가 요구된다. 따라서 처리 속도 면에서 우수한 성능을 보이는 KLT(Kanade Lucas Tomasi) 특징 추적(feature tracker) 알고리즘을 기반으로 영상 간의 이동 및 회전량이 크더라도 신뢰도 높은 결과물을 산출할 수 있도록 영상의 외부표정요소를 활용하는 개선된 KLT 알고리즘 채택할 수 있다.

번들 블록 조정은 다수의 영상으로부터 공액점을 관측하고, 전체 영역에 대해 소수의 기준 데이터를 활용하여, 공선조건식에 기반을 두어 영상의 외부표정요소와 공액점에 상응하는 지상점의 좌표를 결정하는 과정이다. 본 실시예에서는 지오레퍼런싱 결과로부터 대상지역의 공간정보를 고속으로 자동 생성하기 위하여 번들 블록 조정 과정에서 지상기준점의 사용없이 위성항법장치의 위치 데이터와 관성항법장치의 자세 데이터로부터 산출되는 영상의 초기 외부표정요소를 확률제약조건으로 활용할 수 있다.

또한, 영상매칭 관리자(200B)는 정사영상 생성 모듈을 통해 수치 표고 모형이나 정사영상과 같은 공간정보를 출력할 수 있다. 정상영상 생성 모듈은 3차원 공간정보생성 소프트웨어를 포함할 수 있으며, 영상 지오레퍼런싱을 통해 정밀하게 결정된 영상의 외부표정요소를 전달받아 영상으로부터 지도와 동일한 좌표체계를 갖는 수치 표고 모형이나 정사영상 등의 공간정보를 출력할 수 있다.

여기서, 수치표고모형은 처리 시간이 많이 소요되는 정밀 매칭(Dense matching)에 의해 지상의 밀도 높은 3차원 점집합을 계산하고 이로부터 생성되도록 이루어질 수 있다. 본 실시예에서는 신속한 수치 표고 모델, 이를 입력으로 하는 정사영상 생성을 위하여 평균 고도면의 수치 표고 모델을 생성할 수 있다. 평균 고도의 값은 비행 계획 수립 과정에서 산출되는 사용자의 관심영역에 대한 최소 경계 사각형의 경계점 좌표로부터 결정될 수 있다.

그리고 정사영상이란 중심 투영으로 생성된 영상 상에 포함된 기복변위를 제거하여 지도와 동일한 좌표체계로 변환된 영상을 의미한다. 본 시스템의 최종 산출물인 정사영상을 생성하기 위해서는 기복변위를 제거하는 편위 수정 과정이 중요한데, 본 실시예에서는 영상점과 투영 중심, 지상점이 한 직선 위에 존재한다는 공선조건식을 기반으로 하여 정사영상의 밝기 값을 원영상에서 가져오는 미분편위 수정 방법을 채택할 수 있다.

즉, 미분 편위 수정을 통해 생성된 정사영상의 밝기 값을 결정할 때 정사영상의 격자에 상응하는 원영상의 위치로 가서 주변 밝기 값을 내삽하여 영상 재배열을 수행할 수 있다. 이때 고속 처리를 위하여 가장 가까운 거리에 있는 원영상의 밝기 값을 그대로 쓰는 최근린 내삽법(Nearest neighbor)을 채택할 수 있다.

외부표정요소(exterior orientation parameters, EOP)는 GPS/INS 센서에서 획득되는 촬영 당시의 센서의 위치를 나타내며 정확한 측량을 위해 반드시 필요한 정보이다. 촬영당시의 센서 정보를 그대로 쓸 경우 정확한 측량 결과를 얻기 어렵다. 이에, 종래의 경우, 토공량 산출 대상지역에 대한 항공 삼각 측량을 수행하여 지상기준점(ground control point, GCP)으로 보정된 새로운 EOPs 값을 도출하여야 하며 이를 위해 대부분의 전체 영역 전체에 분포하는 1.5cm 정밀도의 GCP를 사용하였다. 그리고, 영상의 대부분이 물로 구성되어 직접 측량이 쉽지 않은 수변 구조물의 특성상 GCP는 구조물 위에서 취득된 점들을 사용하고, 이후의 영상 정합은 이들 GCP로 보정된 EOP 값을 사용하여 처리하였다.

한편, 본 실시예에서는 객체 기반 정합 기법이 아닌 스테레오 영상페어를 활용한 사진 측량학 요소를 이용한다. 사진 측량학 요소는 드론(100A)의 직접 지오레퍼런싱에 의한 영상을 특징점에 기초하여 상호 매칭하는 것을 포함할 수 있다.

본 실시예에서 사용하는 스테레오 정합 방식은 에피폴라 라인 상에서 그레이 레벨(grey-level) 영상에서의 상관계수 비교를 수행하여 최적의 정합 쌍을 찾아내는 방식으로, 정합 쌍 판단 시 각각 다른 크기의 다수의 정합 영역을 설정하여 센서모델의 오차가 발생하더라도 강인하게 정합결과의 도출이 가능하다. 이 방법은 드론 영상과 같은 항공사진에서 뛰어난 성능을 나타낸다. 본 실시예에서는 스테레오 정합 방식에 대한 알고리즘이 탑재된 프로그램을 활용하여 GCP의 입출력 및 센서 모델을 수행하고, 이를 이용하여 DSM을 추출할 수 있다.

일례로, 소프트웨어 상에서 영상 및 EO 파일 입력 후 두 장의 영상을 선택하고 해상도를 결정하여 DSM을 생성할 수 있으며, 필요한 경우, GCP를 추가로 입력하여 영상의 기하학적인 오류를 보정한 DSM을 생성할 수 있다.

한편, 오차가 포함되어 있는 EO값은 GCP 등을 이용해서 높은 수준으로 조정이 가능하나 본 실시예의 대상지역과 같은 토목 건설 현장이나 붕괴지형이 있는 재난지역 등에서는 스트립을 전부 포함하는 높은 정확도의 GCP을 얻는 것은 어려우며, 취득된 영상들도 흔들림 등의 이유로 영상 간 품질이 다를 수 있기 때문에 정합이 가능한 모든 스테레오 영상에서 개별적인 DSM을 생성하고, 생성된 DSM의 품질에 따라 일부 영역에 모자이크를 수행하는 방식이 추가로 적용할 수 있다. 여기서, 전체의 영상 정합 공정 중 최적의 정합쌍을 도출하기 위해 두 후보 영상의 중복도가 너무 낮거나 영상간의 주시각(convergence angle)의 조건이 맞지 않는 경우에서는 정합을 수행하지 않을 수 있다.

DSM의 처리 과정을 좀더 구체적으로 설명하면 다음과 같다.

먼저, 기준 DSM을 확보한다. 대상지역의 정확도를 비교 분석할 데이터는 드론이나 항공라이다를 통해 취득할 수 있으며, 이는 7.5 point/㎡의 점밀도를 가지는 포인트 데이터이다. 본 실시예에서는 이 데이터를 필터링, 분류 과정을 거쳐 좌표 보정을 실시하고, 50㎝ 해상도를 가지는 DSM으로 변환하여 처리할 수 있다.

기준 DSM은 실제 측량한 검사점을 통하여 정확도 평가를 수행하였으며 대상 지역에 골고루 분포된 37개의 점에서 측정된 높이값의 RMSE는 1.5㎝로 높은 정확도를 보여주었다. 이는 UAV 영상에 비해 해상도는 낮지만 평지 및 일반 지형에서의 정확도를 판단하기에 무리가 없는 수치라고 판단된다. 최종적으로 생성된 DSM은 이 기준 DSM과 동일 수평 좌표 상에서 계산되는 높이값의 차이를 비교하는 것으로 정확도의 분석을 수행할 수 있다.

다음, 영상 전처리를 수행할 수 있다. 드론 등의 무인항공기(UAV)와 같이 촬영범위가 좁고 근접촬영이 가능한 센서에서 촬영될 경우, 물은 시간의 흐름에 따라 영상에서 상태가 변하는 대표적인 사물이 된다. 물 지역이 영상에 포함되어 있을 경우 이들은 오정합의 원인이 되어 다량의 노이즈를 발생시킬 수 있다. 이에 정확한 수변구조물의 DSM의 생성을 위해서 정합 대상 영상에 마스킹 단계를 추가로 수행할 수 있다. 마스킹 과정을 통해 물 지역을 정합 대상에서 제외시킴으로써 더욱 높은 품질의 DSM을 생성할 수 있다.

다음, 스테레오 영상 페어별 DSM을 생성한다. 기준 DSM의 해상도와 전체 처리시간을 고려하여 DSM 각각의 공간해상도는 0.2m로 설정하여 처리할 수 있다. 정확한 정확도의 분석을 위해 별도의 인터폴레이션 및 후처리는 진행하지 않고 처리할 수 있다. 이렇게 생성된 결과들 중 해당 지역을 대표할 수 있는 최적의 DSM들을 선택하여 모자이크된 DSM 결과물을 제작할 수 있다. 한편, 일부 지역에서는 텍스쳐 정보가 너무 없거나 EO 정보가 가지고 있는 오차가 커서 오정합 결과가 많이 포함되는 DSM이 존재할 수 있으므로, 이것들을 최종 DSM 생성 단계에서 제외할 수 있다.

EO 정보가 가지고 있는 초기오차는 GCP를 사용하여 보정할 수 있으나, 영상이 취득된 지역의 지리적 특성상 다수의 GCP가 취득되지 못할 수 있고, 전체 지역에 골고루 분포되지 못해서 정확한 보정이 되지 못한 경우 신뢰할 수 있는 DSM의 생성이 어렵다. 따라서, 본 실시예에서는 이러한 지역들에 대한 기준 DSM을 활용하여 DSM의 포인트 정보와 일치하는 영상점을 찾아내어 수동으로 GCP를 취득하여 보정할 수 있다.

생성된 DSM을 비교해 보면, 보정 전의 EO값을 사용한 경우에 비해, 노이즈가 감소되고, 도로 등 시설물의 표현이 자연스러움을 확인할 수 있다. 대부분의 영상에서 다량의 GCP를 취득하여 센서 정보를 보정하는 것이 정확도 향상에 도움이 되나 다수의 영상이 동시에 처리되어야 하는 UAV 영상의 특성상 모든 영상에 해당하는 GCP를 수동으로 취득하는 것은 무리가 있다. 이에 먼저 대상영상의 개별 스테레오 영상 정합을 수행한 후, 대상지역의 결과가 좋지 않은 경우 GCP를 수동으로 취득하여 해당 지역을 보완하는 방식으로 처리를 수행할 수 있다.

생성된 DSM의 정량적 분석을 위해 기준 데이터와의 높이값 차이를 비교하여 계산할 수 있다. 일례로, 계산 결과가 좋지 않은 경우, 중간값을 사용하여 과대오차의 영향을 최소화하고 오차의 분포를 나타내는 NMAD 수치가 낮춰지도록 디지털 처리를 수행할 수 있다.

한편, 오차의 원인을 분석하기 위해 차이 맵(Difference Map)을 제작하여 이용할 수 있다. 차이 맵은 차이의 절대값으로 표시될 수 있다. 일례로, 영상에서 붉게 표시된 부분은 과대오차가 발생한 지역이며 이들을 분색해 본 결과 과대오차는 구조물들의 경계면에서 많이 발생할 수 있다. 특히 교량의 양쪽 경계면에서 큰 오차들이 발생할 수 있으며, 그 원인은 첫째로 LIDAR 포인트에서 생성된 기준 DSM과 영상 기반 정합으로 생성된 DSM의 해상도 및 경계면 처리의 차이로 볼 수 있고, 또 하나는 실제 해당 지역에 특정 시설물 예컨대 가드레일들이 DSM 상에서 제대로 반영되지 못하였기 때문일 수 있다.

영상 중앙의 구조물에서 발생한 과대 오차는 영상 내 고층 구조물과 와이어 등이 존재하여 이들이 원인이 되어 발생한 문제로 분석되며, 그 외에도 텍스쳐가 거의 없는 도로면, 물이 포함되어 있는 지형 등이 오차의 원인으로 분석될 수 있다. 과대 오차 외의 2m 이내에서 발생하는 오차들은 EO 값의 초기 오차로 인해 발생하는 기하학적인 오류에서 발생하는 문제들과, 영상의 실제 해상도 대비 제작된 DSM의 해상도가 작게 설정되어 지형의 표현이 부드럽지 못해 발생하는 문제들일 수 있다.

전술한 구성에 의하면, 초기 EO 값을 사용해서 생성한 스테레오 DSM 영상에 5×5 중간값 필터를 적용해 노이즈를 제거하고 과대오차 부분을 수동으로 직접 제거한 DSM을 생성할 수 있다. 또한, 위에서 언급한 과대오차 부분을 수동을 직접 제거한 DSM의 처리 결과와 이 DSM과 기준 자료와의 차이 맵을 통해 과대오차를 제거할 수 있다.

또한, 차이의 경향을 파악하기 위해 절대값 처리는 하지 않을 수 있다. 그 경우, 과대오차를 제거해도 ±3m 이내의 오차가 발생할 수 있는데, 이는 DSM의 세로 중심을 기준으로 DSM 영상이 동서방향으로 기울어진 형태를 가질 수 있다. 이는 DSM이 기하학적인 오차를 포함할 수 있음을 의미하며, 또한 측정된 8개의 GCP로 수정된 초기 EO 파일이 정확하지 않음을 의미할 수 있다. 이러한 문제는 생성된 DSM을 모자이크 처리할 때에 접합면에서 높이값의 차이가 나타나는 원인이 될 수 있다.

또한, DSM의 정확도는 더 정밀한 다수의 GCP 등을 활용하여 정확한 EO 값을 도출하고 센서모델을 수립하여 수준 높게 개선할 수 있다. 즉, 수직오차 센티미터(cm) 수준의 높은 정확도의 DSM을 생성할 수 있다. 또한, DSM 생성 이후 노이즈 필터링, 홀 제거와 같은 자동, 반자동 편집과 인터폴레이션 등의 후처리가 적용된다면 더 좋은 성능의 DSM의 생성이 가능하다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 본 명세서의 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 위에서 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 청구범위뿐 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (6)

1. 드론에 탑재된 스테레오 카메라에서 촬영된 영상 데이터와, 상기 드론에 탑재된 위성항법장치(global positioning system, GPS)와 관성항법장치(inertial navigation system, INS)에서 생성된 위치 데이터 및 자세 데이터를 토대로 상기 스테레오 카메라, 상기 GPS, 상기 INS 또는 상기 드론의 위치와 회전각을 결정하는 단계;
   상기 위치와 회전각에 기초하여 상기 GPS의 시간에 따라 상기 영상 데이터를 상기 위치 데이터 및 상기 자세 데이터와 동기화한 드론 영상들을 상호 매칭시키는 단계;
   상기 매칭된 드론 영상들을 실시간 연속적으로 정합시켜 깊이지도를 생성하는 단계; 및
   상기 정합된 드론 영상들을 이용하여 포인트 클라우드를 생성하는 단계;
   를 포함하며,
   상기 깊이지도를 생성하는 단계는, 정합된 영상 내 지형 지역의 3차원 위치값에서 기준 높이값을 설정하고, 기측정한 위치에 대한 영역을 설정하고, 설정 영역의 2차원 면적에 대한 값을 생성하고, 설정 영역을 삼각망으로 계산하고, 계산된 삼각망에 기준 높이값을 곱하여 구하고자 하는 면적에 대한 부피를 추출하며, 여기서 추출된 부피는 토공량을 산출하는 지형 데이터에 대응하는,
   스테레오 드론을 이용하는 무기준점 토공량 산출 방법.
2. 청구항 1에 있어서,
   상기 생성하는 단계 후에, 상기 포인트 클라우드를 3차원 메쉬 모델링하는 단계; 및
   상기 모델링하는 단계 후에, 상기 3차원 메쉬 모델링에 기초하여 상기 드론 영상 내 특정 위치에 대응하는 현장 영역에 대한 토공량을 추정하는 단계를 더 포함하는, 스테레오 드론을 이용하는 무기준점 토공량 산출 방법.
3. 청구항 2에 있어서,
   상기 매칭시키는 단계는 원본 영상의 기하 보정된 영상 데이터의 보정값을 상기 원본 영상을 다른 영상과 정합할 때 더해주며,
   상기 토공량을 추정하는 단계는, 상기 지형 지역에 대한 드론 영상이나 드론 영상과 설계도면의 조합에 기초하여 드론 영상 내 재질들의 종류 또는 지질구조에 미리 설정된 가중치를 부여하는, 스테레오 드론을 이용하는 무기준점 토공량 산출 방법.
4. 스테레오 카메라를 탑재한 스테레오 드론으로서,
   상기 스테레오 카메라에서 촬영된 영상 데이터와, 위성항법장치(global positioning system, GPS)와 관성항법장치(inertial navigation system, INS)에서 생성된 위치 데이터 및 자세 데이터를 토대로 상기 스테레오 카메라, 상기 GPS, 상기 INS 또는 이들의 조합에 대한 위치와 회전각을 결정하는 위치자세 결정부;
   상기 위치와 회전각에 기초하여 상기 GPS의 시간에 따라 상기 영상 데이터를 상기 위치 데이터 및 상기 자세 데이터와 동기화한 드론 영상들을 상호 매칭시키는 영상매칭부;
   상기 매칭된 드론 영상들을 실시간 연속적으로 정합시켜 깊이지도를 생성하는 영상정합부; 및
   상기 정합된 드론 영상들을 이용하여 포인트 클라우드를 생성하는 포인트 클라우드 생성부;
   를 포함하며,
   상기 영상정합부는, 깊이지도 생성 모듈을 포함하는 것으로서, 정합된 영상 내 지형 지역의 3차원 위치값에서 기준 높이값을 설정하고, 기측정한 위치에 대한 영역을 설정하고, 설정 영역의 2차원 면적에 대한 값을 생성하고, 설정 영역을 삼각망으로 계산하고, 계산된 삼각망에 기준 높이값을 곱하여 구하고자 하는 면적에 대한 부피를 추출하며, 여기서 추출된 부피는 토공량을 산출하는 지형 데이터에 대응하는, 스테레오 드론.
5. 청구항 4에 있어서,
   상기 포인트 클라우드를 3차원 메쉬 모델링하는 모델링부; 및
   상기 3차원 메쉬 모델링에 기초하여 상기 드론 영상 내 특정 위치에 대응하는 현장 영역에 대한 토공량을 추정하는 토공량 추정부를 더 포함하는, 스테레오 드론.
6. 청구항 5에 있어서,
   상기 영상매칭부는 원본 영상의 기하 보정된 영상 데이터의 보정값을 상기 원본 영상을 다른 영상과 정합할 때 더해주며,
   상기 토공량 추정부는, 상기 지형 지역에 대한 드론 영상이나 드론 영상과 설계도면의 조합에 기초하여 드론 영상 내 재질들의 종류 또는 지질구조에 미리 설정된 가중치를 부여하는, 스테레오 드론.

Images