KR20190051704A

KR20190051704A - 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템

Info

Publication number: KR20190051704A
Application number: KR1020170147631A
Authority: KR
Inventors: 이종훈; 박성근; 신재호; 변정민; 최윤호
Original assignee: 공간정보기술 주식회사
Priority date: 2017-11-07
Filing date: 2017-11-07
Publication date: 2019-05-15
Also published as: KR102001728B1

Abstract

스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템이 개시된다. 스트레오 카메라 드론에서 수행되는 무기준점 3차원 위치좌표 취득 방법은, 드론에 탑재된 스테레오 카메라에서 촬영된 영상 데이터와, 드론에 탑재된 위성항법장치(GPS)와 관성항법장치(INS)에서 생성된 위치 데이터 및 자세 데이터를 토대로 드론의 위치와 회전각를 결정하는 단계; 위치와 회전각에 기초하여 GPS의 시간에 따라 영상 데이터를 위치 데이터 및 자세 데이터와 동기화한 드론 영상들을 상호 매칭시키는 단계; 매칭된 드론 영상들을 실시간 연속적으로 정합시키는 단계; 및 정합된 드론 영상들을 이용하여 깊이지도를 생성하는 단계를 포함한다.

Description

스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템{METHOD AND SYSTEM FOR ACQUIRING THREE DIMENTIONAL POSITION COORDINATES IN NON-CONTROL POINTS USING STEREO CAMERA DRONE}

본 발명의 실시예는 3차원 위치좌표 취득 방법에 관한 것으로, 보다 상세하게는, 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템에 관한 것이다.

무인항공기는 조종사를 태우지 않고, 공기역학적 힘에 의해 부양하여 자율적으로 또는 원격조종으로 비행을 하며, 무기 또는 일반화물을 실어나를 수 있는 일회용 또는 재사용할 수 있는 동력 비행체로 정의될 수 있다. 이러한 무인항공기 체계는 드론(drone)으로 지칭되기도 한다.

무인항공기 '드론'의 기술이 발달함에 따라 드론을 활용한 여러 가지 응용이 개발되고 있다. 드론은, 개발 초기, 주로 군사용으로 사용되었지만 점차 그 활용 분야가 확대되어 최근에는 시설물 관리, 해안/환경 감시, 대형 건축물 감시, 산불/산림 감시, 야간 무인 순찰, 무인 택배 서비스, 농약살포기, 범죄 색출/추적/작전 수행, 익스트림 스포츠 촬영, 지형 및 구조물 모델링 등과 같은 다양한 용도로 사용되고 있으며 드라마, 예능, 관광지 촬영 등에도 사용되고 있다.

한편, 재난 현장에서 매몰자를 탐지하기 위해서는 구조 업무를 수행하는 인력이나 관리자가 현장의 실제 붕괴 정도 및 현재 상태를 신속하게 파악하여야 구조 업무가 순조롭게 진행될 수 있다. 하지만, 위험한 현장 여건과 구조 인력의 한계로 인하여 재난 현장의 상황을 신속하고 정확하게 파악하는 일은 쉽지 않다. 실제로 붕괴 현장의 경우 사람의 접근시 추가 붕괴의 위험 등으로 인해 현장 접근이 어려워 현장의 정보를 파악하기가 쉽지 않다. 또한, 재난 지역이 상대적으로 넓은 경우, 한정된 구조 인력을 활용하여 현장의 실제 붕괴 상황이나 붕괴된 시설물들을 치우기 위해 현장의 입체적인 구조 등을 파악하기가 쉽지 않다.

또한, 기존 건물을 파괴한 후 새로운 건물이나 녹지 환경 등을 조성하고자 하는 경우, 해당 토목 건설 현장에서 기존 건물을 파괴한 후에 컴퓨터 장치를 이용하여 작업해야할 지역에 대한 3차원 지형을 획득하는 데에는 많은 시간과 인력이 요구된다.

등록특허공보 제10-1546708호(2015.08.18)

본 발명은 상술한 종래의 문제점을 개선하기 위해 도출된 것으로, 사진 측량학 요소를 사용하여 스테레오 카메라의 장점인 카메라간 외부 표정 요소를 고정함으로써, 드론의 높이와 자세에 관계없이 그리고 드론의 스테레오 카메라에 의한 영상(이하, 드론 영상)에서 에피폴라(epipolar)의 수직 오차를 재설정하지 않고도, 실시간 얻어진 드론 영상과 부가 정보(위치 정보 포함)를 이용해 현장에서 포인트 클라우드를 위한 깊이지도 값을 실시간으로 취득할 수 있는, 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템을 제공하는데 그 목적이 있다.

본 발명의 다른 목적은 영상이나 공액점이 추가되는 시점마다 항공삼각측량을 수행함으로써 영상의 외부표정요소나 공액점에 상응하는 지상점 좌표와 같은 미지수를 자동으로 갱신 및 추정할 수 있는, 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템을 제공하는데 있다.

본 발명의 또 다른 목적은 기존 아날로그 필름 현상을 활용한 사진 측량에서 고해상도 카메라를 이용하는 컴퓨터 기술로의 진보에 따라 영상 취득 및 측정, 조정, 분석에 이르는 과정을 자동화한 수치해석 사진측량 기법을 활용할 수 있는, 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템을 제공하는데 있다.

본 발명의 또 다른 목적은, 드론으로 촬영된 영상이나 이 영상에 기반한 파노라마 영상에서 영상 내 특정 건물이나 지역에 대하여 무기준점으로 3차원 위치좌표를 취득할 수 있는 방법 및 시스템을 제공하는 데 있다.

본 발명의 또 다른 목적은, 정지영상/동영상 콘텐츠와 소형 부착장비에서 취득한 위치/자세 데이터 간 동기화 및 드론으로 촬영한 파노라마 정지영상/동영상과 GIS 데이터를 동기화하여 3차원 위치좌표를 포함한 부가 정보가 표시되는 파노라마 정지영상/동영상을 서비스할 수 있는, 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템을 제공하는데 있다.

본 발명의 또 다른 목적은, 드론으로 촬영한 영상으로 파노라마 영상을 구성하고 파노라마 영상과 GIS 데이터를 이용하여 드론으로 촬영된 영상 위에 3차원 위치좌표를 포함한 부가 정보를 라벨링할 수 있는, 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템을 제공하는데 있다.

본 발명의 또 다른 목적은, 드론을 이용하여 촬영한 파노라마 영상에 3차원 위치좌표를 포함한 부가 정보에 대한 영상 표시 서비스를 제공할 수 있는, 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템을 제공하는데 있다.

본 발명의 또 다른 목적은, 파노라마 뷰에 3차원 위치좌표를 가진 라벨링 서비스를 제공할 수 있는, 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템을 제공하는데 있다.

상술한 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따른 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법은, 스트레오 카메라 드론에서 수행되는 무기준점 3차원 위치좌표 취득 방법으로서, 드론에 탑재된 스테레오 카메라에서 촬영된 영상 데이터와, 상기 드론에 탑재된 위성항법장치(global positioning system, GPS)와 관성항법장치(inertial navigation system, INS)에서 생성된 위치 데이터 및 자세 데이터를 토대로 상기 스테레오 카메라, 상기 GPS, 상기 INS 또는 상기 드론의 위치와 회전각를 결정하는 단계; 상기 위치와 회전각에 기초하여 상기 GPS의 시간에 따라 상기 영상 데이터를 상기 위치 데이터 및 상기 자세 데이터와 동기화한 드론 영상들을 상호 매칭시키는 단계; 상기 매칭된 드론 영상들을 실시간 연속적으로 정합시키는 단계; 및 상기 정합된 드론 영상들을 이용하여 깊이지도를 생성하는 단계를 포함한다.

상술한 기술적 과제를 달성하기 위한 본 발명의 다른 측면에 따른 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법은, 위의 일 측면에 따른 단계들 중 결정하는 단계를 제외한 나머지 단계들을 드론과 신호 및 데이터를 송수신하는 사용자 단말이나 다양한 컴퓨팅 장치에서 수행되도록 구현될 수 있다.

일실시예에서, 상기 생성하는 단계는, 스테레오 비전 영상 데이터 또는 이에 대응하는 영상 데이터를 나란히 혹은 쌍으로 사전처리하는 단계; 사전처리된 영상 데이터의 수직 에러를 제거하거나 기하보정을 수행하는 단계; 및 상기 기하보정된 영상 데이터를 이용하여 깊이지도를 생성하는 단계를 포함할 수 있다.

일실시예에서, 무기준점 3차원 위치좌표 취득 방법은, 상기 생성하는 단계 후에, 상기 깊이지도를 2차원에서 3차원 지도로 좌표 변환하는 단계를 더 포함할 수 있다.

일실시예에서, 무기준점 3차원 위치좌표 취득 방법은, 상기 변환하는 단계 후에, 상기 변환된 깊이지도를 이용하여 포인트 클라우드를 생성하거나 불규칙 삼각망(triangulated irregular network, TIN)을 생성하는 단계; 상기 변환된 깊이지도를 이용하여 3D 모델링을 수행하는 단계; 또는 상기 변환된 깊이지도를 이용하여 3차원 위치좌표를 생성하는 단계를 더 포함할 수 있다.

일실시예에서, 무기준점 3차원 위치좌표 취득 방법은, 상기 변환하는 단계 후에, 상기 깊이지도의 적어도 일부 영역에 대한 체적 분석을 수행하는 단계를 더 포함할 수 있다.

일실시예에서, 상기 정합시키는 단계는, 제1 드론 영상과 상기 제1 드론 영상에 정합되는 제2 드론 영상의 정합 시에 상기 매칭시키는 단계에서 기하보정된 영상 데이터의 보정값을 더해주도록 구현될 수 있다.

상술한 기술적 과제를 달성하기 위한 본 발명의 또 다른 측면에 따른 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 시스템은, 스트레오 카메라 드론을 포함한 무기준점 3차원 위치좌표 취득 시스템으로서, 스테레오 카메라에서 촬영된 영상 데이터와, 위성항법장치(global positioning system, GPS)와 관성항법장치(inertial navigation system, INS)에서 생성된 위치 데이터 및 자세 데이터를 토대로 상기 스테레오 카메라, 상기 GPS, 상기 INS 또는 이들의 조합에 대한 위치와 회전각을 결정하는 위치자세 결정부; 상기 위치와 회전각에 기초하여 상기 GPS의 시간에 따라 상기 영상 데이터를 상기 위치 데이터 및 상기 자세 데이터와 동기화한 드론 영상들을 상호 매칭시키는 영상매칭부; 상기 매칭된 드론 영상들을 실시간 연속적으로 정합시키는 영상정합부; 및 상기 정합된 드론 영상들을 이용하여 깊이지도를 생성하는 깊이지도 생성부를 포함한다.

일실시예에서, 무기준점 3차원 위치좌표 취득 시스템은 상기 깊이지도를 2차원에서 3차원으로 변환하는 좌표변환부를 더 포함할 수 있다.

상술한 기술적 과제를 달성하기 위한 본 발명의 또 다른 측면에 따른 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 시스템은, 스트레오 카메라 드론과 신호 및 데이터를 송수신하는 무기준점 3차원 위치좌표 취득 시스템으로서, 스테레오 카메라에서 촬영된 영상 데이터와, 위성항법장치(global positioning system, GPS)와 관성항법장치(inertial navigation system, INS)에서 생성된 위치 데이터 및 자세 데이터를 토대로 결정되는 위치와 회전각과, 상기 위치와 회전각에 기초하여 상기 GPS의 시간에 따라 상기 영상 데이터를 상기 위치 데이터 및 상기 자세 데이터와 동기화한 드론 영상들을 포함한 드론 데이터를 수신하는 서브통신시스템-여기서, 상기 드론 데이터는 상기 스테레오 카메라의 초기 위치 자체에 대한 정보를 포함함-; 및 상기 드론 영상들을 사전처리를 수행하고, 사전처리된 드론 영상들의 수직 에러를 제거하고 상기 수직 에러가 제거된 드론 영상에서 깊이지도를 생성하는 깊이지도 생성모듈을 포함한다.

일실시예에서, 무기준점 3차원 위치좌표 취득 시스템은, 상기 깊이지도를 2차원 좌표계에서 3차원 좌표계에서 변환하는 좌표변환모듈을 더 포함할 수 있다.

일실시예에서, 무기준점 3차원 위치좌표 취득 시스템은, 상기 변환된 깊이지도를 이용하여 포인트 클라우드를 생성하는 제1 뷰어 모듈; 상기 변환된 깊이지도를 이용하여 불규칙 삼각망(triangulated irregular network, TIN)을 생성하는 제2 뷰어 모듈; 상기 변환된 깊이지도를 이용하여 3D 모델링을 수행하는 제3 뷰어 모듈; 및 상기 변환된 깊이지도를 이용하여 3차원 위치좌표를 생성하는 제4 뷰어 모듈 중 적어도 어느 하나 또는 이들의 조합을 더 포함할 수 있다.

일실시예에서, 무기준점 3차원 위치좌표 취득 시스템은, 상기 깊이지도의 적어도 일부 영역에 대한 체적 분석을 수행하는 체적 분석 모듈을 더 포함할 수 있다.

일실시예에서, 상기 깊이지도 생성 모듈은, 제1 드론 영상과 상기 제1 드론 영상에 정합되는 제2 드론 영상의 정합 시에 상기 제1 또는 제2 드론 영상의 기하보정시에 획득한 보정값을 더해줄 수 있다.

일실시예에서, 무기준점 3차원 위치좌표 취득 시스템은, 상기 드론 영상에 대하여 필터링을 수행하는 필터링 모듈, 대상지역에 대한 정사영상의 해상도 정보에 따라 드론의 최적 비행경로를 수립하는 비행경로 수립모듈 중 적어도 어느 하나 또는 이들 모두를 더 포함할 수 있다.

전술한 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템을 사용하는 경우에는, 사진 측량학 요소를 사용하여 스테레오 카메라의 장점인 카메라간 외부 표정 요소를 고정함으로써, 드론의 높이와 자세에 관계없이 그리고 드론의 스테레오 카메라에 의한 드론 영상에서 에피폴라(epipolar)의 수직 오차를 재설정하지 않고도, 실시간 얻어진 드론 영상과 부가 정보를 이용해 현장에서 3차원 위치좌표를 위한 깊이지도 값을 실시간으로 취득할 수 있다.

일례로, 드론 영상에서 얻은 깊이지도를 이용하여 3차원 위치좌표 값을 산출하고 이를 통해 실시간 현장 데이터로서 토목 작업하고자 하는 현장 영역에 대한 부피, 면적, 길이, 위치 또는 이들의 조합에 대한 값들을 확인할 수 있다.

또한, 3차원 현장 영역에 대한 메쉬 모델링에 기초하여 특정 지역에 대한 토공량을 신속하고 정확하게 산출할 수 있으며, 그에 의해 토목 건설 현장에서 현장 상황이나 지형이 변경되는 경우나, 혹은 재난 지역과 같이 갑작스럽게 발생하여 신속한 처리가 요구되는 현장에서 원하는 지역에 대한 실시간 토공량을 산출하기 위한 3차원 위치좌표를 효과적으로 제공할 수 있는 장점이 있다.

또한, 일반적인 파노라마 영상은 사용자에게 단순히 어떠한 지역의 360˚ 영상을 제공할 뿐이나, 본 실시예에 따르면, 파노라마 영상을 제공하는 것뿐만 아니라 주변의 부가 GIS 정보와 함께 3차원 위치좌료를 표시하여 사용자가 관광지 안내, 사전 답사 같은 실감형 컨텐츠 서비스를 효과적으로 이용할 수 있다.

또한, 드론을 이용하여 촬영한 파노라마 영상에 3차원 위치좌표를 포함한 부가 정보를 제공하는 서비스 시스템을 효과적으로 구현할 수 있고, 이러한 시스템을 활용하여 파노라마 뷰에 3차원 위치좌표를 포함한 라벨링 서비스를 효과적으로 제공할 수 있는 장점이 있다.

도 1은 본 발명의 일실시예에 따른 무기준점 3차원 위치좌표 취득 시스템에서 네이버 지도 위에 3차원 위치좌표를 포함한 라벨링을 수행한 결과를 예시한 도면이다.
도 2는 도 1의 무기준점 3차원 위치좌표 취득 시스템에 대한 블록도이다.
도 3은 도 2의 시스템과 연동하는 드론에 탑재된 스트레오 카메라의 팬, 틸트에 의한 자세보정 정보의 최대값과 최소값을 예시한 도면이다.
도 4는 도 2의 시스템에 채용할 수 있는 파노라마 영상에서 POI(point of interest)의 이미지 좌표계에서 드론 주변 타겟들의 상대 위치를 설명하기 위한 도면이다.
도 5 및 도 6은 본 실시예의 파노라마 영상에서 영상 기준과 실제 진북 방향의 오차 보정 과정을 설명하기 위한 도면들이다.
도 7은 도 2의 시스템에서 취득한 3차원 드론 위치와 각 건물의 위치좌표를 파노라마 이미지 위에 라벨링하는 화면을 예시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 시스템의 적어도 일부로 채용할 수 있는 드론에 대한 사시도이다.
도 9는 도 8의 드론의 주요 부분에 대한 단면도이다.
도 10은 도 8의 드론에 대한 블록도이다.
도 11은 본 발명의 일실시예에 따른 스테레오 드론에 대한 블록도이다.
도 12는 도 11의 통합제어보드에 대한 블록도이다.
도 13은 도 12의 3차원 위치좌표 산출 모듈에 대한 블록도이다.
도 14는 도 11의 스테레오 드론의 토공량 산출을 위한 주요 작동 원리를 설명하기 위한 흐름도이다.
도 15는 도 14의 주요 작동 원리 중 항공삼각측량를 설명하기 위한 흐름도이다.
도 16은 도 11의 스테레오 드론의 드론 영상에 대한 예시도이다.
도 17은 도 16의 드론 영상의 기하 보정 과정을 설명하기 위한 예시도이다.
도 18은 도 11의 스테레오 드론의 드론 영상에 대한 깊이지도 생성 과정을 설명하기 위한 예시도이다.
도 19는 도 18의 깊이지도 생성 과정에 채용가능한 영상 접합 과정을 설명하기 위한 예시도이다.
도 20은 도 19의 영상 정합 과정을 통해 얻은 깊이지도에 대한 예시도이다.
도 21은 도 20의 깊이지도와 같이 준비된 다른 깊이지도들을 이용한 3차원 모델링의 결과 영상들이다.
도 22는 본 발명의 다른 실시예에 따른 스테레오 드론을 이용하는 무기준점 3차원 위치좌표 취득 방법을 설명하기 위한 흐름도이다.
도 23은 본 발명의 또 다른 실시예에 따른 스테레오 드론을 이용하는 무기준점 3차원 위치좌표 취득 시스템에 대한 블록도이다.
도 24는 도 23의 3차원 위치좌표 취득 시스템의 작동 원리를 설명하기 위한 예시도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 아니하는 것으로 이해되어야 할 것이다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함한다", "가진다" 등과 관련된 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 포함한다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 의미와 일치하는 의미로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 명세서에서 스테레오 드론은 스테레오 카메라를 탑재한 드론을 지칭하고, 드론 영상은 드론에 탑재된 스테레오 영상을 지칭한다. 본 명세서에서 드론에 탑재된 스테레오 카메라로 촬영된 영상을 간략히 드론 영상 또는 스테레오 영상이라고 하기로 한다. 또한, 용어 '드론'은 무선조정비행체, 무인항공기 등으로 지칭될 수 있으며, 좁은 의미에서 헬리캠(helicam) 또는 무선조정헬리곱터로 지칭 혹은 대체될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 무기준점 3차원 위치좌표 취득 시스템에서 네이버 지도 위에 3차원 위치좌표를 포함한 라벨링을 수행한 결과를 예시한 도면이다. 도 2는 도 1의 무기준점 3차원 위치좌표 취득 시스템에 대한 블록도이다.

본 실시예에 따른 무기준점 3차원 위치좌표 취득 시스템(이하, 간략히 '3차원 위치좌표 취득 시스템' 또는 '위치좌표 취득 시스템'이라 한다)은, 드론을 이용하여 파노라마 영상을 촬영하고 이를 이용하여 파노라마 부가 정보 라벨링 서비스를 제공하거나, 스테레오 영상을 촬영하고 이를 이용하여 무기준점 깊이지도를 제공하며, 넓은 범주에서는 드론을 이용한 사진 측량 기술로 분류될 수 있다.

위치좌표 취득 시스템은 도 1에 도시한 바와 같이 드론에서 촬영한 영상에 3차원 위치좌표를 표시할 수 있다. 여기서, 위치좌표는 서로 다른 타겟에 대하여 (A, B, C)와 (Bx, By, Bz)로 각각 표시되어 있다.

구체적으로 본 실시예에 따른 위치좌표 취득 시스템(200)은 도 2에 도시한 바와 같이 드론과 신호 및 데이터를 송수신하는 장치로서 구현될 수 있다. 이러한 장치는 사용자 단말이나 컴퓨팅 장치를 포함할 수 있다. 위치좌표 취득 시스템(200)은 깊이지도 생성 모듈(210), 3D 뷰어 모듈(220) 및 체적 분석 모듈(230)을 포함할 수 있다.

깊이지도 생성 모듈(210)은 드론에서 촬영된 영상 또는 이 영상에 시간동기화가 반영된 영상(이하 '드론 영상'이라 한다)과 GIS 정보를 서로 매칭시킬 수 있다.

즉, 깊이지도 생성 모듈(210)은, 드론 영상들을 사전처리를 수행하고, 사전처리된 드론 영상들의 수직 에러를 제거하고, 수직 에러가 제거된 드론 영상에서 깊이지도를 생성할 수 있다. 이를 위해 깊이지도 생성모듈은 복수의 서브 모듈들을 구비할 수 있다.

또한, 깊이지도 생성 모듈(210)은 깊이지도를 2차원 좌표계에서 3차원 좌표계에서 변환하는 좌표변환모듈을 더 구비할 수 있다. 물론, 좌표변환모듈은 무기준점 3차원 위치좌표 취득 시스템(200) 내에서 별도의 모듈로 포함될 수 있다.

또한, 깊이지도 생성 모듈은, 제1 드론 영상과 제1 드론 영상에 정합되는 제2 드론 영상의 정합 시에 제1 또는 제2 드론 영상의 기하보정시에 획득한 보정값을 더해주도록 구현될 수 있다.

3D 뷰어 모듈(220)은, 변환된 깊이지도를 이용하여 포인트 클라우드를 생성하는 제1 뷰어 모듈; 변환된 깊이지도를 이용하여 불규칙 삼각망(triangulated irregular network, TIN)을 생성하는 제2 뷰어 모듈; 변환된 깊이지도를 이용하여 3D 모델링을 수행하는 제3 뷰어 모듈; 및 변환된 깊이지도를 이용하여 3차원 위치좌표를 생성하는 제4 뷰어 모듈 중 적어도 어느 하나 또는 이들의 조합을 포함할 수 있다.

체적 분석 모듈(230)은 깊이지도의 적어도 일부 영역에 대한 체적 분석을 수행할 수 있다. 체적 분석 모듈(230)은 분석된 체적을 이용하여 토공량 등을 산출하는데 사용될 수 있다.

또한, 위치좌표 취득 시스템(200)은, 드론 영상에 대하여 필터링을 수행하는 필터링 모듈, 대상지역에 대한 정사영상의 해상도 정보에 따라 드론의 최적 비행경로를 수립하는 비행경로 수립모듈 등을 더 포함하도록 구현될 수 있다.

또한, 본 실시예의 위치좌표 취득 시스템(200)은 정지영상이나 동영상을 저장하는 제1 데이터베이스와 지리정보체계(geographic information system, GIS) 정보를 저장하는 제2 데이터베이스에 연결되거나 이들 데이터베이스를 포함할 수 있다.

또한, 전술한 위치좌표 취득 시스템(200)은 WAS(Web Application Server) 등의 별도의 웹서버 등과 연결되어 웹 기반으로 동작할 수 있고, 영상매칭 결과 등을 웹서버를 통해 사용자 단말에 제공할 수 있다.

드론에는 360˚ 카메라, 스트레오 카메라 또는 이들 모두가 부착되고, 현재 위치를 측정하는 측위 모듈, 현재 위치에서의 자세를 측정하는 자세 측정 모듈 등이 탑재되고 이들에 의해 생성되는 정보를 저장할 수 있다.

도 3은 도 2의 시스템과 연동하는 드론에 탑재된 스트레오 카메라의 팬, 틸트에 의한 자세보정 정보의 최대값과 최소값을 예시한 도면이다. 도 4는 도 2의 시스템에 채용할 수 있는 파노라마 영상에서 POI(point of interest)의 이미지 좌표계에서 드론 주변 타겟들의 상대 위치를 설명하기 위한 도면이다. 도 5 및 도 6은 본 실시예의 파노라마 영상에서 영상 기준과 실제 진북 방향의 오차 보정 과정을 설명하기 위한 도면들이다. 그리고 도 7은 도 2의 시스템에서 취득한 3차원 드론 위치와 각 건물의 위치좌표를 파노라마 이미지 위에 라벨링하는 화면을 예시한 도면이다.

도 3에 도사힌 바와 같이, 드론에 탑재되는 카메라에서는, 360° 파노라마 영상이 출력되는 3D 공간상에서 POI(Point Of Interest) 정보의 위치를 결정하기 위해 360° 파노라마 영상의 촬영 위치좌표와, 부가정보를 표시할 장소나 건물 등의 위치좌표를 사용할 수 있다. 이를 이용하면, 촬영 위치좌표와 POI 위치좌표로 두 지점간의 x, y 거리와 직선거리를 알 수 있다.

즉, 세 개의 직선으로 이루어지는 삼각형에서 두 지점들 사이의 각도를 구할 수 있다. 두 지점 사이의 각도만큼 진북방향에서 회전한 곳이 실제로 해당 POI가 존재하는 방향이 된다. 이때 촬영 위치를 원점으로 두었을 때, POI가 어떤 사분면에 존재 하는지에 따라 회전하는 각도가 조금씩 달라진다. 두 지점간의 각도를 'θ' 라고 할 때, 각각의 사분면에서 팬 값을 구하는 방법은 다음과 같다.

1사분면) 90 - θ

2사분면) 90 + θ

3사분면) 270 - θ

4사분면) 270 + θ

카메라의 기울기인 틸트 값을 구할 때도 위와 같은 방식을 사용할 수 있다. 즉, 도 3에 도시한 바와 같이, 팬 값은 진북방향을 기준으로 0°로 시작하여 최대 359°로 표현될 수 있다. 틸트 값은 기울기가 0인 지점을 기준으로 위로 기울일 때는 +90°까지, 아래로 기울일 때는 -90°까지 값을 가질 수 있다.

한편, 3차원에서는 2차원과 다르게 z축이 하나 더 추가된다. 그렇기 때문에 연직방향으로 볼 경우 건물의 위치 좌표를 각각 표시하면 도 4에 도시된 것과 같이 표현될 수 있다.

건물 위치의 경우, 드론의 현재 위치와 건물의 GPS(global positioning system) 위치를 연산하여 알 수 있다. 건물 1의 경우 현재 드론의 위치와 x방향으로 3, y방향으로 3만큼 떨어져 있다. 연직 방향으로 볼 경우 건물 1의 위치의 좌표를 (x1, y1, z1)이라고 하고 드론의 위치를 (x0, y0, z0)라고 하면, 이들 사이의 거리를 다음의 [수학식 1] 및 [수학식 2]와 같이 구할 수 있다.

[수학식 1]

[수학식 2]

이때, 건물 1의 부가 정보를 사용자가 보기 편한 위치에 라벨링하기 위해선 드론에서의 각도(Θ)를 알아야 한다. 실제 좌표들의 연산을 통해 벡터를 구하고 이를 이용하여 각도를 구해야 하지만 드론에는 위치를 측정하는 측위 모듈, 위치의 자세를 측정하는 자세측정 모듈이 탑재된 것으로 가정했기 때문에 카메라의 팬, 틸트 값을 알아낼 수 있다.

계산된 팬 값과 틸트 값은 각각 이미지 좌표의 x, y에 대응된다. 이미지의 가로 해상도를 360으로 나누면 팬 값 1°당 픽셀의 개수를 뜻한다. 도 5에 도시한 바와 같이, 도 5에서 정 중앙 부분이 원점이고 주황색 박스의 버스가 타겟 POI이다. 이미지의 가로 해상도의 크기가 1920이고 팬 값이 약 160°일 때, 해당 POI는 이미지 좌표 상에서 x축으로 약 853 픽셀(pixel, px) 떨어진 곳에 위치한다.

틸트 값은 약 -30°이고, 위와 같은 방법을 사용하면 y축 아래 방향으로 약 66px 떨어진 곳이 이미지 상에서의 POI의 위치가 된다. 이 이미지 상에서의 위치는 360°파노라마 영상이 출력되는 3D 공간과 매핑되어 부가정보를 포함하는 파노라마 영상에서 출력할 수 있다.

위의 방법으로 팬 값을 구할 경우, 한 가지 문제점이 있다. 파노라마 영상을 3D 공간에 표현할 시 영상의 중앙부분을 0°로 인식한다. 하지만 위에서 계산한 팬 값은 진북 방향을 0°로 두고 계산했기 때문에 영상에서의 0°와 영상 안에서 진북 방향만큼의 각도 오차가 발생한다.

이러한 문제를 해결하기 위하여 본 실시예에서는 도 6에 도시한 바와 같이 진북 방향을 이용한다. 도 6에서 초록색 점선이 영상에서의 0°이고, 빨간색 실선이 실제 진북 방향이다. 두 선 사이의 각도 오차는 약 25°로, 영상을 기준으로 계산 할 경우 실제보다 25°의 오차가 발생하여 부가정보를 정확한 위치에 삽입할 수 없다. 따라서 이 오차만큼 수치를 보정해 주어야 한다. 오차각도를 구하기 위해서는 영상을 스티칭할 때 기준이 되는 카메라의 자세정보를 사용한다. 기준이 되는 카메라의 자세정보에는 진북 방향을 기준으로 한 방위각을 포함하고 있기 때문에 해당 각도가 바로 진북 방향에 대한 오차가 된다.

위의 과정을 거치면 도 7에 도시한 바와 같이 파노라마 영상 위에 부가 정보 서비스를 표시할 수 있게 된다. 도 7에서 부가 정보로서 표시되는 3차원 위치좌표는 세 개의 건물에 대하여 (A1, B1, C1), (A2, B2, C2) 및 (A3, B3, C3)으로 각각 표시되어 있다.

다음은 도 8 내지 도 10을 참조하여 본 발명의 실시예에 따른 시스템에서의 파노라마 오토 라벨링 서비스를 위한 드론 구성을 설명한다.

도 8은 본 발명의 일 실시예에 따른 시스템의 적어도 일부로 채용할 수 있는 드론에 대한 사시도이다. 도 9는 도 8의 드론의 주요 부분에 대한 단면도이다. 도 10은 도 8의 드론에 대한 블록도이다.

도 8 내지 도 10에 도시한 바와 같이, 드론(100)은 드론 본체(110a), 카메라(120a), 측위모듈(130a), 자세측정모듈(140a), 제어부(150a) 및 무선통신모듈(180a)을 포함한다. 또한, 드론(100)은 연결부(115), 지지대(116), 추진부(117), 착륙부(118), 카메라 설치대(119), 실린더(20), 미세먼지 차단박스(21), 미세먼지 필터(22), 송풍장치(23), 본체 커버(24a, 24b), 풍향감지센서(26)를 포함하여 구성된다.

드론 본체(110a)는 하부를 개방한 제1 설치공간(14a)이 내측에 형성되고, 제1 설치공간(14a)의 상면에 구동축(14c)을 수직 방향으로 위치시키면서 설치되는 정역회전모터(14b) 및 정역회전모터(14b)의 구동축(14c)에 결합되어 정역회전모터(14b)의 구동 시 구동축(14c)과 연동하여 회전되는 나선봉(14d)을 구비할 수 있다. 드론 본체(110a)는 제1 설치공간(14a)을 감싸는 동시에 하부를 개방한 형태의 제2 설치공간(14e)을 구비할 수 있다.

연결부(115)는 드론 본체(114)의 하부 둘레를 따라 복수로 형성된다.

지지대(116)는 연결부(115)에 길이방향의 일단이 결합되고 길이방향의 타단은 드론 본체(114)의 바깥쪽으로 수평 연장되는 형태로 연결부(115)에 설치된다.

추진부(117)는 지지대(116)의 연결부(115)와 결합된 일단의 반대쪽 단부에 설치되며, 이러한 추진부(117)는 드론(100)의 추력을 발생시키는 기능을 한다.

착륙부(118)는 지지대(116)의 아래에 구비되며, 이러한 착륙부(118)는 드론(100)의 착륙 시 우선적으로 착륙 면에 접하는 기능을 한다.

카메라 설치대(19)는 드론 본체(110a)의 나선봉(14d)에 나사 결합되는 나선관(19a)이 상면에 설치되고, 드론 본체(110a)의 제1 설치공간(14a)에 회전 방지되는 상태로 수용되어 정역회전모터(14b)의 정역 회전에 따라 승강 또는 하강된다. 그리고 카메라 설치대(19)는 하부를 개방한 카메라 설치공간(19b)이 내측에 형성되어 카메라 설치공간(19b)에 드론(100)의 카메라(113)가 설치된다. 카메라(113)는 360도 카메라일 수 있다. 이러한 카메라를 2개 결합하고 제어하면 스트레오 카메라를 형성할 수 있다.

실린더(20)는 복수로 제공되어 드론 본체(110a)의 제2 설치공간(14e)의 상면 네 모서리 영역에 각각 설치된다.

미세먼지 차단박스(21)는 네 측면(21a, 21b, 21c 등)의 양단이 서로 연결되어 상부 및 하부가 개방된 박스형 구조를 가지며, 네 측면이 드론 본체(110a)의 제2 설치공간(14e)의 해당 영역에 각각 삽입되어 네 측면 간의 연결 영역에 해당 실린더(20)의 로드(20a) 선단이 결합된다. 그리고 미세먼지 차단박스(21)는 상기 네 측면이 각각 공기의 통과를 위한 관통형 개방부(21e, 21f, 21g 등)를 형성하고 있다.

미세먼지 필터(22)는 미세먼지 차단 박스(21)의 네 측면별로 개방부에 탈착 가능하게 결합된다. 송풍장치는 미세먼지 차단 박스(21)의 네 측면별로 미세먼지 필터(22)보다 안쪽에서 개방부에 설치된다.

본체 커버(24a, 24b)는 한 쌍으로 이루어져 드론 본체(110a)의 하부에 수평 방향을 기준으로 양측에 각각 회전가능하게 결합되며, 이러한 본체 커버(24a, 24b)는 드론 본체(110a)의 제1 설치공간(14a)을 개폐하는 기능을 한다.

무선통신모듈(180a)은 드론 본체(110a)에 설치되어 외부로부터 지역별 미세먼지 정보를 수신할 수 있다. 풍향감지센서(26)는 드론 본체(110a)에 설치되어 현재 풍향을 감지할 수 있다.

제어부(150a)는, 통합제어보드의 적어도 일부로 구현될 수 있으며, 송풍장치(23)의 작동 제어를 위한 외부 미세먼지의 임계값을 사전 설정하여 동작할 수 있다. 이에 따라 제어부(150a)는 드론(100)의 측위 모듈(130a)로부터 입력되는 현재의 위치정보 및 무선통신모듈(180a)을 통해 입력되는 지역별 미세먼지 정보를 기준으로 현재 위치의 주변 미세먼지 농도가 상기 외부 미세먼지의 임계값을 초과하는 경우 풍향감지센서(26)를 통해 입력되는 현재 풍향 정보를 기준으로 송풍장치(23) 중 해당 위치의 송풍장치(23) 작동을 제어한다.

그리고 본 실시예에 따른 시스템은 드론(100)의 무선통신모듈(180a)에 카메라(120a)의 작동 제어를 위한 신호를 전송하는 사용자 단말(10)에 연결될 수 있다. 사용자 단말(10)은 원격제어단말일 수 있으나 이에 한정되지는 않는다. 드론(100)의 제어부(150a)는 무선통신모듈(180a)을 통해 입력되는 원격제어 단말의 제어신호에 따라 실린더(20) 및 본체 커버(24a, 24b)의 개폐를 제어할 수 있다.

상술한 드론(100)의 구성에 의하면, 드론(100)의 카메라(120a)를 통해 정지영상 및 동영상을 획득하는 작업 과정에서 주변의 미세먼지 농도가 높을 경우, 제어부(150a)의 제어에 따라 드론 본체(110a)의 실린더(20)가 작동되면서 미세먼지 차단박스(21)가 카메라 설치대(19)를 감싸는 형태로 하강되고, 제어부(150a)가 미세먼지 차단박스(21)의 송풍장치(23) 중 풍향감지센서(26)를 통해 감지되는 현재 풍향에 따라 반대 방향으로 송풍하도록 설치된 송풍장치(23)를 작동시켜 미세먼지 필터(22)를 통해 미세먼지가 걸러진 깨끗한 공기를 카메라 설치대(19) 방향으로 송풍시켜 카메라 설치대(19) 및 그 내측의 카메라(120a)가 미세먼지로부터 차단될 수 있게 한다.

또한, 드론(100)이 정지영상 및 동영상을 획득하는 작업을 하지 않는 상태일 경우, 제어부(150a)는 정역회전모터(14b) 및 실린더(20)를 각각 작동시켜 카메라 설치대(19) 및 미세먼지 차단박스(21)가 드론 본체(110a)의 제1 설치공간(14a) 및 제2 설치공간(14e)에 각각 수납되게 한 후 본체 커버(24a, 24b)를 작동시켜 제1 설치공간(14a) 및 제2 설치공간(14e)이 외부로부터 차단되도록 동작할 수 있다.

도 11은 본 발명의 일실시예에 따른 스테레오 드론에 대한 블록도이다. 도 12는 도 11의 통합제어보드에 대한 블록도이다. 도 13은 도 12의 3차원 위치좌표 산출 모듈에 대한 블록도이다.

도 11을 참조하면, 본 실시예에 따른 스테레오 드론(100)은, 플랫폼(110), 스테레오 카메라(120), 위성항법장치(global positioning system, GPS)(130), 관성항법장치(inertial navigation system, INS)(140) 및 통합제어보드(150)를 포함한다. 플랫폼(110)은 드론의 무인항공기 플랫폼에 대응하고, 스테레오 카메라(120), GPS(130) 및 INS(140)는 드론에 탑재되는 센서에 대응하고, 통합제어보드(150)는 드론에 탑재되는 센서지원부에 대응할 수 있다. GPS(130)는 GPS 수신기, GPS 송신기, 실시간 이동측위(real time kinematic, RTK) GPS 또는 이들의 조합을 포함할 수 있고, INS(140)는 항법측정장치(inertial measurement unit, IMU) 등의 다른 자세측정장치로 대체될 수 있고, 가속도계와 자이로스코프(자이로 센서)를 포함할 수 있다. 또한, 스테레오 드론(100)은 GPS(130)와 혼합한 항법 알고리즘을 통해 정확한 위치와 자세를 측정하기 위한 지구 가지 감지 센서(magnetometer or magnetic sensor) 등을 더 포함할 수 있다.

통합제어보드(150)는 도 12에 도시한 바와 같이 프로세서(152), 메모리(160) 및 서브통신시스템(180)을 포함하고, 메모리(160)에는 카메라 제어 모듈(161), GPS 관리 모듈(163), INS 관리 모듈(165) 및 3차원 위치좌표 산출 모듈(170)을 포함할 수 있다.

프로세서(152), 메모리(160) 및 서브통신시스템(180)의 기본적인 동작이나 하드웨어 구성은 본 기술분야에 이미 잘 알려져 있으므로 그에 대한 상세 설명은 생략한다. 또한, 카메라 제어 모듈(161), GPS 관리 모듈(163) 및 INS 관리 모듈(165)은 해당 장치를 제어하거나 관리하기 위한 모듈로서 이들의 구성이나 기능 또한 잘 알려져 있으므로 상세한 설명은 생략하기로 한다.

한편, 3차원 위치좌표 산출 모듈(170)은 도 13에 도시한 바와 같이 드론 스테레오 사진 측량 모듈(171), 실시간 동기화 모듈(172), 원시데이터 저장 모듈(173), 기하보정 모듈(174), 깊이지도 생성 모듈(175) 및 포인트 클라우드 생성 모듈(176)을 포함할 수 있다. 실시간 동기화 모듈(172)은 위치자세 결정부로, 기하보정 모듈(174)은 영상매칭부로, 깊이지도 생성 모듈(175)은 영상정합부로, 그리고 포인트 클라우드 생성 모듈(176)은 포인트 클라우드 생성부로 각각 지칭될 수 있다.

드론 스테레오 사진 측량 모듈(171)은 드론에 탑재된 스테레오 카메라의 동작을 제어하고 촬영된 스테레오 사진들이나 영상 데이터를 저장한다.

실시간 동기화 모듈(172)은 실시간 이동측위 GPS와 INS에 의한 센서의 위치 및 회전각에 기초하여 영상 데이터의 각 단위 영상을 동기화하여 저장한다.

원시데이터 저장 모듈(173)은 스테레오 카메라에서 촬영된 영상 데이터와 실시간 동기화된 데이터를 저장한다.

기하보정 모듈(174)은 한 쌍의 스테레오 영상들의 특징점을 이용하여 기하보정을 수행하고, 기하보정된 영상들을 XML 파일 형식으로 저장할 수 있다.

깊이지도 생성 모듈(175)은 원본 영상과 오른쪽(right) 영상을 정합하여 깊이지도(depth map)를 생성할 때, 앞서 기하 보정된 영상을 이용해 보정값을 더해주어 정확도 높은 깊이지도를 추출할 수 있다.

또한, 깊이지도 생성 모듈(175)은, 드론에 탑재된 실시간 이동측위(real time kinematic, RTK) GPS와 관성항법장치(INS)를 이용하여 센서의 위치와 회전각이 정확하게 결정됨에 따라, 직접 지오레퍼런싱(direct georeferencing)을 수행할 수 있다. 즉, 영상 정합을 위해 외부 표정 요소를 결정하기 위한 지상 기준점의 측량을 생략한 상태에서 깊이지도를 생성할 수 있다. 생성된 깊이지도는 데이터베이스에 저장될 수 있다.

포인트 클라우드 생성 모듈(176)은 생성된 깊이지도를 이용하여 포인트 클라우드를 생성할 수 있고, 생성된 포인트 클라우드는 데이터베이스에 저장될 수 있다.

도 14는 도 11의 스테레오 드론의 3차원 위치좌표 산출을 위한 주요 작동 원리를 설명하기 위한 흐름도이다. 도 15는 도 14의 주요 작동 원리 중 항공삼각측량를 좀더 상세히 설명하기 위한 흐름도이다.

도 14를 참조하면, 본 실시예에 따른 스테레오 드론의 통합제어보드의 3차원 위치좌표 산출 모듈은 드론 영상을 포함한 데이터의 입력에 따라 실시간 영상 지오레퍼런싱(S41), 실시간 영상 매칭(S42) 및 온라인 항공삼각측량(S43)의 일련의 과정들을 수행한다. 그리고 상기의 일련의 과정을 통해 조정된 외부표정요소와 조정된 지상점 좌표를 출력할 수 있다.

각 과정을 좀더 구체적으로 설명하면, 실시간 영상 지오레퍼런싱(S41)은 드론에 탑재된 실시간 이동측위(real time kinematic, RTK) GPS와 관성항법장치(INS)를 이용하여 센서의 위치와 회전각을 정확하게 결정하는 과정을 포함할 수 있다

실시간 영상 매칭(S42)은 외주 표정 요소의 결정을 위한 지상기준점의 측량 없이 앞서 결정된 센서의 위치와 회전각에 기초하여 드론 영상의 수치해석 사진측량, 조정 및 분석 과정과 시간동기화를 통해 연속적으로 매칭하는 과정을 포함할 수 있다.

온라인 항공삼각측량(S43)은 매칭되는 영상들을 연속적으로 정합하여 깊이지도를 생성하는 과정을 포함할 수 있다.

또한, 온라인 항공삼각측량(S43)은 도 15에 도시한 바와 같이 3차원 위치값에서 기준 높이값을 설정하고(S431), 측정한 위치에 대한 영역을 설정하고(S432), 설정 영역의 2차원 면적에 대한 값을 생성하고(S433), 설정 영역을 삼각망으로 계산하고(S434), 그리고 계산된 삼각망에 기준 높이값을 곱하여 구하고자 하는 면적에 대한 부피를 추출(S435)하도록 이루어질 수 있다. 추출된 부피는 깊이지도를 이용한 3차원 위치좌표의 집합 데이터나 지형 데이터에 대응할 수 있다.

즉, 3차원 위치좌표 산출 모듈은 3차원 위치좌표 추정부 또는 3차원 위치좌표 추정 모듈을 더 구비할 수 있고, 3차원 위치좌표 추정부는 상기 부피에 기초하여 해당 지형 영역에 대한 토공량을 추정할 수 있다. 또한, 3차원 위치좌표 추정 모듈은 해당 지형 영역에 대한 드론 영상이나 드론 영상과 설계도면의 조합에 기초하여 드론 영상 내 재질들의 종류, 지질구조 등에 미리 설정된 가중치를 부여함으로써 토목 건설 현장이나 재난 현장에서 보다 정확한 토공량을 추정할 수 있도록 하는 깊이지도 값이나 이에 기초한 3차원 위치좌표를 제공할 수 있다.

이하에서는 전술한 스테레오 드론을 이용하는 무기준점 3차원 위치좌표 취득 방법(이하, 간략히 3차원 위치좌표 취득 방법이라고 한다)의 주요 과정을 예시 도면을 참조하여 좀더 구체적으로 설명한다.

도 16은 도 11의 스테레오 드론의 드론 영상에 대한 예시도이다. 도 17은 도 16의 드론 영상의 기하 보정 과정을 설명하기 위한 예시도이다. 도 18은 도 11의 스테레오 드론의 드론 영상에 대한 깊이지도 생성 과정을 설명하기 위한 예시도이다. 도 19는 도 18의 깊이지도 생성 과정에 채용가능한 영상 접합 과정을 설명하기 위한 예시도이다. 도 20은 도 19의 영상 정합 과정을 통해 얻은 깊이지도에 대한 예시도이다. 도 21은 도 20의 깊이지도와 같이 준비된 다른 깊이지도들을 이용한 3차원 모델링의 결과 영상들이다.

본 실시예에 따른 3차원 위치좌표 취득 방법은 도 16의 (a) 및 (b)에 도시한 바와 같이 드론에 탑재된 스테레오 카메라에서 촬영된 스테레오 사진들(61, 62) 즉, 드론 영상을 이용한다. 좌우 스테레오 영상들 각각에는 거의 동일한 특징점(64)이 존재할 수 있다.

드론 영상의 측량을 위해, 스테레오 드론은 관리자나 사용자의 단말로부터 촬영 대상 지역, 촬영 경로, 촬영 고도, 촬영 시간 등을 포함한 촬영 계획이나 촬영 정책 관련 정보 예컨대, 초기 설정 및 운행 정보를 수신하고, 촬영 정책이나 사용자의 실시간 조작 명령에 따라 재난 현장이나 토목건설 현장 등에 대한 사진 측량 및 영상 데이터 취득 동작을 수행할 수 있다.

좌우 스테레오 영상들은 도 17의 (a) 및 (b)에 도시한 바와 같이 기하(epipolar) 보정될 수 있다. 기하 보정은 베이스라인만큼 서로 다른 위치에서 획득한 동일한 사물에 대한 스테레오 영상들(61, 62)에서 서로 대응하는 특징점들의 매칭쌍들 사이의 기하학적 관계를 기하 라인(epipolar line)(65)에 따라 보정하는 것을 가리킬 수 있다. 기하 보정된 영상들은 XML(extensible markup language) 파일 형식 등으로 메모리나 데이터베이스에 저장될 수 있다.

스테레오 영상들(61, 62)에서 기하 라인은 2차원 공간상의 매칭쌍들을 정렬하는 것이므로 기존의 3차원 공간상의 기하 라인에 비해 단순화할 수 있고 적은 계산량을 가질 수 있다.

또한, 본 실시예에 따른 3차원 위치좌표 취득 방법에서는 깊이지도 생성 시, 도 18의 (a) 내지 (e)에 도시한 바와 같이, 원본 영상과 오른쪽(right) 영상을 정합하여 깊이지도(depth map)를 생성할 때, 앞서 기하 보정된 영상에서 이용한 보정값을 더해주어 정확도 높은 깊이지도를 생성할 수 있다.

또한, 본 실시예에 따른 3차원 위치좌표 취득 방법에서는 깊이지도 생성 시, 도 19의 (a) 내지 (f)에 도시한 바와 같이, 드론에 탑재된 실시간 이동측위(real time kinematic, RTK) GPS와 관성항법장치(INS)를 이용하여 센서의 위치와 회전각을 정확하게 결정할 수 있다. 이러한 직접 지오레퍼런싱(direct georeferencing)에 의하면, 영상 정합을 위해 외부 표정 요소를 결정하기 위한 지상 기준점의 측량을 생략할 수 있다.

직접 지오레퍼런싱에 의해 영상 정합된 현장의 적어도 일부에 대한 깊이지도(67)가 도 20에 예시되어 있다. 도 20의 (a) 및 (b)에 도시한 바와 같이, 소정 응용 프로그램(71)에 의해 깊이지도는 사용자 단말의 화면(72)에 3차원적으로 표현되고, 사용자의 프로그램 설정(73)에 따라 확대, 축소, 회전하며 깊이지도 내용을 출력할 수 있다. 출력되는 깊이지도의 다양한 형태를 병렬적으로 예시하면 도 21의 화면(75)과 같다.

이와 같이, 본 실시예에 따른 깊이지도 생성 과정에서는 연속 추정에 기반한 온라인 항공삼각측량 기법을 이용한다. 즉, 영상이나 공액점이 추가되는 시점마다 항공 삼각측량을 수행함으로써 영상의 외부표정요소나 공액점에 상응하는 지상점 좌표와 같은 미지수를 갱신 및 추정할 수 있다. 이것은 과거 아날로그 필름 영상을 활용한 사진측량에서 고해상도 카메라와 컴퓨터를 이용하는 기술로의 진보에 맞추어 영상 취득 및 측정, 조정, 분석에 이르는 과정을 자동화된 수치해석 사진측량으로 대체한 것에 대응할 수 있으며, 특히 본 실시예에서는 스테레오 카메라의 장점인 카메라간의 외부표정요소를 사진 측량학 요소를 사용하여 고정함으로써 드론의 높이나 자세와 관계없이 그리고 에피폴라의 수직 오차를 재설정하지 않고도 실시간 획득한 영상과 부가 정보를 이용해 현장에서 깊이지도 값을 취득할 수 있다.

게다가, 드론이나 드론과 연결되는 별도의 컴퓨팅 장치(사용자 단말 등)에서 드론에서 생성된 깊이지도 값을 이용하여 3차원 위치 값으로 표현되는 실시간 현장 데이터를 통해 현장의 특정 지역에 대한 토공량 등을 위한 부피, 면적, 깊이 또는 이들의 조합 값을 빠르고 정확하게 확인할 수 있다.

다시 말해서, 3차원 위치좌표 값에서 기준 높이 값을 설정하고, 측정한 위치에 서의 영역 설정에 따라 출력되는 2차원적인 면적 값에 기초하여 앞서 설정된 영역을 삼각망으로 계산하고, 계산된 삼각망 영역에 높이 값을 곱해주면서 사용자가 구하고자 하는 영역에 대한 부피나 체적을 효과적으로 산출할 수 있다.

본 실시예에 의하면, 스테레오 영상에서 직접적으로 3차원 위치좌표를 결정하고 그에 의해 포인트 클라우드 생성이나, 3차원 메쉬 모델링(3D mesh modeling)이나, 정사영상 생성이나, 수치 지도의 수정 또는 갱신 등을 효과적으로 수행할 수 있다.

도 22는 본 발명의 다른 실시예에 따른 스테레오 드론을 이용하는 무기준점 3차원 위치좌표 취득 방법을 설명하기 위한 흐름도이다.

도 22를 참조하면, 본 실시예에 따른 3차원 위치좌표 취득 시스템은 하기와 같은 후처리 작업을 수행하며, 이러한 후처리 작업은 드론에서 측량되고 취득된 영상 데이터를 이용하여 상기 드론에서 수행되거나 네트워크를 통해 드론과 연결되는 영상매칭 관리자(도 23의 250 참조)에 의해 수행될 수 있다.

여기에서 후처리 작업은, 오차 보정을 위한 GPS 후처리 과정(S251), 좌표계변환 과정(S252), 변환된 좌표계에서의 모델링 데이터 생성 과정(S253) 및 생성된 모델링 데이터에 기초하여 불규칙 삼각망(triangulated irregular network, TIN)을 구축하거나 수치지표면모형(digital elevation model, DSM)을 추출할 수 있다(S254).

TIN은 다양한 크기의 삼각형을 이용하여 실세계를 표현하는 것으로, 삼각형은 상호 중첩되지 않으며 서로 인접하게 배치된다. TIN에서 삼각형의 한 지점을 선택할 경우 보간에 의한 해당 현상에 대한 값을 계산할 수 있다.

DSM은 수치표고모형(digital elevation model, DEM)이나 수치지형모델(digital terrain model, DTM)과 유사한 의미이지만, 지표면의 표고값이 아니라 인공지물(건물 등)과 지형지물(식생 등)의 표고 값을 나타낸다. 여기에서, DEM은 수치 지형 또는 수심 측량 데이터에 관한 일반적인 용어로서 식생과 인공지물을 포함하지 않는 지형만의 표고값을 의미하며, 강이나 호수의 DEM 값은 수표면을 나타낼 수 있다. 그리고 DTM은 DEM보다 지형을 좀더 정확하게 묘사하기 위해 불규칙적으로 간격을 갖는 불연속선(breakline)을 포함하는 점에서 차이가 있으며, 그 최종 결과는 특정 지형을 정확하게 묘사하는 것으로, 등고선은 지형의 실제 형태에 가깝게 생성된다.

도 23은 본 발명의 또 다른 실시예에 따른 스테레오 드론을 이용하는 무기준점 3차원 위치좌표 취득 시스템에 대한 블록도이다. 도 24는 도 23의 3차원 위치좌표 취득 시스템의 작동 원리를 설명하기 위한 예시도이다.

도 23 및 도 24를 참조하면, 본 실시예에 따른 3차원 위치좌표 취득 시스템은, 드론(100A) 및 영상매칭 매니저(200B)를 포함한다. 드론(100A)은 영상 데이터, 위치 데이터 및 자세 데이터를 시간 동기화하여 저장하고, 저장된 영상 데이터를 직접 지오레퍼런싱하여 영상매칭 매니저(200B)에 제공할 수 있다.

영상매칭 매니저(200B)는 드론(100A)과 네트워크를 통해 연결되는 외부의 컴퓨팅 장치를 포함하며, 현장 단말, 사용자 단말 등으로 지칭될 수 있다. 컴퓨팅 장치는 프로세서, 메모리 및 통신서브시스템을 포함할 수 있다.

드론(100A)로부터의 영상 데이터, 위치 데이터, 자세 데이터, 또는 영상 데이터가 위치 데이터와 자세 데이터에 의해 동기화된 드론 영상은 영상 데이터 및/또는 드론 영상을 저장하는 제1 데이터베이스(201)와 위치 데이터, 자세 데이터 등을 저장하는 제2 데이터베이스(202)에 먼저 저장된 후, 영상매칭 매니저(200B)로 전달될 수 있다.

영상 데이터나 포인트 클라우드를 이용하여 좌표계 변환, 모델링 데이터 생성, 및 TIN 또는 DSM 추출 등의 기능을 수행할 수 있다. 이를 위해, 영상매칭 매니저(200B)는 영상매칭부(210), 영상정합부(230) 및 토공량 추정부(250)를 포함할 수 있다. 각 구성부의 동작이나 기능은 전술한 실시예를 스트레오 드론의 경우와 실질적으로 동일할 수 있다.

또한, 영상매칭 매니저(200B)는 웹 애플리케이션 서버(web application server, WAS)(280) 등을 통해 또 다른 사용자 단말(300)이나 이에 대응하는 컴퓨팅 장치와 연결되고, 이 사용자 단말(300)이나 컴퓨팅 장치의 지리정보체계(GIS) 컨텐츠 요청에 대한 사용자 질의에 따라 데이터베이스에서 해당 정보와 데이터를 추출한 후 WAS(280)를 통해 상기 사용자 단말(300)에 응답으로서 상기 정보나 데이터를 제공할 수 있다. 상기 정보나 데이터는 포인트 클라우드(point cloud), DSM, DEM 등의 데이터이거나 이들에 접근하기 위한 URL(uniform resource locator) 등의 위치 정보를 포함할 수 있다.

사용자 단말(300)은 포인트 클라우드(point cloud), DSM 또는 DEM을 이용하여 해당 현장의 특정 지역이나 장소에서의 토공량을 산출하거나, 3차원 위치좌표 라벨링 서비스 등을 제공할 수 있다. 이를 위해, 사용자 단말(310)은 분석 툴(310)을 구비할 수 있다, 분석 툴(310)은 포인트 클라우드, DSM 또는 DEM을 이용하여 3차원 메쉬 모델링(3D mesh modeling)이나, 정사영상 생성이나, 수치 지도의 수정 또는 갱신 등을 수행할 수 있다.

전술한 영상매칭 매니저(200B)와 WAS(280)는 단일 장소에 함께 설치될 수 있으며, 그 경우 이들의 조합도 넓은 의미에서 스테레오 드론을 이용하는 무기준점 3차원 위치좌표 취득 시스템으로 지칭될 수 있다.

좀더 구체적으로 설명하면, 사용자 단말(300)은 네트워크를 통해 영상매칭 관리자(200B)에 연결되고, 3차원 위치좌표를 산출하고자 하는 대상지역의 범위와 이 대상지역에 대한 정사영상의 해상도 정보를 영상매칭 관리자(200B) 측에 전달할 수 있다. 사용자 단말(300)은 디스플레이 장치와 서브통신시스템을 포함하는 클라이언트 단말, 프로세서와 메모리를 포함하는 컴퓨팅 장치 등으로 구현될 수 있다.

드론(100A)은 영상 데이터와 위치 및 자세 데이터를 정확하게 시간 동기화하여 수집하고, 수집한 데이터를 영상매칭 관리자(200)에게 제공할 수 있다. 드론(100A)은 무인항공기 플랫폼, 센서 및 센서 지원부를 포함할 수 있다. 플랫폼은 센서 및 센서 지원부를 지지하며, 고정익 또는 회전익 형태를 구비할 수 있다.

드론(100A)에 탑재되는 센서는 디지털 카메라, 위성항법장치(global positioning system, GPS), 관성항법장치(inertial navagation system, INS)/관성측정장치(inertial measurement unit, IMU), 레이저 스캐너 등을 포함할 수 있다.

디지털 카메라는 광학레인지 파인더를 가지고 있지 않은 가벼운 카메라일 수 있으며, 다양한 렌즈가 탈착될 수 있고 센서의 사이즈가 무게에 비하여 큰 카메라일 수 있다. GPS는 영상의 촬영 당시 카메라의 위치를 획득하기 위한 실시간 파싱(parsing)이 가능한 제품을 사용할 수 있으며, 센서 시스템 전체의 시간 동기화를 위한 기준 시간을 제공할 수 있다. 그리고 IMU는 미세전자기계 시스템(Micro Electro Mechanical Systems)으로 형성될 수 있고, GPS와 마찬가지로 실시간 데이터 획득이 가능한 형태인 것이 바람직하며, 드론이나 플랫폼의 자세를 나타내는 롤(roll), 피치(pitch), 요(yaw)/헤딩(heading) 값을 제공할 수 있다.

또한, 드론(100A)에 탑재되는 센서 지원부는 센서 통합 및 동기화를 담당하는 통합제어보드를 포함할 수 있고, 센서 제어 및 센서 데이터 저장, 시간 동기화 등의 기능을 수행할 수 있다. 통합제어보드는 비행 계획에 따라 설정된 사항을 전송받아 데이터 취득 주기를 조절할 수 있고 획득되는 영상 데이터와, 위치 데이터 및 자세 데이터를 GPS 시간으로 동기화하여 저장할 수 있다. 전술한 센서와 통합제어보드는 플랫폼에 플러그인 방식으로 탑재 가능하다.

또한, 드론(100A)에 탑재되는 스테레오 카메라의 내부표정요소는 3차원 위치좌표 취득 시스템의 영상매칭 관리자(200B)의 카메라 보정을 통해 획득될 수 있다. 이와 같이, 본 실시예에서는 드론(100A)에 탑재된 스테레오 카메라로부터 영상 데이터를 획득하기 전에 스테레오 카메라를 보정하여 내부표정요소를 획득하는 과정을 더 포함할 수 있다.

스테레오 카메라 또는 스테레오 비전 카메라의 경우, 카메라의 위치가 고정되어 있어 스테레오 카메라 정보를 이용하여 동일한 정합 과정 적용 가능하다. 또한 매 순간이 독립촬영이고 좌ㆍ우 영상의 동기화를 통해 조명 조건이 같아 기상 및 밝기 변화에 강한 장점을 가지고 있다. 뿐만 아니라 촬영 위치 점마다 포인트 클라우드 정보를 생성해 내기 때문에 적은 사진으로도 3차원 정보를 구성할 수 있으며, 스테레오 영상마다 절대 표정된 포인트 클라우드 정보를 생성할 수 있기 때문에 오차의 누적이 없거나 적다는 장점을 가지고 있다.

스테레오 카메라는 두 카메라들 사이의 거리인 베이스라인(baseline)의 길이에 따라 초점 거리가 달라지므로 베이스라인을 조정하면 지상에서 10M ∼ 150M 범위 내에서 촬영이 적합하도록 장비를 구성할 수 있다. 또한, 스테레오 비전 카메라는 데이터 처리 속도를 빠르게 할 수 있도록 회색톤(grey scale)의 영상을 획득하도록 구성될 수 있다.

드론(100B)의 스테레오 카메라로 촬영된 영상 즉 드론 영상은 실제 현장이나 원하는 지역보다 더 넓은 지역을 촬영한 것일 수 있다. 그 경우, 모든 드론 영상에 원하는 현장이 포함되지 않을 수 있다. 실제로, 80M 고도에서 촬영된 드론 영상이 총 150장이라고 할 때, 그 중 87장만이 실제 현장을 포함하여 87장에 대한 드론 영상을 모델링에 사용하고, 100M 고도에 대해서는 총 100장의 드론 영상들 중 65장이, 120M 고도에 대해서는 총 80장의 드론 영상들 중 48장이 모델링에 사용할 수 있다. 이와 같이, 본 실시예에서는 매칭 과정 이전이나 매칭 과정 도중에 드론 영상들 중 원하는 드론 영상을 선별하는 과정을 포함할 수 있다.

또한, 본 실시예에서 드론 영상은 기본적으로 지상 기준점을 포함하지 않는다. 종래 기술에서는 통상 지상에 지상기준점을 설치함으로써 서로 다른 비행 고도나 위치 또는 자세에서 촬영된 영상들을 이 영상들에 포함된 기상기준점 등을 이용하여 상호 매칭시켜 정합하거나 외부 표정 요소를 결정하도록 이루어진다. 한편, 본 실시예에서는 드론에 탑재된 실시간 이동측위(real-time kinematic, RTK) GPS와 관성항법장치(INS)로 스테레오 카메라 등 센서의 위치와 회전각을 정확하게 결정함으로써 외부 표정 요소의 결정을 위한 지상기준점 및 지상기준점 측량 과정을 생략할 수 있다.

또한, 드론(100A)은, 자이로 센서의 3축 각속도 데이터는 자세 벡터를 계산하는 프로세서를 포함할 수 있다. 추가적으로 드론은 안정적인 비행을 지원하기 위해 기압계(barometer) 등과 같은 장비도 탑재할 수 있다.

전술한 드론(100A)은 위치데이터를 생성하는 위성항법장치(global positioning system, GPS)와 자세값을 생성하는 관성항법장치(inertial navigation system, INS)를 구비한다. 관성항법장치는 관성측정장치(inertial measurement unit, IMU)와 대체될 수 있고, 가속도 센서와 자이로(gyro) 센서를 구비할 수 있다.

관성항법장치에서 가속도 센서의 3축 가속도 데이터(Ax, Ay, Az)는 축 변환(axis trasform) 모듈에 의해 미리 설정된 3차원 가속도 데이터(An, Ae, Av)로 변환되고, 변환된 3차원 가속도 데이터(An, Ae, Av)는 위치 데이터와 속도 데이터로 변환되어 출력될 수 있다. 이때, 위치 데이터와 속도 데이터에 대응하는 자이로 토크 신호(gyro torquing signals)가 자이로 센서의 3축 각속도 데이터(Wx, Wy, Wz)를 처리하는 자세 벡터 계산 모듈에 입력될 수 있다. 자세 벡터 계산 모듈의 출력은 축 변환 모듈에 입력될 수 있다.

영상매칭 관리자(200B)는 크게 드론(100A)의 비행 전과 후에 동작하는 모듈들을 구비할 수 있다. 드론(100A)의 비행 전에는 사용자 단말(300)로부터 촬영 지역과 요구 공간해상도 값을 받아 비행경로를 자동 생성할 수 있다. 그리고 생성된 비행경로 정보로부터 데이터 획득 주기를 통합제어보드에 설정할 수 있다.

또한, 드론(100A)이 앞서 생성된 비행 계획에 따라 비행을 완료하면, 영상매칭 관리자(200B)는 시간동기화된 데이터의 필터링을 수행하고, 필터링 후의 데이터를 입력으로 빠르게 3차원 공간정보를 자동으로 생성하기 위한 영상 지오레퍼런싱, 정사영상 생성 과정을 수행할 수 있다.

좀더 구체적으로, 영상매칭 관리자(200B)는 사용자 단말(100)로부터 대상지역 범위와 이 대상지역에 대한 정사영상의 해상도 정보를 받고, 대상지역과 요구되는 해상도를 고려하여 드론(100A)의 최적 비행경로를 수립하고 드론(100A)을 통해 데이터를 획득할 수 있다. 데이터는 멀티센서 데이터로서 영상 데이터와 위치 데이터와 자세 데이터를 포함하며, 드론(100A)의 초기 위치 자세를 포함할 수 있다.

또한, 영상매칭 관리자(200B)는 취득한 멀티센서 데이터의 초기 위치 자세를 활용하여 영상매칭을 수행하고 이를 통해 영상들 간의 신뢰성 높은 공액점을 자동으로 추출할 수 있다. 추출한 공액점과 앞서 영상과 함께 취득한 위치자세 데이터를 확률제한조건으로 적용하는 번들블럭조정에 기초하여 지오레퍼런싱(georeferencing) 과정을 수행하고, 이를 통해 영상의 외부표정요소를 정밀하게 추정할 수 있다.

또한, 영상매칭 관리자(200B)는 추정된 외부표정요소를 활용하여 개별 영상을 기존의 수치표고모형(digital elevation model, DEM)이나 평균고도면에 투영하여 적절한 품질의 정사영상을 생성할 수 있다.

전술한 영상매칭 관리자(200B)는 비행경로 생성 모듈, 데이터 획득주기 설정 모듈, 시간동기화 모듈, 필터링 모듈, 영상 지오레퍼런싱 모듈, 정사영상 생성모듈 등을 포함할 수 있다. 사용자 단말(300)로부터 3차원 위치좌표를 취득하고자 하는 대상지역에 대한 범위와 이 대상지역의 정사영상의 해상도에 대한 정보가 입력되면, 영상매칭 관리자(200)는 드론(300)의 비행계획을 수립하고, 드론(100A)에서 시간동기화되어 수집되는 데이터를 받거나, 이 데이터를 필터링한 데이터를 받을 수 있다.

또한, 드론(100A)에서 직접 지오레퍼런싱(direct georeferencing)을 수행하는 경우, 영상매칭 관리자(200B)는 드론(100A)으로부터 영상의 지오레퍼런싱 결과를 제공받을 수 있다. 영상 지오레퍼런싱 결과는 영상 지오레퍼렌싱은 공액점을 추출하는 영상 매칭과 외부표정요소를 결정하는 번들 블록 조정 단계로 구성될 수 있다.

영상 매칭은 번들 블록 조정의 입력 데이터 중 하나인 공액점을 추출하는 과정으로, 자동으로 연속된 여러 장의 영상에서 동일한 객체를 나타내는 영상점의 쌍을 찾아 추출하는 과정이다. 고속으로 공간정보를 생성하는 지상 소프트웨어의 요구 사항에 따라 영상 매칭 과정 역시 빠른 처리 속도가 요구된다. 따라서 처리 속도 면에서 우수한 성능을 보이는 KLT(Kanade Lucas Tomasi) 특징 추적(feature tracker) 알고리즘을 기반으로 영상 간의 이동 및 회전량이 크더라도 신뢰도 높은 결과물을 산출할 수 있도록 영상의 외부표정요소를 활용하는 개선된 KLT 알고리즘 채택할 수 있다.

번들 블록 조정은 다수의 영상으로부터 공액점을 관측하고, 전체 영역에 대해 소수의 기준 데이터를 활용하여, 공선조건식에 기반을 두어 영상의 외부표정요소와 공액점에 상응하는 지상점의 좌표를 결정하는 과정이다. 본 실시예에서는 지오레퍼런싱 결과로부터 대상지역의 공간정보를 고속으로 자동 생성하기 위하여 번들 블록 조정 과정에서 지상기준점의 사용없이 위성항법장치의 위치 데이터와 관성항법장치의 자세 데이터로부터 산출되는 영상의 초기 외부표정요소를 확률제약조건으로 활용할 수 있다.

또한, 영상매칭 관리자(200B)는 정사영상 생성 모듈을 통해 수치 표고 모형이나 정사영상과 같은 공간정보를 출력할 수 있다. 정상영상 생성 모듈은 3차원 공간정보생성 소프트웨어를 포함할 수 있으며, 영상 지오레퍼런싱을 통해 정밀하게 결정된 영상의 외부표정요소를 전달받아 영상으로부터 지도와 동일한 좌표체계를 갖는 수치 표고 모형이나 정사영상 등의 공간정보를 출력할 수 있다.

여기서, 수치표고모형은 처리 시간이 많이 소요되는 정밀 매칭(Dense matching)에 의해 지상의 밀도 높은 3차원 점집합을 계산하고 이로부터 생성되도록 이루어질 수 있다. 본 실시예에서는 신속한 수치 표고 모델, 이를 입력으로 하는 정사영상 생성을 위하여 평균 고도면의 수치 표고 모델을 생성할 수 있다. 평균 고도 값은 비행 계획 수립 과정에서 산출되는 사용자의 관심영역에 대한 최소 경계 사각형의 경계점 좌표로부터 결정될 수 있다.

그리고 정사영상이란 중심 투영으로 생성된 영상 상에 포함된 기복변위를 제거하여 지도와 동일한 좌표체계로 변환된 영상을 의미한다. 본 시스템의 최종 산출물인 정사영상을 생성하기 위해서는 기복변위를 제거하는 편위 수정 과정이 중요한데, 본 실시예에서는 영상점과 투영 중심, 지상점이 한 직선 위에 존재한다는 공선조건식을 기반으로 하여 정사영상의 밝기 값을 원영상에서 가져오는 미분편위 수정 방법을 채택할 수 있다.

즉, 미분 편위 수정을 통해 생성된 정사영상의 밝기 값을 결정할 때 정사영상의 격자에 상응하는 원영상의 위치로 가서 주변 밝기 값을 내삽하여 영상 재배열을 수행할 수 있다. 이때 고속 처리를 위하여 가장 가까운 거리에 있는 원영상의 밝기 값을 그대로 쓰는 최근린 내삽법(Nearest neighbor)을 채택할 수 있다.

외부표정요소(exterior orientation parameters, EOP)는 GPS/INS 센서에서 획득되는 촬영 당시의 센서의 위치를 나타내며 정확한 측량을 위해 반드시 필요한 정보이다. 촬영당시의 센서 정보를 그대로 쓸 경우 정확한 측량 결과를 얻기 어렵다. 이에, 종래의 경우, 대상지역에 대한 항공 삼각 측량을 수행하여 지상기준점(ground control point, GCP)으로 보정된 새로운 EOPs 값을 도출하여야 하며 이를 위해 전체 영역 전체에 분포하는 1.5cm 정밀도의 GCP를 사용하였다. 그리고, 영상의 대부분이 물로 구성되어 직접 측량이 쉽지 않은 수변 구조물의 경우, GCP는 구조물 위에서 취득된 점들을 사용하고, 이후의 영상 정합은 이들 GCP로 보정된 EOP 값을 사용하여 처리하였다.

한편, 본 실시예에서는 객체 기반 정합 기법이 아닌 스테레오 영상페어를 활용한 사진 측량학 요소를 이용한다. 사진 측량학 요소는 드론(100A)의 직접 지오레퍼런싱에 의한 영상을 특징점에 기초하여 상호 매칭하는 것을 포함할 수 있다.

본 실시예에서 사용하는 스테레오 정합 방식은 에피폴라 라인 상에서 그레이 레벨(grey-level) 영상에서의 상관계수 비교를 수행하여 최적의 정합 쌍을 찾아내는 방식으로, 정합 쌍 판단 시 각각 다른 크기의 다수의 정합 영역을 설정하여 센서모델의 오차가 발생하더라도 강인하게 정합결과를 도출할 수 있다. 이 방법은 드론 영상과 같은 항공사진에서 뛰어난 성능을 나타낸다. 본 실시예에서는 스테레오 정합 방식에 대한 알고리즘이 탑재된 프로그램을 활용하여 GCP의 입출력 및 센서 모델을 수행하고, 이를 이용하여 DSM을 추출할 수 있다.

일례로, 소프트웨어 상에서 영상 및 EO 파일 입력 후 두 장의 영상을 선택하고 해상도를 결정하여 DSM을 생성할 수 있으며, 필요한 경우, GCP를 추가로 입력하여 영상의 기하학적인 오류를 보정한 DSM을 생성할 수 있다.

한편, 오차가 포함되어 있는 EO값은 GCP 등을 이용해서 높은 수준으로 조정이 가능하나 본 실시예의 대상지역과 같은 토목 건설 현장이나 붕괴지형이 있는 재난지역 등에서는 스트립을 전부 포함하는 높은 정확도의 GCP을 얻는 것은 어려우며, 취득된 영상들도 흔들림 등의 이유로 영상 간 품질이 다를 수 있기 때문에 정합이 가능한 모든 스테레오 영상에서 개별적인 DSM을 생성하고, 생성된 DSM의 품질에 따라 일부 영역에 모자이크를 수행하는 방식이 추가로 적용될 수 있다. 여기서, 전체의 영상 정합 공정 중 최적의 정합쌍을 도출하기 위해 두 후보 영상의 중복도가 너무 낮거나 영상간의 주시각(convergence angle)의 조건이 맞지 않는 경우에서는 정합을 수행하지 않고 통과시킬 수 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 본 명세서의 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 위에서 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 청구범위뿐 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.

Claims

스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법으로서,
드론에 탑재된 스테레오 카메라에서 촬영된 영상 데이터와, 상기 드론에 탑재된 위성항법장치(global positioning system, GPS)와 관성항법장치(inertial navigation system, INS)에서 생성된 위치 데이터 및 자세 데이터를 토대로 상기 스테레오 카메라, 상기 GPS, 상기 INS 또는 상기 드론의 위치와 회전각를 결정하는 단계;
상기 위치와 회전각에 기초하여 상기 GPS의 시간에 따라 상기 영상 데이터를 상기 위치 데이터 및 상기 자세 데이터와 동기화한 드론 영상들을 상호 매칭시키는 단계;
상기 매칭된 드론 영상들을 실시간 연속적으로 정합시키는 단계; 및
상기 정합된 드론 영상들을 이용하여 깊이지도를 생성하는 단계를 포함하는,
무기준점 3차원 위치좌표 취득 방법.
청구항 1에 있어서,
상기 생성하는 단계는, 스테레오 비전 영상 데이터 또는 이에 대응하는 영상 데이터를 나란히 혹은 쌍으로 사전처리하는 단계; 사전처리된 영상 데이터의 수직 에러를 제거하거나 기하보정을 수행하는 단계; 및 상기 기하보정된 영상 데이터를 이용하여 깊이지도를 생성하는 단계를 포함하는, 무기준점 3차원 위치좌표 취득 방법.
청구항 1에 있어서,
상기 생성하는 단계 후에, 상기 깊이지도를 2차원에서 3차원 지도로 좌표 변환하는 단계를 더 포함하는, 무기준점 3차원 위치좌표 취득 방법.
청구항 3에 있어서,
상기 변환하는 단계 후에,
상기 변환된 깊이지도를 이용하여 포인트 클라우드를 생성하거나 불규칙 삼각망(triangulated irregular network, TIN)을 생성하는 단계;
상기 변환된 깊이지도를 이용하여 3D 모델링을 수행하는 단계; 또는
상기 변환된 깊이지도를 이용하여 3차원 위치좌표를 생성하는 단계를 더 포함하는, 무기준점 3차원 위치좌표 취득 방법.
청구항 3에 있어서,
상기 변환하는 단계 후에,
상기 깊이지도의 적어도 일부 영역에 대한 체적 분석을 수행하는 단계를 더 포함하는, 무기준점 3차원 위치좌표 취득 방법.
청구항 1에 있어서,
상기 정합시키는 단계는, 제1 드론 영상과 상기 제1 드론 영상에 정합되는 제2 드론 영상의 정합 시에 상기 매칭시키는 단계에서 기하보정된 영상 데이터의 보정값을 더해주는, 무기준점 3차원 위치좌표 취득 방법.
스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 시스템으로서,
스테레오 카메라에서 촬영된 영상 데이터와, 위성항법장치(global positioning system, GPS)와 관성항법장치(inertial navigation system, INS)에서 생성된 위치 데이터 및 자세 데이터를 토대로 상기 스테레오 카메라, 상기 GPS, 상기 INS 또는 이들의 조합에 대한 위치와 회전각을 결정하는 위치자세 결정부;
상기 위치와 회전각에 기초하여 상기 GPS의 시간에 따라 상기 영상 데이터를 상기 위치 데이터 및 상기 자세 데이터와 동기화한 드론 영상들을 상호 매칭시키는 영상매칭부;
상기 매칭된 드론 영상들을 실시간 연속적으로 정합시키는 영상정합부; 및
상기 정합된 드론 영상들을 이용하여 깊이지도를 생성하는 깊이지도 생성부를 포함하는, 무기준점 3차원 위치좌표 취득 시스템.
청구항 7에 있어서,
상기 깊이지도를 2차원에서 3차원으로 변환하는 좌표변환부를 더 포함하는, 무기준점 3차원 위치좌표 취득 시스템.
스트레오 카메라 드론과 신호 및 데이터를 송수신하는 무기준점 3차원 위치좌표 취득 시스템으로서,
스테레오 카메라에서 촬영된 영상 데이터와, 위성항법장치(global positioning system, GPS)와 관성항법장치(inertial navigation system, INS)에서 생성된 위치 데이터 및 자세 데이터를 토대로 결정되는 위치와 회전각과, 상기 위치와 회전각에 기초하여 상기 GPS의 시간에 따라 상기 영상 데이터를 상기 위치 데이터 및 상기 자세 데이터와 동기화한 드론 영상들을 포함한 드론 데이터를 수신하는 서브통신시스템-여기서, 상기 드론 데이터는 상기 스테레오 카메라의 초기 위치 자체에 대한 정보를 포함함-; 및
상기 드론 영상들을 사전처리를 수행하고, 사전처리된 드론 영상들의 수직 에러를 제거하고 상기 수직 에러가 제거된 드론 영상에서 깊이지도를 생성하는 깊이지도 생성모듈을 포함하는, 무기준점 3차원 위치좌표 취득 시스템.
청구항 9에 있어서,
상기 깊이지도를 2차원 좌표계에서 3차원 좌표계에서 변환하는 좌표변환모듈을 더 포함하는, 무기준점 3차원 위치좌표 취득 시스템.
청구항 10에 있어서,
상기 변환된 깊이지도를 이용하여 포인트 클라우드를 생성하는 제1 뷰어 모듈; 상기 변환된 깊이지도를 이용하여 불규칙 삼각망(triangulated irregular network, TIN)을 생성하는 제2 뷰어 모듈; 상기 변환된 깊이지도를 이용하여 3D 모델링을 수행하는 제3 뷰어 모듈; 및 상기 변환된 깊이지도를 이용하여 3차원 위치좌표를 생성하는 제4 뷰어 모듈 중 적어도 어느 하나 또는 이들의 조합을 더 포함하는, 무기준점 3차원 위치좌표 취득 시스템.
청구항 10에 있어서,
상기 깊이지도의 적어도 일부 영역에 대한 체적 분석을 수행하는 체적 분석 모듈을 더 포함하는, 무기준점 3차원 위치좌표 취득 시스템.
청구항 9에 있어서,
상기 깊이지도 생성 모듈은, 제1 드론 영상과 상기 제1 드론 영상에 정합되는 제2 드론 영상의 정합 시에 상기 제1 또는 제2 드론 영상의 기하보정시에 획득한 보정값을 더해주는, 무기준점 3차원 위치좌표 취득 시스템.
청구항 9에 있어서,
상기 드론 영상에 대하여 필터링을 수행하는 제1 모듈, 대상지역에 대한 정사영상의 해상도 정보에 따라 드론의 최적 비행경로를 수립하는 비행경로 수립모듈을 더 포함하는, 무기준점 3차원 위치좌표 취득 시스템.