KR102466007B1 - 다차원 공간 정보 생성 시스템 및 방법 - Google Patents

Abstract

본 발명에 따른 다차원 공간 정보 생성 시스템은 스테레오 영상 데이터, 열화상 영상 데이터, 위치 데이터, 및 자세 데이터를 포함하는 통합 데이터를 생성하여 실시간 송신하는 무인 항공기; 및 상기 무인 항공기로부터 실시간으로 통합 데이터를 수신하면, 상기 통합 데이터를 파싱하여 상기 스테레오 영상 데이터, 상기 열화상 영상 데이터, 상기 위치 데이터, 및 상기 자세 데이터를 획득하고, 상기 위치 데이터 및 자세 데이터에 기반하여 상기 스테레오 영상 데이터 및 상기 열화상 영상 데이터를 이용하여 2차원(2D) 맵 및 DSM(Digital Surface Model)을 생성하는 데이터 처리 시스템을 포함한다.

Description

다차원 공간 정보 생성 시스템 및 방법{Multidimensional spatial information generation system and method}

본 발명은 다차원 공간 정보 생성 시스템 및 방법에 관한 것이다.

현대 사회가 복잡화, 고도화됨에 따라 다양한 지식 정보들 중 지형 공간 정보는 국토 공간의 효율적인 활용 및 관리를 위하여 그 중요성이 날로 증대되고 있다.

공간 정보를 이용하는 분야는 전 세계적인 관심 산업으로써 인터넷 기반의 지도서비스 및 3차원 지리정보 서비스 등 널리 활용 되고 있으며 특히 더 정확한 글로벌 좌표의 위치를 활용하기 위하여 공간지리정보 데이터의 취득 및 활용측면으로 증대 및 확대되어 가고 있다.

1990년대 초반부터 선진 도시들은 공간지리정보 데이터 취득 및 구축을 통한 도시 계획 환경의 변화에 대비하여 꾸준히 공간지리정보 데이터를 축적하면서 DB를 구축해 왔다.

국내도 국가적 차원의 지리 정보 시스템 사업과 각 도시의 도시 계획 정보 시스템 구축 등 무인항공기를 활용한 공간지리 정보 데이터 취득 및 데이터 구축을 통한 대한민국 국토의 디지털 트윈화 자료 구축 및 DB화가 진행되고 있다.

한편, 지구온난화로 인한 자연재해는 매년 급증하고 있으며 특히 태풍의 경우에는 빈도가 잦아지고 위력이 강해졌다. 기상청에서 2009년부터 2018년까지 10년간 한반도에 영향을 준 태풍의 강도를 분석한 결과 최대풍속 44m/s 이상의 매우 강한 태풍 발생 빈도가 50% 이상을 차지하며, 이 중 25% 정도는 최대풍속이 초강력 수준인 55m/s 이상에 달한다. 글로 벌 환경단체 그린피스에서는 2030년까지 온실가스 배출이 현 상태로 유지될 경우, 우리나라에 태풍과 해수면 상승 등이 복 합적으로 영향을 미쳐 국토의 5%가 물에 잠기고 332만 명이 침수 피해를 볼 것으로 예측한다. 기후변화로 인해 점차 심각해지는 재해에 대응하기 위해서는 체계적인 관리체계가 필요하다. 하지만 재난관리체계와 관련된 국내 주요 연구에 따르면 현재 우리나라는 재난 유형별로 주관부처가 달라 분산대응이 이루어지고 부처 간 협조체제가 긴밀하게 이루어지지 않는다. 이로 인해 재난대응 상황에서의 체계적인 지원이 어렵고, 신속한 정보전달이 이루어지지 않는 다는 문제점이 있다. 또한, 재난정보는 여러 유관기관에 다양한 형태로 흩어져 있어 업무 담당자가 모니터링, 보고서 작성, 정책 수립 등 재난 관련 업무에 필요한 정보를 파악하고 획득하기까지 많은 시간이 소요된다. 신속하고 정확 한 의사결정이 필요한 재난 분야에서 이러한 형태의 체계는 개선이 필요하다. 재난관리체계를 개선하기 위해 재난 분야 전문가들은 핵심 요인으로 정보 공유체계, 업무 협조체계, 민간 협조체계를 도출하였다. 특히 신속한 의사결정의 근거가 되는 정보의 공유는 효과적인 재난관리체계를 위해 매우 중요하다. 이와 관련하여 재난 현장 대응 및 상황 정보 관리를 위해 다양한 정보를 기반으로 한 재난 상황 판단 모델이 제시되었으며, 재난 상황판단 및 대응을 위해 관련 정보를 지도 위에 매시업 (mash-up)하는 연구도 수행되었다. 그러나, 지도 정보의 특성상 다수 정보가 한 지점에 중첩되면 최상단의 정보만이 지도에 표출되어 정보의 밀집도와 중첩 여부를 알 수 없으므로 정보 가독성이 하락하여 정보해석이 어렵고 왜곡이 발생할 수 있다. 이러한 문제점을 해결하기 위해서는 다량의 공간정보를 융합하는 방법이 있다. 공간 융합정보는 다양한 공간정보들의 속성을 융합하여 통계하거나 하나의 새로운 정보를 생성하는 등 다량의 정보들을 지도 위에 단순화한 것으로, 이를 이용해 정보 해석의 가독성을 높일 수 있다. 공간정보를 융합하는 대표적 공간 단위로는 행정구역, 집계구, 격자 등이 있다.

한편, 최근에는 에너지 관리, 도시 관제, 화재 및 재난 대응 등을 위해서도, 상술한 건축물 또는 시설에 대한 다양한 데이터가 사용되고 있다.

이러한 데이터들 중에서는 대표적으로 상술한 각 건축물 또는 시설에 대한 3차원 모델링 데이터가 활용된다. 3차원 모델링 데이터는 설계 도면 또는 실측 등에 의하여 생성되는 가상의 객체에 대한 3차원 폴리곤 데이터 등을 포함하여, 컴퓨팅 장치에서 각 객체에 대한 형태 등을 구현할 수 있는 모든 데이터를 의미한다.

이러한 모델링 데이터가 사용되는 경우에 있어서, 건축물 혹은 시설의 도면으로부터 제작된 일반 3D모델링은 치수를 맞춰서 제작된 것은 형상정보 외에 3D모델링 포맷에 따라 다르지만 객체들의 이름 정보 모음, 레이어 요소 및 FBX(Autodesk FBX Interchange File) 포맷 등의 계층정보(레이어)까지만 삽입할 수 있는 경우가 대다수이다.

이렇게 저장되는 모델링 데이터의 포맷의 정보는, 기본적으로 형상(Geometry), 텍스쳐, 재질 그리고 포맷 형식에 따라 모델링 객체의 계층정보 외에 상세한 모델링의 추가속성정보를 가지지 못하는 한계가 있다.

이와 같이 기존의 모델링 데이터에서 이용 가능한 형상정보만으로는 공간에 대한 의미를 알 수 없어 속성정보 등을 이용한 정보의 활용(공간 대 공간 경로, 공간에 속한 객체 검색 등)기능을 적용하기 힘들어, 예를 들어 에너지 관리, 도시 관제, 화재 및 재난 피해 예측 등의 데이터 활용이 힘든 문제가 있다.

이러한 문제를 해결하기 위해서, 3차원 모델링 데이터에 다양한 공간의 속성 정보를 저장하는 방식이 활용되고 있다. 예를 들어, 특허출원 제10-2013-0027695호 등의 경우에는, 3차원 모델링 데이터에 표준 공간정보 포맷(ex) indoorGML)의 실내의 공간 데이터를 결합하여 관리하는 기술을 게시하고 있다.

그러나, 이러한 기존의 표준 공간정보 포맷의 경우, 각각의 포맷이 이용되는 원래 목적에 따라서 공간정보가 상세화되는 경우, 데이터 구조가 매우 복잡해지고 그 용량 또한 커져, 데이터의 경량화가 불가능하고 공간정보의 삽입이 매우 어려워져, 범용적으로 사용하기 어려운 문제가 있다.

본 발명은 종래 기술의 문제점을 해결하기 위해 도출된 것으로 본 발명의 목적은 무인 항공기를 이용하여 다차원 공간 정보를 생성할 수 있는 다차원 공간 정보 생성 시스템 및 방법을 제공하는데 있다.

본 발명의 다른 목적은 에너지 관리, 도시 관제, 화재 및 재난 피해 예측 등의 데이터 활용에 필요한 다차원 공간 정보를 생성할 수 있는 다차원 공간 정보 생성 시스템 및 방법을 제공하는데 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 측면에 따른 다차원 공간 정보 생성 시스템은 스테레오 영상 데이터, 열화상 영상 데이터, 위치 데이터, 및 자세 데이터를 포함하는 통합 데이터를 생성하여 실시간 송신하는 무인 항공기; 및 상기 무인 항공기로부터 실시간으로 통합 데이터를 수신하면, 상기 통합 데이터를 파싱하여 상기 스테레오 영상 데이터, 상기 열화상 영상 데이터, 상기 위치 데이터, 및 상기 자세 데이터를 획득하고, 상기 위치 데이터 및 자세 데이터에 기반하여 상기 스테레오 영상 데이터 및 상기 열화상 영상 데이터를 이용하여 2차원(2D) 맵 및 DSM(Digital Surface Model)을 생성하는 데이터 처리 시스템을 포함할 수 있다.

상기 무인 항공기는 상기 스테레오 영상 데이터를 획득하는 스테레오 카메라; 상기 열화상 영상 데이터를 획득하는 열화상 카메라; 상기 위치 데이터를 획득하는 GPS 장치; 상기 자세 데이터를 획득하는 관성 측정 장치(Inertial Measurement unit: IMU); 및 상기 스테레오 영상 데이터, 상기 열화상 영상 데이터, 상기 위치 데이터, 상기 자세 데이터, 및 동기화 정보를 포함하는 통합 데이터를 생성하는 통합 데이터 생성부를 포함할 수 있다.

상기 데이터 처리 시스템은 상기 무인 항공기로부터 통합 데이터를 수신하면 상기 통합 데이터를 파싱하여 상기 통합 데이터로부터 상기 스테레오 영상 데이터, 상기 열화상 영상 데이터, 상기 위치 데이터, 상기 자세 데이터 및 상기 동기화 데이터를 획득하는 데이터 파싱부; 상기 위치 데이터 및 상기 자세 데이터에 기반하여 상기 스테레오 영상 데이터 및 상기 열화상 영상 데이터를 이용하여 2D/IR 맵을 생성하는 2D/IR 맵 생성부; 및 상기 위치 데이터 및 상기 자세 데이터에 기반하여 상기 스테레오 영상 데이터 및 상기 열화상 영상 데이터를 이용하여 DSM(Digital Surface Model)을 생성하는 3D/DSM 생성부를 포함할 수 있다.

상기 2D/IR 맵 생성부는 상기 스테레오 영상 데이터 및 상기 열화상 영상에 대해 이미지 와핑을 수행하고 지상 좌표 4개의 모서리를 계산하고 2D 맵 GSD(Ground Sample Distance)를 계산하고 단사진 2D 맵을 복수개 생성하고 복수개의 단사진 2D 맵들로부터 통합된 2D 맵을 생성할 수 있다.

상기 3D/DSM 생성부는 상기 스테레오 영상 데이터 및 상기 열화상 영상으로부터 단사진 쌍 포인트 클라우드를 복수개 생성하고, 복수의 단사진 쌍 포인트 클라우드로부터 통합 포인트 클라우드를 생성한 후 상기 통합 포인트 클라우드에 기반하여 DSM(Digital Surface Model)을 생성할 수 있다.

본 발명의 일 측면에 따른 다차원 공간 정보 생성 방법은 무인 항공기에서 스테레오 영상 데이터, 열화상 영상 데이터, 위치 데이터, 및 자세 데이터를 포함하는 통합 데이터를 생성하는 단계; 데이터 처리 시스템에서 상기 무인 항공기로부터 실시간으로 통합 데이터를 수신하면, 상기 통합 데이터를 파싱하여 상기 스테레오 영상 데이터, 상기 열화상 영상 데이터, 상기 위치 데이터, 및 상기 자세 데이터를 획득하는 단계; 및 상기 위치 데이터 및 자세 데이터에 기반하여 상기 스테레오 영상 데이터 및 상기 열화상 영상 데이터를 이용하여 2차원(2D) 맵을 생성하고 DSM(Digital Surface Model)을 생성하는 단계를 포함할 수있다.

상기 2차원(2D) 맵을 생성하는 단계는 2D/IR 맵 생성부가 상기 스테레오 영상 데이터 및 상기 열화상 영상에 대해 이미지 와핑을 수행하는 단계; 상기 2D/IR 맵 생성부가 지상 좌표 4개의 모서리를 계산하고 2D 맵 GSD(Ground Sample Distance)를 계산하는 단계; 및 상기 2D/IR 맵 생성부가 상기 단사진 2D 맵을 복수개 생성하고 상기 복수개의 단사진 2D 맵들로부터 통합된 2D 맵을 생성하는 단계를 포함할 수 있다.

상기 DSM(Digital Surface Model)을 생성하는 단계는 3D/DSM 생성부가 상기 스테레오 영상 데이터 및 상기 열화상 영상으로부터 단사진 쌍 포인트 클라우드를 복수개 생성하는 단계; 상기 3D/DSM 생성부가 복수의 단사진 쌍 포인트 클라우드로부터 통합 포인트 클라우드를 생성하는 단계; 및 상기 3D/DSM 생성부가 상기 통합 포인트 클라우드에 기반하여 DSM(Digital Surface Model)을 생성하는 단계를 포함할 수 있다.

전술한 본 발명의 다차원 공간 정보 생성 시스템 및 방법에 따르면, 무인 항공기를 이용하여 다차원 공간 정보를 생성할 수 있다.

또한, 본 발명의 다차원 공간 정보 생성 시스템 및 방법에 따르면, 에너지 관리, 도시 관제, 화재 및 재난 피해 예측 등의 데이터 활용에 필요한 다차원 공간 정보를 생성할 수 있다.

도 1은 본 발명에 따른 다차원 공간 정보 생성 시스템을 모식적으로 나타낸 도면이다.
도 3는 본 발명의 일실시예에 따른 다차원 공간 정보 생성 시스템의 블록도이다.
도 4은 본 발명의 일 실시예에 따른 다차원 공간 정보 생성 시스템에서 다차원 공간 정보를 생성하는 방법의 흐름도이다.
도 5 및 도 6는 본 발명의 일 실시예에 따른 의 2D/IR 맵 생성부의 동작을 나타낸 흐름도들이다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 DSM(Digital Surface Model)을 생성하는 방법의 흐름도들이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함한다" 또는 "가진다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명에 따른 다차원 공간 정보 생성 시스템을 모식적으로 나타낸 도면이다. 도 2a 및 도 2b는 본 발명의 일 실시예에 따른 무인 항공기의 사시도 및 저면도이다. 도 3는 본 발명의 일실시예에 따른 다차원 공간 정보 생성 시스템의 블록도이다.

도 1 내지 도 3을 참조하면, 본 실시예에 따른 다차원 공간 정보 생성 시스템은, 무인 항공기(unmanned aerial vehicle,　UAV)(100), 원격 제어 장치(200) 및 데이터 처리 시스템(300)을 포함한다.

무인 항공기(100)는 예컨대, 드론일 수 있다. 무인 항공기(100)는 비행하면서 특정 지역에 대한 공간 데이터를 획득할 수 있다. 예컨대, 무인 항공기(100)는 0.25 km2의 급변하는 지역에 대해 실시간으로 스테레오/열화상(예컨대, infrared) 영상을 취득 또는 획득할 수 있다.

이를 위해, 무인 항공기(100)는 스테레오 카메라(110), 열화상 카메라(120), 관성 측정 장치(Inertial Measurement unit: IMU), GPS 장치(140)를 포함한다.

도 2a는 본 발명의 일 실시예에 따른 무인 항공기의 사시도이고, 도 2b는 도 2a의 무인 항공기의 저면도이다. 도 2a 및 도 2b를 참조하면, 무인 항공기(100)는 멀티 카메라를 설치하기 위한 구조물을 포함할 수 있다. 무인 항공기(100)는 도 2a 및 도 2b에 도시된 바와 같은 구조물을 가지므로, 멀티 카메라를 설치할 수 있다.

스테레오 카메라(110)는 스테레오 비전 카메라라고 지칭될 수도 있다. 스테레오 카메라(110)는 좌측 카메라 및 우측 카메라를 포함할 수 있다. 좌측 카메라는 무인 항공기(100)의 좌측에 위치하여 사람의 좌측 눈에서 보는 것과 같은 좌측 영상을 촬영하며, 촬영한 좌측 영상을 통합 데이터 생성부(150)로 전달한다.

우측 카메라는 무인 항공기(100)의 우측에 위치하여 사람의 우측 눈에서 보는 것과 같은 우측 영상을 촬영하며, 촬영한 우측 영상을 통합 데이터 생성부(150)로 전달한다.

스테레오 카메라의 경우, 카메라의 위치가 고정되어 있어 스테레오 카메라 정보를 이용하여 동일한 정합 과정 적용 가능하다. 또한 매 순간이 독립촬영이고 좌ㆍ우 영상의 동기화를 통해 조명 조건이 같아 기상 및 밝기 변화에 강한 장점을 가지고 있다. 뿐만 아니라 촬영 위치 점마다 포인트 클라우드 정보를 생성해 내기 때문에 적은 사진으로도 3차원 정보를 구성할 수 있으며, 스테레오 영상마다 절대 표정된 포인트 클라우드 정보를 생성할 수 있기 때문에 오차의 누적이 없거나 적다는 장점을 가지고 있다.

스테레오 카메라(110)는 두 카메라들 사이의 거리인 베이스라인(baseline)의 길이에 따라 초점 거리가 달라지므로 베이스라인을 조정하면 지상에서 10M ∼ 150M 범위 내에서 촬영이 적합하도록 장비를 구성할 수 있다. 또한, 스테레오 비전 카메라는 데이터 처리 속도를 빠르게 할 수 있도록 회색톤(grey scale)의 영상을 획득하도록 구성될 수 있다.

이와 같이, 스테레오 카메라(110)에 구비된 2개의 좌우 카메라를 통하여 촬영되는 좌, 우 영상을 정합하면 하나의 깊이 영상을 생성할 수 있다.

열화상 카메라(120)는 대상의 열분포 영상(이하, "열화상 영상"이라 명칭한다)을 촬영한다. 이 열화상 카메라(120)를 통하여 촬영되는 대상의 열화상 영상은 깊이 영상과 정합하는 경우 깊이 영상 위에 열화상 영상이 표시되는 3차원 입체 열화상 영상을 생성할 수 있게 된다.

또한, 본 실시예에서 스테레오 카메라에 의한 스테레오 영상은 기본적으로 지상 기준점을 포함하지 않는다. 종래 기술에서는 통상 지상에 지상기준점을 설치함으로써 서로 다른 비행 고도나 위치 또는 자세에서 촬영된 영상들을 이 영상들에 포함된 기상기준점 등을 이용하여 상호 매칭시켜 정합하거나 외부 표정 요소를 결정하도록 이루어진다. 한편, 본 실시예에서는 무인 항공기(100)에 탑재된 실시간 이동측위(real-time kinematic, RTK) GPS와 관성 측정 장치(IMU)로 스테레오 카메라 등 센서의 위치와 회전각을 정확하게 결정함으로써 외부 표정 요소의 결정을 위한 지상기준점 및 지상기준점 측량 과정을 생략할 수 있다.

또한, 무인 항공기(100)는, 자이로 센서의 3축 각속도 데이터는 자세 벡터를 계산하는 프로세서를 포함할 수 있다. 추가적으로 드론은 안정적인 비행을 지원하기 위해 기압계(barometer) 등과 같은 장비도 탑재할 수 있다.

전술한 무인 항공기(100)는 자세값을 생성하는 관성측정장치(inertial measurement unit, IMU)(130) 및 위치데이터를 생성하는 위성항법장치(global positioning system, GPS) 장치(140)를 포함한다.

관성 측정 장치(IMU)(130)는 가속도계와 회전 속도계, 때로는 자력계의 조합을 사용하여 신체의 특정한 힘, 각도 비율 및 때로는 신체를 둘러싼 자기장을 측정하고 보고하는 전자 장치이다. IMU(130)는 일반적으로 무인 항공기(무인 항공기)를 포함한 항공기와 인공위성과 육지를 포함한 우주선을 조종하는 데 사용된다. 최근의 개발은 IMU를 사용할 수 있는 GPS장치의 생산을 가능하게 한다. IMU는 터널, 건물 내부 또는 전자적 간섭이 있을 때와 같이 GPS-신호를 사용할 수 없을 때 GPS수신기를 사용할 수 있도록 한다.

관성측정장치는 관성항법장치(inertial navigation system, INS)로 대체될 수 있고, 가속도 센서와 자이로(gyro) 센서를 구비할 수 있다.

관성측정장치에서 가속도 센서의 3축 가속도 데이터(Ax, Ay, Az)는 축 변환(axis transform) 모듈에 의해 미리 설정된 3차원 가속도 데이터(An, Ae, Av)로 변환되고, 변환된 3차원 가속도 데이터(An, Ae, Av)는 위치 데이터와 속도 데이터로 변환되어 출력될 수 있다. 이때, 위치 데이터와 속도 데이터에 대응하는 자이로 토크 신호(gyro torque signals)가 자이로 센서의 3축 각속도 데이터(Wx, Wy, Wz)를 처리하는 자세 벡터 계산 모듈에 입력될 수 있다. 자세 벡터 계산 모듈의 출력은 축 변환 모듈에 입력될 수 있다.

관성측정장치(130)는 자세값을 통합 데이터 생성부(150)로 전송한다. 또한, 위성항법장치(GPS) 장치(140)는 위치데이터를 통합 데이터 생성부(150)로 전송한다.

통합 데이터 생성부(150)는 무인 항공기(100)에 탑재된 스테레오 카메라에서 촬영된 스테레오 영상 데이터, 열화상 카메라(120)에서 촬영된 열화상 영상 데이터, 무인 항공기(100)에 탑재된 위성항법장치(GPS)와 관성측정장치(IMU)에서 생성된 위치 데이터 및 자세 데이터를 수신하고, 스테레오 영상 데이터, 열화상 영상 데이터, 위치 데이터, 및 자세 데이터를 포함하는 통합 데이터를 생성한다.

본 실시예에서는 위치 데이터가 GPS 장치(140)가 생성하지만, GNSS(Global Navigation System)로 대체될 수 있다. GNSS는 GNSS는 우주 궤도를 돌고 있는 인공위성을 이용하여 지상에 있는 물체의 위치, 고속, 속도에 관한 정보를 제공한다. 작게는 1 m 이하 해상도의 정밀한 위치정보까지 파악할 수 있으며, 군사적 용도뿐 아니라 항공기, 선박, 자동차 등 교통수단의 위치 안내나 측지 긴급구조 통신 등 민간분야에서도 폭넓게 응용된다. GNSS는 하나 또는 그 이상의 인공위성과 신호를 받을 수 있는 수신기, 지상의 감시국 및 시스템 보전성 감시체계로 이뤄진다. 이는 인공위성의 발신된 전파를 수신기에서 받아 거리를 구해 수신기의 위치를 결정하는 방식이다.

통합 데이터 생성부(150)는 통합 데이터에 동기화 정보를 포함한다. 동기화 데이터는 스테레오 영상 데이터, 열화상 영상 데이터, 위치 데이터, 및 자세 데이터의 생성 시간을 포함할 수 있다. 예컨대, 스테레오 영상 데이터, 열화상 영상 데이터, 위치 데이터, 및 자세 데이터는 동일한 시간에 획득된 데이터인 것이 바람직하다. 통합 데이터 생성부(150)는 동기화 데이터 즉, 데이터 생성 시간을 포함하는 통합 데이터를 실시간으로 생성하여 통신부(160)를 통해 데이터 처리 시스템(300)으로 예컨대, 1시간 이내에 전송할 수 있다.

통신부(160)는 원격 제어 장치(200) 및 데이터 처리 시스템(300)와 무선으로 통신하는 무선통신부이다. 무인 항공기(100)는 자신의 비행고도 및 GPS신호를 통신부(160)를 통하여 원격 제어 장치(200) 및 데이터 처리 시스템(300)와 통신할 수 있다. 통신부(160)는 원격 제어 장치(200)와 근거리 통신 방식을 통해 통신할 수 있다. 근거리 통신 방식은 블루투스(Bluetooth), 저전력 블루투스(BTLE, Bluetooth LE), NFC, ZigBee, 가시광 통신, 와이파이 및 RFID 중 적어도 하나일 수 있다.　또한, 통신부(160)는 데이터 처리 시스템(300)와 5G 통신 방식 또는 LTE 통신 방식에 따라 통신할 수 있다.

상기와 같이 구성된 무인 항공기(100)는 원격 제어 장치(200)에 의해 무선으로 원격 제어될 수 있다.

원격 제어 장치(200)는 비행 제어부(210) 및 다차원 공간 정보 원격 제어부(220)를 포함한다. 비행 제어부(210)는 무인 항공기(100)의 자율비행 경로를 설정할 수 있다. 비행 제어부(210)는 FPV(First Person View) 영상 모니터링을 수행할 수 있다. 또한, 비행 제어부(210)는 무인 항공기(100) 및 짐벌 상태를 모니터링할 수 있다.

다차원 공간 정보 원격 제어부(220)는 원격 촬영 제어를 수행할 수 있다. 예컨대, 다차원 공간 정보 원격 제어부(220)는 GPS(GNSS)/IMU 로깅 정보 모니터링을 수행할 수 있다. 또한, 다차원 공간 정보 원격 제어부(220)는 탑재 시스템 원격 제어를 수행할 수 있다.

데이터 처리 시스템(300)은 통신부(310), 데이터 파싱부(320), 2D/IR 맵 생성부(330), 3D/DSM 생성부(340) 및 변화 검출부(350)를 포함한다.

통신부(310)는 무인 항공기(100)로부터 통합 데이터를 수신할 수 있다. 통합 데이터는 스테레오 영상 데이터, 열화상 영상 데이터, 위치 데이터, 및 동기화 데이터를 포함할 수 있다. 동기화 데이터는 스테레오 영상 데이터, 열화상 영상 데이터 및 위치 데이터를 동기화하는데 사용된다. 동기화 데이터는 스테레오 영상 데이터, 열화상 영상 데이터 및 위치 데이터의 생성 시간일 수 있다.

데이터 처리 시스템(300)은 무인 항공기(100)로부터 통합 데이터를 수신하면 통합 데이터에 기초하여 다차원 공간 정보를 생성할 수 있다.

이를 도 4 내지 도 9을 참조하여 설명한다.

도 4는 본 발명의 일 실시예에 따른 다차원 공간 정보 생성 시스템에서 다차원 공간 정보를 생성하는 방법의 흐름도이다.

도 4를 참조하면, 무인 항공기(100)는 단계 S110에서 카메라 영상을 획득한다. 구체적으로, 무인 항공기(100)는 스테레오 카메라(110)을 통해 좌, 우 영상을 획득할 수 있다. 또한, 무인 항공기(100)는 열화상 카메라(120)를 통해 열화상 영상을 획득할 수 있다.

무인 항공기(100)는 단계 S120에서 위치 및 자세 정보를 획득할 수 있다. 전술한 바와 같이, 무인 항공기(100)는 관성측정장치(130)를 통해 자세 정보를 획득하고 GPS 장치(140)를 통해 위치 정보를 획득할 수 있다. 이어서, 무인 항공기(100)는 단계 S130에서 통합 데이터를 생성할 수 있다.

통합 데이터는 전술한 바와 같이, 스테레오 영상 데이터, 열화상 영상 데이터, 위치 데이터, 및 동기화 데이터를 포함할 수 있다. 동기화 데이터는 스테레오 영상 데이터, 열화상 영상 데이터 및 위치 데이터를 동기화하는데 사용된다. 동기화 데이터는 스테레오 영상 데이터, 열화상 영상 데이터 및 위치 데이터의 생성 시간일 수 있다.

무인 항공기(100)는 단계 S140에서 통합 데이터를 데이터 처리 시스템(300)으로 전송한다.

데이터 처리 시스템(300)의 데이터 파싱부(320)은 단계 S150에서 통합 데이터 파싱 및 데이터를 분류한다. 구체적으로, 데이터 파싱부(320)는 무인 항공기(100)로부터 통합 데이터를 수신하면 상기 통합 데이터를 파싱하여 통합 데이터로부터 스테레오 영상 데이터, 열화상 영상 데이터, 위치 데이터 및 동기화 데이터를 획득할 수 있다.

스테레오 영상 데이터는 전술한 바와 같이 우측 영상 데이터 및 좌측 영상 데이터를 포함할 수 있다.

데이터 파싱부(320)는 스테레오 영상 데이터중 우측 영상 데이터 및 열화상 영상 데이터를 2D/IR 맵 생성부(330)로 전송한다.

이어서, 데이터 처리 시스템(300)의 2D/IR 맵 생성부(330)는 단계 S160에서 상기 위치 데이터 및 자세 데이터에 기반하여 2D/IR 매핑을 수행하고 2D 맵을 생성하는데, 도 5 및 도 6을 참조하여 상세히 설명한다.

도 5 및 도 6은 본 발명의 일 실시예에 따른 2D/IR 맵 생성부의 동작을 나타낸 흐름도들이다.

먼저, 데이터 처리 시스템(300)의 2D/IR 맵 생성부(330)는 우측 영상 데이터 및 열화상 영상 데이터를 수신하고, 상기 위치 데이터 및 자세 데이터에 기반하여 2D 매핑 및 IR 매핑을 수행하여 2D(2차원) 맵 및 IR 맵을 생성하여 저장한다.

구체적으로, 2D/IR 맵 생성부(330)는 단계 S161에서 우측 영상 및 열화상 영상에 대해 이미지 와핑(warping)을 수행한다. 이미지 와핑(Warping)이란, 기하학적 변형(Geometric Transformation)의 한 종류로서, 간단하게 한 (x, y)의 위치에 있는 픽셀을 (x', y')으로 대응시키는 작업을 의미한다.

예를 들어, 2D/IR 맵 생성부(330)는 우측 영상에 포함된 물체 또는 특정 지점을 대응점에 기초하여, 및 열화상 영상에 대응시킬 수 있다. 즉, 2D/IR 맵 생성부(330)는 일 대응점에 대한 우측 영상에서의 좌표 정보를 및 열화상 영상에서 일 대응점에 대한 좌표 정보와 동일하게 변경할 수 있다.

이어서, 2D/IR 맵 생성부(330)는 단계 S162에서 지상 좌표 4개의 모서리를 계산한다. 2D/IR 맵 생성부(330)는 이미지 와핑된 영상의 4개의 모서리를 계산한 후 단계 S163에서 2D 맵 GSD(Ground Sample Distance)를 계산한다. GSD(Ground Sample Distance)는 지상 샘플 거리로서 이 GSD에서 말하는 거리는 두 개의 연속되는 픽셀 중앙점 간의 거리를 말한다. 즉, 1개의 픽셀(px)이 나타내는 실제 X, Y 지상 거리를 의미한다고 할 수 있다.

이 때, 2D/IR 맵 생성부(330)는 복수개의 영상들 중 첫번째 영상에서 계산된 GSD를 사용하는 방법도 있지만 무인 항공기(100)가 이륙 직후 촬영시 GSD가 작게 잡혀 메모리가 부족해지고, 이후의 2D 맵 생성이 GSD 계산을 대기하는 문제점이 발생할 수 있다. 따라서, 2D/IR 맵 생성부(330)는 기본 GSD를 상수로 정의하여 맞추는 것이 바람직하다.

2D/IR 맵 생성부(330)는 단계 S162에서 2D 맵 GSD에 기초하여 우측 영상 데이터 및 열화상 영상 데이터를 이용하여 단사진 2D 맵을 생성한다. 다시 말해, 2D/IR 맵 생성부(330)는 복수개의 우측 영상과 복수개의 열화상 영상을 이용하여 단사진 2D 맵들을 생성할 수 있다.

이어서 2D/IR 맵 생성부(330)는 단계 S165에서 복수개의 단사진 2D 맵들로부터 통합된 2D 맵을 생성한다.

2D/IR 맵 생성부(330)는 맵들로부터 통합된 2D 맵을 생성하는 방법을 이하 도 5를 참조하여 설명한다.

병합된 2D 맵을 생성한 후, 2D/IR 맵 생성부(330)는 S166에서 통합된 2D 맵을 메모리(도시 생략)에 저장한다. 2D/IR 맵 생성부(330)는 S167에서 통합된 2D 맵을 웹 상의 지리 정보 시스템(GIS: Geographic　Information　System)(WEB GIS)에 전달할 수 있다.

이하, 도 6를 참조하여 2D/IR 맵 생성부(330)에서 통합된 2D 맵을 생성하는 방법을 설명한다.

도 6를 참조하면, 2D/IR 맵 생성부(330)는 단계 S201에서 기본 GSD에 따라 GSD를 수정하고 이미지를 리사이징한다. 2D/IR 맵 생성부(330)는 단계 S202에서 Ground Rect 최대/최소 갱신하여 최종 지상좌표 범위 및 최종 이미지 사이즈를 결정한다.

2D/IR 맵 생성부(330)는 단계 S203에서 최종 Ground Rect와 각 Ground Rect를 비교하고 최종 이미지 상의 각 이미지 ROI(Region of Interest)를 계산한다. 이이서, 2D/IR 맵 생성부(330)는 단계 S204에서 메모리 할당 후 각 이미지를 복사하고, 단계 S205에서 병합된 2D 맵(Marged 2D Map)을 생성한다. 이 경우, 병합된 2D 맵(Marged 2D Map)은 병합된 이미지, 병합된 Ground Rec 및 디폴트 GSD를 포함한다.

한편, 도 4를 참조하면, 데이터 처리 시스템(300)의 3D/DSM 생성부(340)는 단계 S170에서 3D 매핑을 수행하고 DSM을 생성하다.

구체적으로, 데이터 파싱부(320)는 스테레오 영상 데이터의 우측 영상 데이터와 좌측 영상 데이터 및 열화상 영상 데이터를 3D/DSM 생성부(340)로 전송한다.

도 7 내지 도 9를 참조하여 DSM(Digital Surface Model)을 생성하는 방법을 설명한다.

도 7 내지 도 9는 본 발명에 따른 DSM(Digital Surface Model)을 생성하는 방법의 흐름도들이다.

3D/DSM 생성부(340)는 스테레오 영상 데이터의 우측 영상 데이터와 좌측 영상 데이터 및 열화상 영상 데이터를 이용하여 3D 매핑을 수행하고 DSM을 생성한다.

도 7을 참조하면 3D/DSM 생성부(340)는 단계 S171에서 우측 영상과 좌측 영상으로부터 열화상 영상에 기반하여 단사진 쌍 포인트 클라우드를 생성한다. 포인트 클라우드는 3D(3차원) 공간 상에 퍼져 있는 포인트들의 집합이다.

도 7에 3D/DSM 생성부(340)에서 단사진 쌍 포인트 클라우드를 생성하는 방법의 흐름도가 도시되어 있다.

도 8을 참조하면, 3D/DSM 생성부(340)는 단계 S211에서 에피폴라 이미지 쌍을 생성한다. 3D/DSM 생성부(340)는 단계 S212에서 시차 지도를 생성한다. 3D/DSM 생성부(340)는 단계 S213에서 3D(3차원) 점군을 생성함으로써 포인트 클라우드를 생성할 수 있다. 3D/DSM 생성부(340)는 도 7에 도시된 제어 흐름을 복수회 수행함으로써 복수의 단사진 쌍 포인트 클라우드들을 생성할 수 있다.

다시 도 7을 참조하면, 3D/DSM 생성부(340)는 복수의 단사진 쌍 포인트 클라우드들로부터 통합 포인트 클라우드를 생성한다. 그런 다음, 3D/DSM 생성부(340)는 통합 포인트 클라우드에 기반하여 DSM을 생성한다.

도 9에 3D/DSM 생성부(340)에서 DSM을 생성하는 방법의 흐름도가 도시되어 있다.

도 9을 참조하면, 3D/DSM 생성부(340)는 복수의 단사진 쌍 포인트 클라우드들을 생성한 후 단계 S221에서 보간용 컨테이너를 생성한다. 이어서, 3D/DSM 생성부(340)는 단계 S221에서 특정 간격에 따라 점군 분류 및 선형 계산을 수행한다. 3D/DSM 생성부(340)는 아래 수학식 1과 같이 IDW(Inverse Distance Weighting) 계산하고 대기한다.

이 경우, IDW의 분자 및 분모는 합이므로 global 점군을 갖고 있지 않아도 계산 가능하며, 두 합을 구한 후 맨 마지막 나눗셈을 한 번만 진행한다.

여기에서 각 포인트 클라우드에서 계산 가능하므로 병렬화가 가능하며, 계산후 기존 점군을 삭제하여 메모리 사용량 절감이 가능하다.

다시 도 7을 참조하면, 3D/DSM 생성부(340)는 상기 통합 포인트 클라우드에 기반하여 DSM을 생성한 후 단계 S174에서 메모리(도시 생략)에 저장하고, 3D/DSM 생성부(340)는 S175에서 생성된 DSM을 웹 상의 지리 정보 시스템(GIS: Geographic　Information　System)(WEB GIS)에 전달 할 수 있다.

도 4을 참조하면, 데이터 처리 시스템(300)의 변화 검출부(350)는 단계 S180에서 생성된 DSM에 기초하여 변화를 탐지할 수 있다. 예컨대, 변화 검출부(350)는 이전 DSM과 현재의 DSM을 비교함으로써 변화를 검출할 수 있다.

본 발명은 도면을 참조한 실시예를 중심으로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점은 자명하다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100: 무인 항공기 110: 스테레오 카메라
120: 열화상 카메라 130: 관성 측정 장치
140: GPS 장치 150: 통합 데이터 생성부
200: 원격 제어 장치 300: 데이터 처리 시스템
320: 데이터 파싱부 330: 2D/IR 맵 생성부
340: 3D/DSM 생성부 350: 변화 검출부

Claims (8)

1. 스테레오 영상 데이터, 열화상 영상 데이터, 위치 데이터, 자세 데이터, 및 동기화 데이터를 포함하는 통합 데이터를 생성하여 실시간 송신하는데, 상기 동기화 데이터는 상기 스테레오 영상 데이터, 상기 열화상 영상 데이터, 상기 위치 데이터, 및 상기 자세 데이터의 생성 시간을 포함하는, 무인 항공기; 및
   상기 무인 항공기로부터 실시간으로 상기 통합 데이터를 수신하면, 상기 통합 데이터를 파싱하여 상기 스테레오 영상 데이터, 상기 열화상 영상 데이터, 상기 위치 데이터, 상기 자세 데이터 및 상기 동기화 데이터를 획득하고, 상기 위치 데이터 및 자세 데이터에 기반하여 상기 스테레오 영상 데이터 및 상기 열화상 영상 데이터를 이용하여 2차원(2D) 맵 및 DSM(Digital Surface Model)을 생성하는 데이터 처리 시스템을 포함하며,
   상기 데이터 처리 시스템은
   상기 무인 항공기로부터 통합 데이터를 수신하면 상기 통합 데이터를 파싱하여 상기 통합 데이터로부터 상기 스테레오 영상 데이터, 상기 열화상 영상 데이터, 상기 위치 데이터, 상기 자세 데이터 및 상기 동기화 데이터를 획득하는 데이터 파싱부;
   상기 위치 데이터 및 상기 자세 데이터에 기반하여 상기 스테레오 영상 데이터 및 상기 열화상 영상 데이터를 이용하여 2D/IR 맵을 생성하는 2D/IR 맵 생성부;
   상기 스테레오 영상 데이터 및 상기 열화상 영상으로부터 단사진 쌍 포인트 클라우드를 복수개 생성하고 복수의 단사진 쌍 포인트 클라우드로부터 통합 포인트 클라우드를 생성하며, 상기 통합 포인트 클라우드에 기반하여 DSM(Digital Surface Model)을 생성하는 3D/DSM 생성부; 및
   상기 생성된 DSM을 이전 DSM과 비교함으로써 변화를 검출하는 변화 검출부를 포함하는 다차원 공간 정보 생성 시스템.
   
2. 청구항 1에 있어서,
   상기 무인 항공기는
   상기 스테레오 영상 데이터를 획득하는 스테레오 카메라;
   상기 열화상 영상 데이터를 획득하는 열화상 카메라;
   상기 위치 데이터를 획득하는 GPS 장치;
   상기 자세 데이터를 획득하는 관성 측정 장치(Inertial Measurement unit: IMU); 및
   상기 스테레오 영상 데이터, 상기 열화상 영상 데이터, 상기 위치 데이터, 상기 자세 데이터, 및 동기화 정보를 포함하는 통합 데이터를 생성하는 통합 데이터 생성부를 포함하는 다차원 공간 정보 생성 시스템.
   
3. 삭제
4. 청구항 1에 있어서,
   상기 2D/IR 맵 생성부는 상기 스테레오 영상 데이터 및 상기 열화상 영상에 대해 이미지 와핑을 수행하고 지상 좌표 4개의 모서리를 계산하고 2D 맵 GSD(Ground Sample Distance)를 계산하고 단사진 2D 맵을 복수개 생성하고 상기 복수개의 단사진 2D 맵들로부터 통합된 2D 맵을 생성하는 다차원 공간 정보 생성 시스템.
   
5. 청구항 1에 있어서,
   상기 3D/DSM 생성부는 상기 스테레오 영상 데이터 및 상기 열화상 영상으로부터 단사진 쌍 포인트 클라우드를 복수개 생성하고, 복수의 단사진 쌍 포인트 클라우드로부터 통합 포인트 클라우드를 생성한 후 상기 통합 포인트 클라우드에 기반하여 DSM(Digital Surface Model)을 생성하는 다차원 공간 정보 생성 시스템.
   
6. 다차원 공간 정보 생성 방법에 있어서,
   무인 항공기가 스테레오 영상 데이터, 열화상 영상 데이터, 위치 데이터, 자세 데이터, 및 동기화 데이터를 포함하는 통합 데이터를 생성하는데, 상기 동기화 데이터는 상기 스테레오 영상 데이터, 상기 열화상 영상 데이터, 상기 위치 데이터, 및 상기 자세 데이터의 생성 시간을 포함하는, 단계;
   데이터 처리 시스템의 데이터 파싱부가 상기 무인 항공기로부터 실시간으로 통합 데이터를 수신하면, 상기 통합 데이터를 파싱하여 상기 스테레오 영상 데이터, 상기 열화상 영상 데이터, 상기 위치 데이터, 상기 자세 데이터, 및 상기 동기화 데이터를 획득하는 단계;
   상기 데이터 처리 시스템의 2D/IR 맵 생성부가 상기 위치 데이터 및 자세 데이터에 기반하여 상기 스테레오 영상 데이터 및 상기 열화상 영상 데이터를 이용하여 2차원(2D) 맵을 생성하는 단계;
   상기 데이터 처리 시스템의 3D/DSM 생성부가 상기 스테레오 영상 데이터 및 상기 열화상 영상으로부터 단사진 쌍 포인트 클라우드를 복수개 생성하는 단계;
   상기 3D/DSM 생성부가 복수의 단사진 쌍 포인트 클라우드로부터 통합 포인트 클라우드를 생성하는 단계;
   상기 3D/DSM 생성부가 상기 통합 포인트 클라우드에 기반하여 DSM(Digital Surface Model)을 생성하는 단계; 및
   상기 데이터 처리 시스템의 변화 검출부가 상기 생성된 DSM을 이전 DSM과 비교함으로써 변화를 검출하는 단계를 포함하는 다차원 공간 정보 생성 방법.
   
7. 청구항 6에 있어서,
   상기 2차원(2D) 맵을 생성하는 단계는
   상기 2D/IR 맵 생성부가 상기 스테레오 영상 데이터 및 상기 열화상 영상에 대해 이미지 와핑을 수행하는 단계;
   상기 2D/IR 맵 생성부가 지상 좌표 4개의 모서리를 계산하고 2D 맵 GSD(Ground Sample Distance)를 계산하는 단계; 및
   상기 2D/IR 맵 생성부가 단사진 2D 맵을 복수개 생성하고 상기 복수개의 단사진 2D 맵들로부터 통합된 2D 맵을 생성하는 단계를 포함하는 다차원 공간 정보 생성 방법.
8. 삭제

Images