KR20240073233A - Uav를 이용한 땅밀림 측정 및 모니터링 시스템 - Google Patents

Abstract

본 발명은 UAV를 이용한 땅밀림 측정 및 모니터링 시스템에 관한 것으로, 더욱 상세하게는 모니터링 대상 지역을 사전에 설정된 경로 또는 원격 관리서버의 제어하에 운항하면서 카메라를 통해 지역의 2D 영상을 촬영하여, 저장하는 한편 상기 관리서버로 2D 영상 이미지를 전송하는 무인항공기; 및 모니터링 대상 지역에 대한 상기 무인항공기의 운항 주기와 경로를 사전에 설정 또는 원격 제어하여 운항 및 귀환하도록 하고, 상기 무인항공기에서 전송되는 2D 영상 이미지를 사전에 설정된 영상 처리 알고리즘 내지 프로그램을 통해, 3D 모델 또는 고정밀 정사영상을 반복 생성하되, 상기 3D 모델 또는 고정밀 정사영상 중에서 동일지점에 대한 데이터를 누적 관리하면서 기 측정 자료와 비교하여 땅밀림을 모니터링 하는 관리서버; 를 포함하는 것을 특징으로 하는 UAV를 이용한 땅밀림 측정 및 모니터링 시스템에 관한 것이다.

Description

UAV를 이용한 땅밀림 측정 및 모니터링 시스템{Land creep measurement and monitoring system using UAV}

본 발명은 UAV를 이용한 땅밀림 측정 및 모니터링 시스템에 관한 것으로, 더욱 상세하게는 땅밀림이 진행되고 있는 지역이 선정되면, UAV(무인항공기)가 항공 촬영을 실시하여 촬영된 2D이미지를 관리서버로 전송하면, 관리서버가 X, Y, Z 좌표가 포함된 수치지형도를 포함한 3D 모델 또는 고정밀 정사영상을 생성하고, 촬영시 마다 생성된 상기 3D 모델 또는 고정밀 정사영상에서 하나 또는 다수의 동일지점에 대한 사면의 변위를 계측하여, 상기 동일지점에 대한 데이터를 누적 관리하면서 기 측정 자료와 비교하여 땅밀림을 모니터링 하는 UAV를 이용한 땅밀림 측정 및 모니터링 시스템에 관한 것이다.

일반적으로, 땅밀림(Land creep(Ground push))은 토양층이 지하수 따위의 영향으로 중력에 의해 서서히 아래쪽으로 밀리는 현상을 말하는 것으로, 첨부 도면 도 1 및 도 2에 도시된 바와 같이, 산사태와 달리 물이 차 올라 약해진 지반이 넓은 면적에 걸쳐 무너져 내리는 것을 땅밀림 현상이라고 하며, 산사태보다 인명과 재산 피해가 더 클 수 있으나 최근까지 관리 기준이 없어 우려가 되고 있는 재해 부분이다.

최근에 이러한 땅밀림을 사전 감지하여 재해를 미리 인지할 수 있도록 하는 기술이 다수 소개되었으며, 그 예로는 대한민국 등록특허공보 제10-2239394호(명칭 : 땅밀림 발생지 조사 시스템 및 이의 모니터링 장치 ; 이하 문헌 1)와 대한민국 등록특허공보 제10-2154725호(명칭 : 산지토사재해 감지 시스템 ; 이하 문헌 2)가 있다.

상기 문헌 1은 땅밀림 발생지 관리체계를 수행하는 땅밀림 발생지 조사 시스템에 있어서, 상기 땅밀림 발생지와 근접한 지역의 입지환경, 기상환경 및 사회환경 중 적어도 하나를 포함하는 데이터를 수집하여 예비조사를 수행하는 예비조사 수행부; 상기 예비조사 결과를 기반으로 상기 땅밀림의 발생 범위와 규모를 결정하고, 상기 땅밀림 발생지의 특성을 표출하는 땅밀림 발생지도를 작성하는 현장조사 수행부; 상기 땅밀림 발생지의 각 영역별로 물리적 위험성을 분석하여, 상기 물리적 위험성이 높은 순서대로 1차 위험도를 판정하는 위험도 판정부; 및 상기 1차 위험도 판정 여부에 따라 상기 땅밀림 발생지의 일 영역에 대해 모니터링을 실시하는 모니터링부;를 포함하며, 상기 모니터링부는, 토층의 밀림을 판단하고자 하는 영역의 지형 상태 정보를 입력 받는 상태 정보 입력부; 상기 토층의 내측과 외측에 일정 간격 또는 특정 지점에 하나 이상 설치되어 토층의 이동을 센싱 후 전송하는 상태 감지부; 및 상기 상태 감지부가 센싱한 데이터를 입력 받고, 상기 토층이 기 설정된 범위보다 초과하여 이동한 경우에 토층 밀림을 판단하는 토층 밀림 판단부;를 포함하고, 상기 상태 감지부는, 상기 토층의 내측과 외측에 기 설정된 이격 거리로 설치되어 지반의 변위를 측정하기 위한 다수의 변위 센서들을 포함하며, 상기 변위 센서들은, 상기 토층의 내측을 지표면을 중심으로 지층 구조로 구분하였을 때, 각 층 마다 하나 이상 설치되는 것을 특징으로 하는 땅밀림 발생지 조사 시스템이다.

이러한 문헌 1는 상기 모니터링부가 토층의 밀림을 판단하고자 하는 영역의 지형 상태 정보를 입력 받고, 상기 토층의 내측과 외측에 일정 간격 또는 특정 지점에 하나 이상 설치되어 토층의 이동을 센싱 후 전송하는 상태 감지부 및 상기 상태 감지부가 센싱한 데이터를 입력 받고, 상기 토층이 기 설정된 범위보다 초과하여 이동한 경우에 토층 밀림을 판단하는 것으로, 땅밀림을 감지하는 센서를 재해 발생 가능 지역에 다수개를 고정 설치하여야 하므로, 설치 비용이 많이 소요되는 문제점이 있으며, 갑작스런 땅밀림 발생과 그 발생 정도가 큰 경우 감지 센서가 유실되거나 동작 불능상태가 되는 문제점이 있다.

한편, 문헌 2는 임의의 높이로 퇴적된 토양의 변위가 이동되어 발생되는 산지토사재해를 감지하는 산지토사재해 감지 시스템에 있어서, 심층의 토양이 이동되는지 여부를 감지하는 제1 감지부; 표층의 토양이 이동되는지 여부를 감지하는 제2 감지부; 및 상기 제1 감지부로부터 전달되는 상기 심층의 토양의 이동 정보와 관련된 정보인 제1 감지 정보와 상기 제2 감지부로부터 전달되는 상기 표층의 토양의 이동 정보와 관련된 정보인 제2 감지 정보를 기초로 산지토사재해 발생 여부를 판단하는 분석 장치;를 포함하고, 상기 분석 장치는, 상기 제1 감지부로부터 상기 제1 감지 정보가 전달되고 상기 제2 감지부로부터 상기 제2 감지 정보가 전달되는 경우, 소정 기준 이상의 산사태 또는 땅밀림이 발생되었다고 판단하고, 상기 제1 감지부로부터 상기 제1 감지 정보만 전달되거나 상기 제2 감지부로부터 상기 제2 감지 정보만 전달되는 경우, 상기 제1 감지부의 고장 여부 또는 상기 제2 감지부의 고장 여부의 판단을 기초로 산지토사재해가 발생되었는지를 판단하는 산지토사재해 감지 시스템이다.

이러한 문헌 2는 심층의 토양이 이동되는지 여부를 감지하는 제1 감지부와 표층의 토양이 이동되는지 여부를 감지하는 제2 감지부를 재해 발생 가능 지역에 다수개 고정 설치하여야 하므로, 문헌 1과 마찬가지로 설치 비용이 많이 소요되는 문제점이 있으며, 갑작스런 땅밀림 발생과 그 발생 정도가 큰 경우 감지 센서가 유실되거나 동작 불능상태가 되는 문제점이 있다.

본 발명은 상기와 같은 종래 기술의 문제점을 해결하고자 창출된 것으로, 땅밀림이 진행되고 있는 지역이 선정되면 UAV를 이용하여 항공촬영을 실시하고, 촬영된 2D이미지를 실시간 관리서버로 전송하여 3D 모델 또는 고정밀 정사영상을 생성하되, 동일지점에 대한 데이터를 누적 관리하면서 기 측정 자료와 비교하여 땅밀림을 모니터링 하는 UAV를 이용한 땅밀림 측정 및 실시간 모니터링 시스Å을 제공함에 목적을 두고 있다.

상기와 같은 목적 달성을 위한 본 발명은 모니터링 대상 지역을 사전에 설정된 경로 또는 원격 관리서버의 제어하에 운항하면서 카메라를 통해 지역의 2D 영상을 촬영하여, 저장하는 한편 상기 관리서버로 2D 영상 이미지를 전송하는 무인항공기; 모니터링 대상 지역에 대한 상기 무인항공기의 운항 주기와 경로를 사전에 설정 또는 원격 제어하여 운항 및 귀환하도록 하고, 상기 무인항공기에서 전송되는 2D 영상 이미지를 사전에 설정된 영상 처리 알고리즘 내지 프로그램을 통해, 3D 모델 또는 고정밀 정사영상을 반복 생성하되, 상기 3D 모델 또는 고정밀 정사영상 중에서 동일지점에 대한 데이터를 누적 관리하면서 기 측정 자료와 비교하여 땅밀림을 모니터링 하는 관리서버; 를 포함하는 것일 수 있다.

본 발명 중 상기 무인항공기는 RGB 영상을 쵤영하는 카메라가 탑재된 상태에서 GPS 기반으로 운항하는 드론인 것일 수 있다.

본 발명 중 상기 관리서버는 원격지의 관리시스템으로서, 사전에 설정된 매칭 방법을 이용하여 영상지도를 생성하고, 상기 무인항공기에서 전송되는 영상과 상기 무인항공기 위치/자세 데이터를 이용하여 공액점을 산출하고, 상기 무인항공기 위치/자세 데이터를 이용하여 초기 외부표정요소를 결정하고, 번들 조정을 수행이 필요한 경우 번들 조정을 수행하여 영상의 외부표정요소와 지상점 좌표를 추정하고, 추정된 외부표정요소와 지상점 좌표를 이용하여 영상지도를 생성하고, 지상점 좌표의 평균값을 이용하여 평균고도면을 정의하고, 정의된 평균고도면을 이용하여 기하보정을 수행하되, X, Y, Z 좌표가 포함된 수치지형도를 포함한 3D 모델 또는 고정밀 정사영상을 생성하고, 촬영시 마다 생성된 상기 3D 모델 또는 고정밀 정사영상에서 하나 또는 다수의 동일지점에 대한 사면의 변위를 계측하여, 상기 동일지점에 대한 데이터를 누적 관리하면서 기 측정 자료와 비교하여 땅밀림을 모니터링 및 분석하는 것일 수 있다.

상기와 같은 과제해결수단에 의한 본 발명은 땅밀림이 진행되고 있는 지역이 선정되면, 상기 무인항공기를 이용하여 상기 선정 지역에 대해 항공 촬영하여 2D 영상 이미지를 수집하고, 수집된 2D 영상 이미지를 관리서버로 전송하면, 상기 관리서버가 3D 모델 또는 고정밀 정사영상을 생성하는 프로그램인 PIX4D를 사용하여 빠르게 DSM(Digital Surface Model) 및 정사영상으로 제작한다, 이때, 동일지점에 대한 데이터를 상기 관리서버가 누적 관리하되, 기 측정 자료와 비교하여 실시간 땅밀림을 모니터링 및 분석하도록 함으로써, 실시간 또는 주기적인 땅밀림 모니터링 및 분석이 가능하도록 하는 효과를 얻는다.

또한, 본 발명은 X, Y, Z 좌표가 포함된 수치지형도를 포함한 3D 모델 또는 고정밀 정사영상을 생성하고, 촬영시 마다 생성된 상기 3D 모델 또는 고정밀 정사영상에서 하나 또는 다수의 동일지점에 대한 사면의 변위를 계측하여, 상기 동일지점에 대한 데이터를 누적 관리하면서 기 측정 자료와 비교하여 땅밀림을 모니터링 및 분석하도록 함으로써, 세밀하면서도 정확한 땅밀림 진행 상태를 파악하고 대응할 수 있는 정보를 제공하는 효과를 얻는다.

도 1은 땅밀림의 예를 도시한 예시도.
도 2는 땅밀림의 예를 도시한 예시도.
도 3은 본 발명의 실시예에 따른 구성을 간략히 도시한 블록도.
도 4는 본 발명의 실시예에 따른 구성을 조금더 구체적으로 도시한 시스템 구성도.
도 5는 본 발명에 의한 땅밀림 대상지역의 월별 DSM(Digital Surface Model)영상.
도 6은 본 발명에 의한 땅밀림 대상지역의 월별 정사영상.
도 7은 본 발명에서 간접 지오레퍼런싱에서 지상점 조하표 결정 상태도.
도 8은 본 발명의 공선조건을 도시한 예시도.
도 9는 본 발명에서 기복변위를 도시한 예시도.
도 10은 본 발명의 영상지도 생성 단계를 도시한 블록도.
도 11은 본 발명에서 지상, 카메라, GPS/IMU 센서 좌표계 간의 관계를 도시한 예시도.
도 12는 본 발명의 영상 매칭 단계를 도시한 순서 블록도.

이와 같이 제시한 첨부 도면을 참고로 하여 본 발명을 설명하면 다음과 같다.

본 발명인 UAV를 이용한 땅밀림 측정 및 모니터링 시스템(100)은 첨부 도면 도 3 및 도 4에 도시된 바와 같이, 모니터링 대상 지역을 사전에 설정된 경로 또는 원격지 관리서버(120)의 제어하에 운항하면서 카메라를 통해 지역의 2D 영상을 촬영하여, 저장하는 한편 상기 관리서버(120)로 2D 영상 이미지를 전송하는 무인항공기(110); 모니터링 대상 지역에 대한 상기 무인항공기(110)의 운항 주기와 경로를 사전에 설정 또는 원격 제어하여 운항 및 귀환하도록 하고, 상기 무인항공기(110)에서 전송되는 2D 영상 이미지를 사전에 설정된 영상 처리 알고리즘 내지 프로그램을 통해, 3D 모델 또는 고정밀 정사영상을 반복 생성하되, 상기 3D 모델 또는 고정밀 정사영상 중에서 동일지점에 대한 데이터를 누적 관리하면서 기 측정 자료와 비교하여 땅밀림을 모니터링 하는 관리서버(120); 를 포함하는 것일 수 있다.

본 발명 중 상기 무인항공기(110)는 RGB 영상을 쵤영하는 카메라가 탑재된 상태에서 GPS 기반으로 운항하는 드론인 것일 수 있다.

본 발명 중 상기 관리서버(120)는 원격지의 관리시스템으로서, 사전에 설정된 매칭 방법을 이용하여 영상지도를 생성하고, 상기 무인항공기(110)에서 전송되는 영상과 상기 무인항공기(110) 위치/자세 데이터를 이용하여 공액점을 산출하고, 상기 무인항공기(110) 위치/자세 데이터를 이용하여 초기 외부표정요소를 결정하고, 번들 조정을 수행이 필요한 경우 번들 조정을 수행하여 영상의 외부표정요소와 지상점 좌표를 추정하고, 추정된 외부표정요소와 지상점 좌표를 이용하여 영상지도를 생성하고, 지상점 좌표의 평균값을 이용하여 평균고도면을 정의하고, 정의된 평균고도면을 이용하여 기하보정을 수행하되, X, Y, Z 좌표가 포함된 수치지형도를 포함한 3D 모델 또는 고정밀 정사영상을 생성하고, 촬영시 마다 생성된 상기 3D 모델 또는 고정밀 정사영상에서 하나 또는 다수의 동일지점에 대한 사면의 변위를 계측하여, 상기 동일지점에 대한 데이터를 누적 관리하면서 기 측정 자료와 비교하여 땅밀림을 모니터링 하는 것일 수 있다.

이와 같은 본 발명의 세부적인 실시예와 작용을 설명하면 다음과 같다.

먼저, 본 발명은 첨부 도면 도 3 및 도 4에 도시된 바와 같이, 모니터링 대상 지역을 사전에 설정된 경로 또는 원격지 관리서버(120)의 제어하에 운항하면서 카메라를 통해 지역의 2D 영상을 촬영하여, 저장하는 한편 상기 관리서버(120)로 2D 영상 이미지를 전송하는 무인항공기(110); 모니터링 대상 지역에 대한 상기 무인항공기(110)의 운항 주기와 경로를 사전에 설정 또는 원격 제어하여 운항 및 귀환하도록 하고, 상기 무인항공기(110)에서 전송되는 2D 영상 이미지를 사전에 설정된 영상 처리 알고리즘 내지 프로그램을 통해, 3D 모델 또는 고정밀 정사영상을 반복 생성하되, 상기 3D 모델 또는 고정밀 정사영상 중에서 동일지점에 대한 데이터를 누적 관리하면서 기 측정 자료와 비교하여 땅밀림을 모니터링 하는 관리서버(120); 를 포함하는 UAV를 이용한 땅밀림 측정 및 모니터링 시스템(100)이다.

여기서, 본 발명 중 상기 무인항공기(110)는 RGB 영상을 쵤영하는 카메라가 탑재된 상태에서 GPS 기반으로 운항하는 드론인 것을 세부적인 실시예로 한다.

또 한편, 본 발명 중 상기 관리서버(120)는 원격지의 관리시스템으로서, 사전에 설정된 매칭 방법을 이용하여 영상지도를 생성하고, 상기 무인항공기(110)에서 전송되는 영상과 상기 무인항공기(110) 위치/자세 데이터를 이용하여 공액점을 산출하고, 상기 무인항공기(110) 위치/자세 데이터를 이용하여 초기 외부표정요소를 결정하고, 번들 조정을 수행이 필요한 경우 번들 조정을 수행하여 영상의 외부표정요소와 지상점 좌표를 추정하고, 추정된 외부표정요소와 지상점 좌표를 이용하여 영상지도를 생성하고, 지상점 좌표의 평균값을 이용하여 평균고도면을 정의하고, 정의된 평균고도면을 이용하여 기하보정을 수행하되, X, Y, Z 좌표가 포함된 수치지형도를 포함한 3D 모델 또는 고정밀 정사영상을 생성하고, 촬영시 마다 생성된 상기 3D 모델 또는 고정밀 정사영상에서 하나 또는 다수의 동일지점에 대한 사면의 변위를 계측하여, 상기 동일지점에 대한 데이터를 누적 관리하면서 기 측정 자료와 비교하여 땅밀림을 모니터링 하는 것을 세부적인 실시예로 한다.

이와 같은 본 발명은 땅밀림이 진행되고 있는 지역이 선정되면, 상기 무인항공기(110)를 이용하여 상기 선정 지역에 대해 항공 촬영하여 2D 영상 이미지를 수집하고, 수집된 2D 영상 이미지를 관리서버(120)로 전송하면, 상기 관리서버(120)가 3D 모델 또는 고정밀 정사영상을 생성하는 프로그램인 PIX4D를 사용하여 빠르게 DSM(Digital Surface Model) 및 정사영상으로 제작한다, 이때, 동일지점에 대한 데이터를 상기 관리서버(120)가 누적 관리하되, 기 측정 자료와 비교하여 실시간 땅밀림을 모니터링 및 분석하는 것이 가능하다.

또한, 본 발명은 상기 관리서버(120)가 X, Y, Z 좌표가 포함된 수치지형도를 포함한 3D 모델 또는 고정밀 정사영상을 생성하고, 촬영시 마다 생성된 상기 3D 모델 또는 고정밀 정사영상에서 하나 또는 다수의 동일지점에 대한 사면의 변위를 계측하여, 상기 동일지점에 대한 데이터를 누적 관리하면서 기 측정 자료와 비교하여 땅밀림을 모니터링 및 분석하도록 함으로써, 세밀하면서도 정확한 땅밀림 진행 상태를 파악하고 대응할 수 있는 정보를 제공하는 것이 가능하다.

이에 대해서는, 땅밀림 대상지역의 월별 DSM(Digital Surface Model ; 첨부 도면 도 5 참조)와 땅밀림 대상지역의 월별 정사영상(첨부 도면 도 6 참조)을 예로 들 수 있다. 상기 정사영상 및 수치지형도에는 X, Y, Z 좌표가 포함되어 있기 때문에 영상 촬영 시 기준점 즉, 동일지점을 대상으로 사면의 변위를 계측 할 수 있다.

상기와 같은 본 발명에 대해 더욱 상세하게 설명하자면 다음과 같다.

본 발명에서는 상기 무인항공기(110)에서 촬영된 2D 영상 이미지를 상기 관리서버(120)에서 고속 영상지도로 생성하는 방법론에서는 기존에 구축되거나 측량된 기존 영상과 기준 데이터를 활용하지 않고, 고해상도 영상으로부터 영상지도를 생성한다. 여기서 고속은 센서 데이터의 취득 주기 내 입력 데이터로부터 영상지도를 생성하는 것으로 정의한다.

본 발명에서 실시간으로 취득되는 상기 무인항공기(110) 영상으로부터 빠르게 영상지도를 생성하고 이를 지오포털 상에 가시화하고 생성되는 영상지도를 통해 모니터링을 수행한다.

이러한 본 발명은 영상 데이터를 취득하는 항공 부문과 데이터를 3D 모델 또는 고정밀 정사영상으로 가시화하는 지상부문으로 나뉘게 된다. 항공부문에서는 멀티센서를 탑재한 무인항공기(110)가 지정된 경로를 비행하면서 영상과 센서 데이터를 취득하고 취득한 데이터를 지상의 관리서버(120)로 전송한다. 상기 관리서버(110)로 전송하기 위해 Long-range WiFi 기반의 통신을 이용한다. 지상부문에서는 전송된 센서 데이터를 실시간으로 처리하여 영상지도를 생성한다.

생성된 영상지도를 지오포털로 전송하여 공간 데이터베이스를 업데이트하고 미리 구축되어 있는 공간정보 위에 가시화한다.

실시간으로 생성된 영상지도는 절대/상대적 정확도를 가지고 있어야 한다. 높은 절대정확도를 가질수록 생성된 영상지도가 지오포털 상에서 가시화될 때, 기존의 공간정보에 보다 정확하게 중첩이 가능하다. 또한, 영상지도 간 상대정확도가 높을수록 영상지도 간의 중첩이 정확하게 이루어진다. 따라서 고속 처리를 유지하면서 영상의 상대 또는 절대정확도를 높일 수 있고, 조정이 수행되지 않더라고 지속적으로 영상지도를 생성하는 알고리즘을 제안하고자 한다.

영상과 영상에 해당하는 GPS/INS 데이터가 실시간으로 전송되었을 때, 고속으로 이전 영상과 영상 매칭을 수행하고 공액점을 생성한다. 영상 매칭을 수행하는 동시에 GPS/INS 데이터를 이용하여 초기 외부표정요소를 결정하고, 초기 외부표정요소과 공액점에 대응하는 지상점, 영상점을 이용하여 번들조정을 수행한다.

상기 번들조정를 통해 추정된 외부표정요소를 이용하여 기하보정을 수행하여 영상지도를 생성한다. 번들조정이 수행되지 않았을 시, 초기 외부표정요소를 이용하여 영상지도를 생성한다. 새롭게 영상이 취득되고 다음 영상이 취득되기 전, 모든 과정을 수행하여 단일 영상마다 영상지도를 생성해나간다.

이때, 상기 영상 매칭이란 서로 다른 2개 이상의 영상에서 특징이 되는 점을 찾아 이를 표현하고 매칭하는 과정을 말한다. 영상 매칭은 사진측량 및 컴퓨터 비전 분야에서 기초적인 기술로써 항공삼각측량, 움직임 검출, 파노라마 스티칭, 3차원 모델링 등의 활용 분야에서 사용된다.

영상 매칭 방법은 특징 기반의 방식과 세기 기반 방식 나뉜다. 세기 기반 방식은 영상의 세기의 형태를 비교하는 방식이며, 특징 기반 방식은 2개 이상의 영상에서 다수의 특징을 찾아 비교하여 대응관계를 찾는 방식이다.

특징 기반 영상 매칭은 영상 상에서 점, 선, 영역의 특징을 찾아 매칭을 하는데, 항공삼각측량을 수행하기 위한 공액점을 추출해기 때문에 특징점을 이용하여 영상매칭을 수행하는 것으로 한정한다.

영상에서 나타나는 특징점은 특정 화소값이 다른 영역에 비해 확연히 다른 특성을 갖는 점이다. 좋은 특징점은 이동, 회전, 스케일, 조명 등의 영상 변화에도 쉽게 식별할 수 있어야 한다.

특징점 기반의 영상 매칭은 특징점 검출(Feature detection), 특징점 기술(Feature description), 특징점 매칭(Feature matching)의 세 단계로 이루어진다. 특징점 검출 단계에서는 검출자를 이용하여 특징점을 찾는다. 특징점은 특징점 기술 단계에서는 검출된 특징점에 대해 매칭을 수행할 수 있도록 기술한다. 특징점마다 생성된 기술 벡터를 이용하여 벡터 간 거리를 통해 매칭을 수행한다.

한편, 지오레퍼런싱은 객체를 실계계 좌표계상에 위치시키는 과정으로 영상 지오레퍼런싱은 영상 취득 당시의 영상의 외부표정요소를 결정하여 영상을 절대좌표계에 참조시키는 과정이다. 영상 지오레퍼런싱 방법은 영상의 외부표정요소를 결정함에 센서의 측정값으로부터 직접 영상의 외부표정요소를 결정하는 직접 지오레퍼런싱과 수학적 조정 과정을 수행하여 영상의 외부표정요소를 결정하는 간접 지오레퍼런싱 구분된다.

상기 직접 지오레퍼런싱(Direct Georeferencing)은 센서로부터 측정한 값을 이용하여 수학적 조정을 수행하지 않고 그대로 사용하여 영상의 외부표정요소를 결정하는 방법이다. 무인항공기에 탑재된 GPS/IMU 센서로부터 취득된 무인항공기의 위치/자세 데이터를 이용하여 영상의 외부표정요소를 결정하는 것으로 한정한다. 무인항공기에서 취득되는 GPS/INS 데이터는 절대좌표계 기준의 위치와 IMU 센서에서 정의한 무인항공기의 자세(Roll, Pitch, Yaw)로 구성된다. 영상의 외부표정요소는 절대좌표계 기준의 카메라의 위치와 자세(Omega, Phi, Kappa)로 구성된다.

따라서 외부표정요소를 결정하기 위해서는 GPS/IMU 센서에서 정의한 좌표계와 카메라 좌표계 간의 관계를 파악해야 한다. GPS/IMU 센서와 카메라와의 관계를 나타내는 과정을 시스템 캘리브레이션이라고 하며, 두 좌표계간의 관계인 탑재변수를 추정하는 과정이다.

상기 탑재변수는 두 좌표계 간의 원점이동과 좌표계 간의 회전각으로 구성된다. 따라서 직접 지오레퍼런싱을 수행하기 위해서는 시스템 캘리브레이션 과정을 미리 수행하여 탑재변수를 추정해야 한다. 직접 지오레퍼런싱에서는 수학적 조정과정을 거치지 않기 때문에 GPS/IMU 센서에서 취득되는 무인항공기의 위치/자세 값의 정확도와 추정된 탑재변수의 정확도에 따라 직접 지오레퍼런싱으로 결정되는 외부표정요소의 정확도가 정해진다.

따라서 시스템 캘리브레이션 과정을 통해서 탑재변수를 정확하게 추정하는 것이 중요하다.

상기 시스템 캘리브레이션은 카메라와 GPS/IMU 센서 사이의 기하학적 관계를 정의하는 것이다. 두 좌표계 간의 기하학적 관계는 탑재변수(Moungting Parameter)로 나타낸다. 탑재변수는 좌표계 간의 원점이동(Lever-arm offset)과 좌표계 간의 회전각(Bore-sight angles)으로 구성된다. 시스템 캘리브레이션은 무인항공기의 위치/자세 값과 외부표정요소 간의 관계를 파악해야 한다. 정밀하게 추정된 외부표정요소와 무인항공기 위치/자세 데이터 간의 관계를 파악하여 결정한다.

탑재변수가 결정되면 무인항공기 위치 데이터에 좌표계 간의 거리를 더하여 영상 외부표정요소의 위치를 결정하고, 무인항공기 자세 데이터에 회전변환행렬을 곱하여 영사 외부표정요소의 자세를 결정한다.

한편, 상기 간접 지오레퍼런싱은 사진측량에서는 직접 지오레퍼런싱보다 정확한 결과를 얻기 위해 여러 영상으로부터 관측한 데이터를 이용하여 조정을 수행하는 간접 지오레퍼런싱 방법을 사용한다.

상기 간집 지오레퍼런싱은 첨부 도면 도 7에 도시된 바와 같이, 취득된 모든 영상으로부터 공액점을 관측하고, 영상 취득 지역 내 소수의 기준데이터를 활용하여 영상의 외부표정요소와 공액점에 상응하는 지상점의 좌표를 결정하는 방법이다. 간접 지오레퍼런싱 방법에는 다항식법, 독립모형법, 광속조정법이 있지만, 일반적으로 광속조정법을 사용한다.

상기 광속조정법은 사진좌표를 기본단위로 하여 절대좌표를 계산하는 방법으로 모든 영상의 사진좌표를 영상 간의 공액점과 지상기준점을 활용하여 절대좌표로 변환하여 영상의 외부표정요소와 지상점의 좌표값에 대한 최확값을 결정하는 방법이다.

광속조정법에서의 수학적 모델로 공선조건식(collinearity equation)을 이용한다. 공선조건식은 첨부도면 도 8에 도시된 바와 같이 공간상의 임의의 점 P(x,y,z), 이미지 상의 점 P(μ,υ), 카메라의 중심 O(x0,y0,z0)가 동일한 직전 상에 있어야 한다는 조건이다.

상기 공선조건식에 의해 하나의 광선은 영상 상의 임의의 점은 외부표정요소와 지상좌표의 9개의 미지수로 표현된다. 광속조정법은 번들 블록 조정(Bundle Block Adjustment)이라고 표현하는데, 번들은 광선들의 집합을 나타낸다. 다수의 영상 간의 공액점을 관측하고, 공선조건직을 통해 다수의 광선들을 생성한다. 지상기준점과 다수의 광선들의 집합인 번들을 통해 영상의 외부표정요소와 지상점의 좌표를 동시에 결정한다. 위 방법은 상호표정을 별도로 수행하지 않고 바로 절대표정을 수행하기 때문에 효율적이며, 간접 지오레퍼런싱의 다른 방법보다 정확도가 가장 높다. 또한 외부표정요소 뿐만 아니라 주점거리, 주점위치, 렌즈왜곡 등의 내부표정요소를 미지수로 설정하는 셀프 캘리브레이션 방법을 통해 조정할 수 있다.

참고로, 항공사진은 렌즈의 중심을 통한 중심투영의 방식으로 생성되는 영상이다. 지도는 축적이 동일하게 생성되는 정사투영의 방식으로 생성된다. 수직으로 촬영된 경우 지표면이 평평한 곳에서는 비슷한 형태를 보이지만, 높낮이가 있는 경우에 차이를 보인다. 또한, 수직으로 촬영하지 않고 카메라에의 자세가 틀어지는 경우 변위가 발생한다. 공간정보 구축 및 관리 등에 관한 법륜에서는 정사영상을 중심투영에 의하여 취득된 영상의 지형, 지물 등에 대한 정사편위수정을 실시한 영상으로 정의한다.

정사영상은 위치와 지형이 수직으로 내려다보는 것과 같이 표현되어 있어 영상지도라고도 한다. 지형의 기복에 의해 발생하는 차이를 기복변위라고 한다. 정사투영으로 생성된 지도라면 차이가 없지만, 중심투영으로 생성된 영상에서는 첨부 도면 도 9에 도시된 바와 같이, ΔH의 기복으로 인해 영상 상에서는 Δr 만큼의 변위가 생긴다.

따라서 지형의 기복이 있는 경우 연직으로 촬영을 수행하더라도 영상 상에 나타나는 객체들이 동일한 축척으로 나타나지 않는다. 정사편위수정은 사진촬영시 항공사진으로부터 나타난 기복변위를 제거하여 영상 전체의 축척이 일정하도록 하는 것이다.

편위수정을 거쳐 정사투영으로 변환된 영상은 원 영상과 비교하여 화소의 중심과 영상 크기가 일치하지 않는다. 따라서 원 영상의 화소를 그대로 배열할 수 없고, 보간법을 이용하여 화소를 재배열한다.

따라서 정사영상은 보간법에 따라 원 영상에 비해 다소 해상도가 떨어지기도 한다.

이 과정을 영상 재배열 과정이라고 하며, 보간법으로는 최근접(Nearest Neighbor), 이중선형(Bilinear), 공삼차(Bicubic) 보간법 등이 사용된다. 최근접 보간법은 가장 가까운 화소값을 사용하여 화소를 재배열[하며, 계산이 빠르다. 이중선형 보간법은 인접한 4개의 화소값 모두 고려하여 거리에 비례한 값으로 화소를 재배열한다. 공삼차 보간법은 인접한 16개의 화소값을 거리에 따른 가중치에 따라 재배열하는 방식으로 계산량이 많아 긴 처리시간이 요구되는 단점이 있다.

본 발명에서는 상기 무인항공기(110)에 디지털카메라와 GPS/IMU 센서를 탑재하여 실시간으로 데이터를 취득하고 전송하는 무인항공기 시스템을 이용한다. 무인항공기에 탑재된 센서로부터 일정 취득주기로 영상과 무인항공기 위치/자세 데이터가 취득되고, 상기 관리서버(120)로 전송된다.

고속 영상지도 생성 방법에 의해 데이터의 취득 주기 내에 영상지도가 생성되어야 생성된 지도를 통해 무인항공기 기반 실시간 모니터링을 수행할 수 있다. 고속 영상지도 생성 방법은 첨부 도면 도 10에 도시된 바와 같은 순서를 가진다. 모든 과정은 영상 취득 주기 내에 수행되도록 하여 실시간성을 유지한다.

상기 무인항공기(110)로부터 새로 취득하여 전송된 영상과 이전 영상 사이의 공액점을 생성하는 영상매칭을 수행한다. 영상매칭은 영상이 들어올 때마다 직전 영상과 매칭을 수행하고, 유사도 기준에 따라 기준을 만족하는 공액점을 생성한다.

생성된 공액점 중 RANSAC을 통해 공액점의 기하학적 방식에 따라 이상치를 제거한다. 이전 공액점들과의 비교를 통해 같은 공액점이 있는지 판단하여 Index를 설정한다.

무인항공기 시스템으로부터 취득한 영상에 해당하는 GPS/INS 데이터를 이용하여 영상의 초기 외부표정요소를 결정한다. 사전에 카메라와 GPS/IMU 센서와의 관계인 탑재변수를 파악하고, 파악한 탑재변수와 GPS/INS 데이터를 이용하여 직접 지오레퍼런싱 방법을 통해 초기 외부표정요소를 결정한다.

다음으로, 지오레퍼런싱에서는 다른 데이터를 이용하지 않고 조정을 수행하는 무기준점 기반의 번들 블록 조정 방법을 이용한다. 번들 블록 조정은 비선형방정식인 공선방정식을 수학적 모델로하여 최소제곱법을 적용하기 때문에 미지수의 초깃값이 필요하다. 번들 블록 조정에서는 영상의 외부표정요소, 공액점에 대응하는 영상점과 지성점이 미지수이다. 따라서 앞선 단계에서 생성한 영상의 초기 외부표정요소와 공액점 이용하여 공액점에 해당하는 초기 지상좌표를 계산한다. 이 중 이상치를 제거하고, 번들조정을 수행한다. 지상기준점과 같은 기준 데이터를 이용하지 않고 번들 블록 조정을 수행하여 외부표정요소와 지상좌표 추정한다.

다음으로, 영상지도 생성 단계에서는 번들 블록 조정을 수행하여 나온 결과를 이용하여 기하보정을 수행하고 영상지도를 생성한다. 기하보정을 수행하기 위해서는 영상의 외부표정요소와 평균고도면을 필요로 한다. 영상의 외부표정요소는 번들 블록 조정을 수행하여 얻은 외부표정요소를 이용하며, 번들 조정을 수행되지 않은 경우에는 직접 지오레퍼런싱 과정을 통해 결정된 초기 외부표정요소를 이용한다. 평균고도면은 추정된 지상점의 평균값을 이용하여 정의한다. 공선방정식을 통해 영상의 4개의 꼭지점이 평균고도면에 투영되는 값을 찾아 투영범위를 결정한다. 투영범위에 일정한 격자를 생성한다. 격자마다 공선방정식을 통해 원 영상을 역투영하고, 원 영상에서의 영상점 좌표로부터 화소값을 가져와 영상지도를 생성한다.

한편, 간접 지오레퍼런싱의 번들 조정을 수행하기 위해서는 영상의 초기 외부표정요소와 영상 사이의 공액점, 공액점에 해당하는 초기 지상점의 값을 필요로 한다. 영상 매칭의 단계에서는 가장 최근에 전송된 영상과 이전 영상 사이의 공액점을 생성한다.

실시간 모니터링 시스템으로부터 일정한 취득주기 간격으로 새롭게 취득된 영상이 전송되면, 영상 매칭을 수행한다. 무인항공기의 비행은 비행획에 따라 다양한 변화를 갖는다. 지속적으로 영상 사이의 이동변화가 존재하며, 고도가 달라지거나 무인항공기의 진행방향이 바뀌는 경우에는 두 영상 사이의 회전과 스케일의 변화가 생긴다. 또한 무인항공기는 실외에서 비행을 수행하는 경우가 대부분이기 때문에 날씨에 따라 조도변화가 생긴다. 따라서 이동, 스케일, 회전, 조도와 같은 영상 간 변화에 강인한 특징점 검출자와 기술자를 선택하는 것이 중요하다.

본 발명의 영상 매칭 방법으로는 SIFT 영상 매칭 알고리즘을 적용하며, 이와 관련된 예는 후술하기로 한다.

유사도 기준을 가지고 첫 번째 후보와 두 번째 후보의 차이가 큰 특징점 만을 공액점으로 선택한다. 특징점 매칭 과정으로부터 결정한 최종 공액점에서 이상점을 제거한다. 기하학적 이상점 제거 방법으로 가장 많이 사용하는 RANSAC(RANdom SAmple Consensus)을 사용한다. RANSAC 기법을 이용하여 추출된 공액점에서 임의로 샘플링을 수행하고, 이에 상응하는 변환 관계인 호모그래피를 추정한다. 그 후 샘플링되지 않은 공액점이 이에 부합하는지 판단하는 과정을 반복적으로 수행하여 다수의 공액점이 부합하는 호모그래피를 영상 간의 최종 기하 관계로 정의하고 이를 기반으로 최종 매칭 쌍을 선택한다.

한편, 번들 블록 조정을 수행하기 위해서는 영상의 외부표정요소와 공액점에 대응하는 영상점과 지상점의 좌표가 요구된다. 번들 조정은 공선조건식에 기반한 조정 알고리즘으로 관측값과 미지수 간의 관계가 비선형이기 때문에 최소제곱법을 적용하기 위해서는 영상 외부표정요소와 지상점의 초깃값을 필요로 한다. 공액점의 영상점은 영상 매칭 단계에서 결정하였으며, 영상의 외부표정요소는 GPS/INS 데이터를 이용하여 직접 지오레퍼런싱 방법을 통해 초깃값을 계산한다.

영상의 초기 외부표정요소는 실시간 모니터링 시스템으로부터 전송된 무인항공기의 위치/자세 데이터를 이용하여 계산한다. 무인항공기 위치/자세 데이터를 이용하여 직접 지오레퍼런싱을 통해 영상의 초기 외부표정요소를 결정하며, 첨부 도면 도 11에 도시된 바와 같이, 3개의 좌표계 간의 관계가 구성된다.

직접 지오레퍼런싱을 수행하기 위해서는 GPS/IMU 센서의 좌표계와 카메라 좌표계 사이의 관계를 나타내는 탑재변수를 미리 추정해야한다. 이는 도 11에서와 같이 시스템 캘리브레이션을 통해서 얻은 탑재변수를 통해서 계산할 수 있다.

아래 식(3.1)과 같이 GPS/IMU센서로부터 취득한 영상 촬영 시점의 무인항공기 위치 값에 탑재변수의 이동벡터를 더하여 영상의 초기 외부표정요소의 위치를 결정한다.

시스템 캘리브레이션 과정에서 취득한 두 좌표계(GPS/IMU센서 좌표계, 카메라 좌표계)간의 회전변환행렬을 이용하여 영상의 초기 외부표정요소의 자세에 대한 값을 결정한다. 무인항공기의 자세인 Roll, Pitch, Yaw의 값을 이용하여 회전행렬을 구성한다.

아래식 (3.2)과 같이 무인항공기의 자세로 구성된 회전행렬에 회전변환행렬을 곱하여 영상의 자세를 나타내는 Omega, Phi, Kappa로 구성되는 회전행렬을 계산할 수 있다.

위 결과로 나온 회전행렬 값을 다시 역으로 3개의 각으로 나누어 초기 외부표정요소의 자세를 결정한다.

한편, 지오레퍼런싱의 방법으로 최근 n개의 영상에 대한 번들 블록 조정을 수행한다. 번들 조정은 영상에 수가 증가함에 따라 처리 시간이 지속적으로 증가하기 때문에 실시간 처리를 위해 정해준 수의 영상만을 이용하여 번들 조정을 수행한다. 최근 n개의 영상으로는 조정된 외부표정요소를 계산하고 싶은 영상의 전후 영상을 이용한다. 번들조정은 투영중심, 영상점, 영상점에 대응하는 지상점이 하나의 직선상에 존재한다는 공선조건식에 기반하며, 여러 영상의 외부표정요소를 동시에 결정한다.

본 발명에서는 기준데이터를 활용하지 않고 영상지도를 생성하기 때문에 지상기준점과 같은 기준 데이터를 사용하지 않고 영상의 외부표정요소에 대한 제약조건만을 이용하여 번들 블록 조정을 수행한다.

번들 블록 조정을 수행하기 위해 초기 외부표정요소와 공액점으로부터 공액점에 대응하는 초기 지상점 좌표를 계산한다. 공액점의 초기 지상좌표는 동일한 Index를 같은 2개의 공액점으로부터 공선방정식을 통해 계산한다. 공선방정식을 지상점?에 대하여 표현하는 아래식(3.3)으로 정렬한다.

n번, m번 영상에서 나타난 공액점으로 표현한 2개의 공선방정식은 아래식(3.4), (3.5)와 같이 표현된다.

2개의 영상에서 나타난 공액점은 오차가 없다면 동일한 지상좌표로 계산되어야하므로, m번 영상에서 표현한 지상점과 n번 영상에서 표현한 지상점이 같아야 한다. 상기 식 (3,4)와 (3,5)를 하나의 식으로 표현하여 Gauss-Markov Model로 다시 정렬하면 아래식 (3,6)와 같다. 식을 재정렬 할 때, 각 식에서 나타난 축척값 을 미지수로 한다.

최소제곱법을 통해서 미지수인 2개의 축척을 추정할 수 있으며, 추정된 2개의 축척, 초기 외부표정요소를 통해서 2개의 지상점 값을 계산할 수 있다. 2개의 지상점 값은 오차가 없다면 동일한 값으로 나타나지만, 오차가 포함되어 있기 때문에 값을 차이가 있다. 따라서 초기 지상점은 두 값의 평균값을 통해서 계산한다.

초깃값이 결정되면 이를 이용하여 번들 조정을 수행한다. 초깃값이 결정된 이후 번들 블록 조정 과정은 다음과 같은 순서로 진행된다.

관측값과 미지수의 선형화된 관계로부터 관측방정식을 구성한다. 구성된 관측방정식에 최소제곱법을 적용하여 정규행렬식을 구성한다. 지상점과 외부표정요소를 추정하고, 추정된 값과 초깃값과의 차이를 확인한다. 차이가 임계값보다 큰 경우, 추정된 값을 초깃값으로 하여 다시 관측방정식을 구성한다. 차이가 임계값보다 작으면 최종으로 조정된 외부표정요소와 지상점을 산출한다.

공선방정식은 아래와 같은 아래식 (3.7)로 표현한다. 하나의 영상점은 지상점과 외부표정요소로 표현할 수 있다.

내부표정요소의 값을 카메라 캘리브레이션을 통해 정해졌다고 가정한다면, 관측방정식은 아래식 (3.8)과 같이 표현할 수 있다.

관측방정식은 관측값과 미지수가 비선형의 관계를 갖기 때문에 테일러 시리즈를 전개하여 선형화한다. 1차 항까지만 전개한 식을 정리하여 Gauss-Markov Model로 표현하면 아래식 (3.9)과 같다.

일반적으로 번들 블록 조정에서 지상 기준점을 지상절대좌표에 대한 정보로 사용하여 7개의 rank deficiency를 해결한다. 하지만 고속 처리를 위해서 무기준점의 항공삼각측량을 수행하고 있으므로 GPS/INS 데이터를 이용하여 초기 외부표정요소에 제약조건을 추가한다.

GPS/INS로부터 계산한 초기 외부표정요소는 GPS/IMU 센서 정밀도의 오차를 갖으며, Design Matrix에 제약조건을 추가하여 표현한 아래식 (3.10)와 같다. 는 외부표정요소 제약조건을 나타낸다.

영상점 좌표의 측정오차에 대한 분산공분산 행렬과 초기 외부표정요소의 측정오차에 대한 분산공분산 행렬을 고려하여 가중치 행렬을 설정한다. 초기 외부표정요소의 측정오차는 직접 지오레퍼런싱으로 초기 외부표정요소를 계산하므로 GPS/IMU 센서의 센서측정오차를 통해 가중치 행렬을 구성한다. 상기 식 (3.10)에 최소제곱법을 적용하여 정규방정식을 수립하고, 영상점에 대한 관측치와 계산값의 오차가 최소가 되게 하여 미지수인 외부표정요소와 지상점 좌표를 결정한다.

본 발명에서는 영상과 영상의 외부표정요소를 이용하여 영상 지도를 생성한다. 중심투영으로 생성된 영상을 정사투영으로 나타나는 영상지도로 생성하기 위해서는 편위수정 과정을 거쳐야한다. 편위수정을 수행하기 위해서는 영상의 외부표정요소와 평균고도면이 요구된다. 영상의 외부표정요소는 번들 블록 조정으로부터 결정된 값을 이용하거나, 번들 블록 조정이 수행되지 않은 경우에는 초기 외부표정요소를 이용한다. 평균고도면은 미리 번들 블록 조정으로부터 추정된 지상점들의 고도(Z) 값의 평균을 이용하여 정의한다.

먼저 공선방정식을 통해 영상의 4개의 양끝점이 평균고도면에 투영되는 지상좌표을 계산한다. 식 (3.11)과 같이 하나의 공선방정식으로는 영상점 좌표(Pp), 회전행렬(R_GP), 카메라 투영중심(C_G)의 3개의 미지수만 알 수 있으므로, 스케일을 정의할 수 없기 때문에 지상좌표를 계산할 수 없다. 평균고도값을 알게되면 하나의 지상점 평면을 정의할 수 있으므로, 식 (3.12)로부터 스케일을 계산할 수 있게 되어 식 (3.13)와 같이 지상좌표에 대한 식으로 구성되어 있을 때 우변에 있는 모든 항에 대한 값을 알 수 있다. 따라서 하나의 공선방정식으로 지상좌표를 구할 수 있다.

본 발명은 영상 4개의 꼭지점에 대하여 공선방정식을 통해 4개의 지상좌표를 계산하여 영상이 투영되는 범위를 계산한다. 영상의 투영범위에 맞게 일정 간격의 격자를 생성한다. 격자를 생성할 때는 GSD를 고려하여 격자를 생성한다. 각 격자마다 상기 식(3.11)과 같이 공선방정식을 통해 원 영상으로 역투영하여 원본 영상의 영상점을 계산하고, 영상점으로부터 해당하는 화소값을 가져온다.

이때 원영상과 생성되는 영상지도는 모든 값이 일대일로 대응되지 않기 때문에 최근접 보간법을 사용하여 화소값을 결정한다. 격자의 간격에 따라 생성되는 영상지도의 해상도가 결정되며, 고해상도의 영상지도를 생성하는데 긴 처리시간이 요구될 수 있다.

본 발명은 고속 영상지도 생성 방법은 영상 매칭 과정을 수행하여 얻은 공액점을 이용하여 영상 매칭을 수행하고 번들 조정을 수행할 수 있는 영상의 수를 만족하는 순간부터 조정을 수행하여 조정된 외부표정요소와 지상점의 값을 결정한다. 결정된 외부표정요소와 지상점의 평균값을 이용하여 편위수정의 과정을 거쳐 영상지도를 생성한다.

영상매칭을 수행하기 위해서는 첨부 도면 도 12에 도시된 바와 같은 단계를 거쳐 공액점을 얻는다.

두 장의 영상에서 SURF 검출자와 BRISK 기술자를 이용하여 영상 매칭을 수행한다. SURF 검출자는 OpenCV에서 설정한 파라미터 값을 조정하지 않고 그대로 사용하면 다수의 특징점을 찾기 때문에, 파라미터 중 헤네스 값을 조정하여 검출되는 특징점의 수를 줄인 후에 수행한다.

기본 값으로 수행하였을 때, 검출시간에서 너무 많은 시간을 소요하기 때문에 줄여서 사용한다. BRISK 기술자로 특징점을 기술한 이후에 KNN 알고리즘을 통해 특징을 기술한 벡터의 유사도가 높은 순으로 2개를 선택한다. 실험에서 유사도 비율 검사를 통해 2개의 값 중에서 유사도의 차이가 큰 경우에 매칭쌍으로 선택한다. 유사도 비율의 값은 0.8로 설정하여 수행하며, 공액점 쌍을 생성한다. 생성된 공액점 쌍을 이용하여 중간 공액점 쌍 중에서 임의로 점을 추출하여 Homography를 추정한다.

추정된 변환행렬을 이용하여 공액점을 정제하는 과정을 거쳐 최종 공액점을 생성한다.

이후, 상기와 같이 생성한 공액점을 이용하여 번들 조정을 수행한다. 번들조정은 비선형방정식인 공선방정식을 수학적 모델로 하여 최소제곱법을 적용하기 때문에 미지수에 대한 초깃값이 필요하다. 따라서 직접 지오레퍼런싱을 통해 초기 외부표정요소를 계산하고, 영상 매칭으로부터 계산한 공액점과 초기 외부표정요소를 이용하여 지상점의 초깃값을 추정한다.

상기와 같이 번들 조정을 수행한 결과, 조정된 외부표정요소와 지상점을 계산하며, 이를 이용하여 영상지도를 생성한다. 지상점은 평균값을 이용하여 평균고도면을 설정하고, 평균고도면에 영상을 투영하여 편위수정을 수행한 후, 생성된 영상지도를 가시화한다.

참고로, 수집한 영상 이미지를 기준이미지와 비교하여, 상기 수집한 영상 이미지가 해당 기준이미지와 불일치한 것으로 확인되면, 상기 관리서버(120)는 영상정합 알고리즘을 통해, 불일치한 영상이미지의 촬영각 정보를 기준이미지의 촬영각에 맞춰 보정한다.

이에 대해 부연 설명하자면, 상기 수집 영상 이미지와 기준 이미지는 동일한 구간을 촬영해야 하나 오차가 발생할 수 있으므로, 상기 영상정합 알고리즘은 동일한 촬영각의 수집 영상 이미지와 기준 이미지를 서로 비교해서 오차 여부를 파악하고, 오차가 확인되면 보정하여 영상 이미지를 수집정보DB에 저장한다.

이때, 상기 영상정합 알고리즘이 영상 이미지를 분석하고 SIFT 알고리즘에 따라 영상 이미지 내에 구간별로 SIFT 디스크립터 데이터를 설정해서 수집정보DB에 저장하고, 영상정합 알고리즘이 서로 이웃하는 영상 이미지의 교차구간을 상기 SIFT 디스크립터 데이터를 기초로 매칭해서 공간 이미지를 생성한다.

이에 대해 부연 설명하자면, 수많은 영상 이미지에서 특정 구간만을 선출하여 이웃하는 영상 이미지끼리 연결하는 프로세싱을 진행해야 한다. 이를 위해 상기 영상정합 알고리즘은 해당 촬영각이 링크된 영상 이미지를 분석해서, 서로 이웃하는 촬영각에서 기준이 되는 구간을 찾아 연결하며 정합하는 기능이 요구된다. 이러한 정합을 위해서는 영상 이미지에 정합 기준이 될 수 있는 특정 타겟이 필요하고, 영상정합 알고리즘은 상기 특정 타겟의 이미지를 확인해서 영상 이미지들을 서로 정합하고 편집한다.

본 발명에서 상기 영상정합 알고리즘은 SIFT 알고리즘을 기반으로 영상 이미지를 분석해서 특정 타겟을 분류하고 설정한다. 상기 SIFT 알고리즘의 SIFT는 Scale-Invariant Feature Transform의 약자로, 다수의 영상이미지를 서로 정합하기 위한 기본 솔루션이다. 상기 영상정합 알고리즘은 SIFT 알고리즘에 따라 타겟이 될 수 있는 구간에서 Extrema localization 과정인 3D Interpolation을 통해 특징점의 위치 픽셀값과 거리측정정보 등을 기초로 파악한다.

상기 영상정합 알고리즘은 상기 물체의 이미지에서 국소적으로 튀는 부분을 찾는다(Scale-spaceextrema detection). 즉, 영상 이미지에서 특징적인 부분(도드라지게 나타나는 부분)을 찾는 것인데, 상기 부분이 물체의 특징점으로 분류된다.

또한, 상기 영상정합 알고리즘은 앞서 확인된 특징점들 중에서 신뢰도 있는 최종 특징점인 키 포인트를 선별한다. 이를 위해 영상정합 알고리즘은 해당 특징점들의 픽셀값(Intensity), 상기 특징점들 중 물체의 코너에 해당하는 위치나 크기 등을 기준으로 최종 특징점을 우선 선별해서 해당 영상이미지의 키 포인트로 설정한다.

또한, 상기 영상정합 알고리즘은 상기 키 포인트의 주변 영역에 대해 경사도를 구해서, 전체적으로 볼 때 상기 주변 영역의 픽셀값들이 가리키는 방향을 구한다. 즉, 상기 키 포인트로 설정된 특징점은 해당 물체 이미지의 코너에 해당하므로, 상기 특징점의 주변에는 하나 이상의 변 이미지가 포함되고, 상기 변 이미지의 픽셀값들은 해당 키 포인트의 픽셀을 향해 형성되는 것이다.

이후, 상기 영상정합 알고리즘은 주변 영역의 구성 픽셀 방향이 0도가 되도록 회전해서, 상기 주변 영역에 해당하는 부분을 SIFT 디스크립터 데이터로 설정하고 수집정보DB에 저장한다. 이를 통해 영상이미지에는 하나 이상의 SIFT 디스크립터 데이터가 구성된다. 따라서 촬영각에 따라 영상이미지에 변화가 있더라도 영상정합 처리모듈은 SIFT 디스크립터 데이터로 설정된 상기 주변 영역에 대해 동일한 구간으로 인식하게 된다.

참고로, SIFT 디스크립터 데이터는 키 포인트의 주변 영역의 픽셀값들이 포함되고, 상기 키 포인트를 기준으로 주변 영역의 픽셀값들의 방향정보에 기반한 히스토그램 정보도 포함된다. 그러므로, 상기 SIFT 디스크립터 데이터는 상기 영상정합 알고리즘이 촬영각에 따라 변경된 영상 이미지에서 동일한 구간을 나타내는 타겟을 식별하고, 서로 이웃하는 영상 이미지를 정확히 정합할 수 있도록 한다.

일반적으로 SIFT 알고리즘에서 추천되는 Histogram Dimension은 128-dimension이므로, 카메라의 촬영각에 상관없이 동일한 구간을 포함하는 영상이미지는 상기 영상정합 알고리즘에 의해 동일한 구간을 정확히 추출하고 서로 이웃하는 영상 이미지에서 서로 공유하는 상기 SIFT 디스크립터 데이터를 기초로 영상 이미지를 매칭하고, 기타 필요한 구간들을 서로 조합해서 3D 모델 또는 고정밀 정사영상 이미지를 생성하되, 상기 영상 이미지들에서 서로 다른 특징들을 갖는 영역에 대해 GPS 좌표에 해당하는 X, Y, Z 좌표가 포함된 수치지형도를 갖는 3D 모델 또는 고정밀 정사영상을 생성한다.

이와 같은 본 발명은 땅밀림이 진행되고 있는 지역에 대해, 상기 무인항공기(110)를 이용하여 상기 선정 지역에 대해 항공 촬영하여 2D 영상 이미지를 수집하고, 수집된 2D 영상 이미지를 관리서버(120)로 전송하면, 상기 관리서버(120)가 상기와 같은 3D 모델 또는 고정밀 정사영상을 생성하는 프로그램을 통해 DSM(Digital Surface Model) 및 정사영상으로 제작한다.

이때, 동일지점에 대한 데이터를 상기 관리서버(120)가 누적 관리하되, 기 측정 자료와 비교하여 실시간 땅밀림을 모니터링 및 분석하도록 함으로써, 실시간 또는 주기적인 땅밀림 모니터링 및 분석이 가능하게 된다.

또한, 본 발명은 X, Y, Z 좌표가 포함된 수치지형도를 포함한 3D 모델 또는 고정밀 정사영상을 생성하고, 촬영시 마다 생성된 상기 3D 모델 또는 고정밀 정사영상에서 하나 또는 다수의 동일지점에 대한 사면의 변위를 계측하여, 상기 동일지점에 대한 데이터를 누적 관리하면서 기 측정 자료와 비교를 통해, 세밀하면서도 정확한 땅밀림 진행 상태를 파악하고 대응할 수 있는 정보를 제공하는 것이 가능하다.

이상, 본 발명을 본 발명의 원리를 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 그와 같이 도시되고 설명된 그대로의 구성 및 작용으로 한정되는 것이 아니다.

그 밖에도, 첨부된 청구범위의 사상 및 범주를 일탈함이 없이 본 발명에 대한 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다.

따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.

100 : 땅밀림 측정 및 모니터링 시스템
110 : 무인항공기
120 : 관리서버

Claims (3)

1. 모니터링 대상 지역을 사전에 설정된 경로 또는 원격 관리서버의 제어하에 운항하면서 카메라를 통해 지역의 2D 영상을 촬영하여, 저장하는 한편 상기 관리서버로 2D 영상 이미지를 전송하는 무인항공기; 및
   모니터링 대상 지역에 대한 상기 무인항공기의 운항 주기와 경로를 사전에 설정 또는 원격 제어하여 운항 및 귀환하도록 하고, 상기 무인항공기에서 전송되는 2D 영상 이미지를 사전에 설정된 영상 처리 알고리즘 내지 프로그램을 통해, 3D 모델 또는 고정밀 정사영상을 반복 생성하되, 상기 3D 모델 또는 고정밀 정사영상 중에서 동일지점에 대한 데이터를 누적 관리하면서 기 측정 자료와 비교하여 땅밀림을 모니터링 하는 관리서버; 를 포함하는 것,
   을 특징으로 하는 UAV를 이용한 땅밀림 측정 및 모니터링 시스템.
   
2. 청구항 1에 있어서,
   상기 무인항공기는,
   RGB 영상을 쵤영하는 카메라가 탑재된 상태에서 GPS 기반으로 운항하는 드론인 것,
   을 특징으로 하는 UAV를 이용한 땅밀림 측정 및 모니터링 시스템.
   
3. 청구항 1에 있어서,
   상기 관리서버는,
   원격지의 관리시스템으로서,
   사전에 설정된 매칭 방법을 이용하여 영상지도를 생성하고,
   상기 무인항공기에서 전송되는 영상과 상기 무인항공기 위치/자세 데이터를 이용하여 공액점을 산출하고,
   상기 무인항공기 위치/자세 데이터를 이용하여 초기 외부표정요소를 결정하고,
   번들 조정을 수행이 필요한 경우, 번들 조정을 수행하여 영상의 외부표정요소와 지상점 좌표를 추정하고,
   추정된 외부표정요소와 지상점 좌표를 이용하여 영상지도를 생성하고,
   지상점 좌표의 평균값을 이용하여 평균고도면을 정의하고,
   정의된 평균고도면을 이용하여 기하보정을 수행하되, X, Y, Z 좌표가 포함된 수치지형도를 포함한 3D 모델 또는 고정밀 정사영상을 생성하고,
   촬영시 마다 생성된 상기 3D 모델 또는 고정밀 정사영상에서 하나 또는 다수의 동일지점에 대한 사면의 변위를 계측하여,
   상기 동일지점에 대한 데이터를 누적 관리하면서 기 측정 자료와 비교하여 땅밀림을 모니터링 및 분석하는 것,
   을 특징으로 하는 UAV를 이용한 땅밀림 측정 및 모니터링 시스템.