KR20230065732A - 3차원 지형지물 위치 정보를 이용한 드론의 위치 결정 방법 및 이를 이용한 드론 - Google Patents

Abstract

본 발명은 3차원 지형지물 위치 정보를 이용한 드론의 위치 결정 방법으로서, 상기 3차원 지형지물 정보를 취득할 이미지 촬영 노선과 관련된 2차원 타일맵을 수신하는 단계, 상기 이미지 촬영 노선의 이미지를 일정 주기로 수신하고, 외부에서 수신된 신호를 이용하여, 상기 이미지가 수신된 동일한 시간에 상기 드론이 위치한 2차원 평면좌표를 산출하는 단계, 상기 수신된 이미지에 포함된 관심 지형지물을 분류하고, 상기 분류된 관심 지형지물간의 이미지 좌표를 이용하여, 상기 관심 지형지물의 시퀀스 정보를 추출하는 단계, 상기 이미지에서 추출된 관심 지형지물의 시퀀스 정보와 상기 2차원 타입맵의 서브그룹에 포함된 지형지물의 시퀀스 정보가 일정수준 이상 일치하는 2차원 타일맵의 서브그룹을 1차 추출하는 단계, 상기 산출된 드론의 2차원 평면좌표의 시간 t와 시간 t+1의 좌표값을 이용하여 상기 드론의 방향각을 계산하고, 상기 계산된 방향각과 상기 2차원 타일맵의 서브그룹의 방향각 차이가 일정 수준 이하를 만족하는 2D 타일맵 서브그룹을 2차 추출하는 단계 및 상기 2차 추출된 2D 타일맵 서브그룹에 포함된 지형지물의 평면 좌표 및 높이값을 이용하여 상기 이미지를 촬영한 카메라의 평면 좌표 및 높이값을 계산함으로써, 상기 드론의 위치를 계산하는 단계를 포함하고, 상기 2차원 타일맵을 서브그룹은 상기 영상 촬영 노선의 방향각 정보를 포함하고, 2D 타일맵에 포함된 주요 지형지물의 2D 평면좌표 및 높이값을 활용하여, 드론의 정밀 위치 및 주변 지형지물의 3차원 위치정보를 실시간으로 추출할 수 있다.

Description

3차원 지형지물 위치 정보를 이용한 드론의 위치 결정 방법 및 이를 이용한 드론{Method of determining the location of a drone using 3D terrain location information and a drone thereof}

본 발명은 드론의 위치 결정 방법에 관한 것으로서, 더욱 상세하게는 드론의 정밀 위치 및 주변 지형지물의 3차원 위치정보를 실시간으로 추출할 수 있는 3차원 지형지물 위치 정보를 이용한 드론의 위치 결정 방법 및 이를 이용한 드론에 관한 것이다.

도로 및 지형지물을 재촬영하여 3D 맵을 업데이트를 하는 경우 많은 시간과 비용이 소요되므로, 기존 3D Map 정보를 이용하되 관심대상의 변화만을 감지하여 3D 맵을 업데이트할 수 있는 기술이 필요하다. 이때, 업데이트하는 3D 맵의 정확도를 높이기 위해서는 도로 및 지형지물을 촬영하는 드론의 위치정확도를 높일 필요가 있다. 기존에는 고가의 정밀 위치 결정 모듈을 이용하거나 다음과 같은 선행기술에서와 같이 특정 위치 컨텍스트 식별자 (location context identifier) 또는 과속방지턱을 감지하는 G 센서를 이용하여 모바일 장치의 위치를 결정하고 있다.

선행기술 1(한국공개특허 KR 10-2012-0117896 A)는 로컬화된 환경들과 연계된 위치 기반 서비스들을 위한 맵 핸들링에 관한 특허로서, 특정 위치 컨텍스트 식별자 (location context identifier)와 연관된 특정 로컬화된 환경 (localized environment) 에 대응하는 맵 정보를 저장한다. 선행기술 1은 모바일 디바이스의 위치를 결정하기 위하여 특정 위치 컨텍스트 식별자를 구비하고 있다.

선행기술 2(한국공개특허 KR 10-2019-0061135 A)는 주행 차량의 위치 추정 장치 및 그 방법에 관한 특허로서, 차량의 주행 중 과속방지턱을 감지하는 G 센서를 구비하고, G 센서로부터 입력된 감지정보로부터 과속방지턱이 감지되면 추정된 차량의 위치를 기반으로 지도 데이터부로부터 차량 주변의 지도정보를 추출하여 과속방지턱의 위치를 결정하고, 추정된 차량의 위치와 과속방지턱의 위치를 매칭하여 차량의 위치를 보정하고 있다.

따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 2D 타일맵에 포함된 주요 지형지물의 2D 평면좌표 및 높이값을 활용하여, 드론의 정밀 위치 및 주변 지형지물의 3차원 위치정보를 실시간으로 추출할 수 있는 3차원 지형지물 위치 정보를 이용한 드론의 위치 결정 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 두 번째 과제는 고가의 정밀 위치 결정 모듈이 없더라도, 기존에 실측된 지형지물 3D 위치정보 및 카메라 기반의 물체인식 기술, 관심 물체의 옵티컬 플로우 정보를 이용하여, 높은 정확도의 드론 위치 계산이 가능한 3차원 지형지물 위치 정보를 이용하여 위치를 결정하는 드론을 제공하는 것이다.

또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.

본 발명은 상기 첫 번째 과제를 달성하기 위하여, 3차원 지형지물 위치 정보를 이용한 드론의 위치 결정 방법으로서, 상기 3차원 지형지물 정보를 취득할 이미지 촬영 노선과 관련된 2차원 타일맵을 수신하는 단계; 상기 이미지 촬영 노선의 이미지를 일정 주기로 수신하고, 외부에서 수신된 신호를 이용하여, 상기 이미지가 수신된 동일한 시간에 상기 드론이 위치한 2차원 평면좌표를 산출하는 단계; 상기 수신된 이미지에 포함된 관심 지형지물을 분류하고, 상기 분류된 관심 지형지물간의 이미지 좌표를 이용하여, 상기 관심 지형지물의 시퀀스 정보를 추출하는 단계; 상기 이미지에서 추출된 관심 지형지물의 시퀀스 정보와 상기 2차원 타입맵의 서브그룹에 포함된 지형지물의 시퀀스 정보가 일정수준 이상 일치하는 2차원 타일맵의 서브그룹을 1차 추출하는 단계; 상기 산출된 드론의 2차원 평면좌표의 시간 t와 시간 t+1의 좌표값을 이용하여 상기 드론의 방향각을 계산하고, 상기 계산된 방향각과 상기 2차원 타일맵의 서브그룹의 방향각 차이가 일정 수준 이하를 만족하는 2D 타일맵 서브그룹을 2차 추출하는 단계; 및 상기 2차 추출된 2D 타일맵 서브그룹에 포함된 지형지물의 평면 좌표 및 높이값을 이용하여 상기 이미지를 촬영한 카메라의 평면 좌표 및 높이값을 계산함으로써, 상기 드론의 위치를 계산하는 단계를 포함하고, 상기 2차원 타일맵을 서브그룹은 상기 영상 촬영 노선의 방향각 정보를 포함하는 3차원 지형지물 위치 정보를 이용한 드론의 위치 결정 방법을 제공한다.

본 발명의 일 실시 예에 의하면, 상기 지형지물의 높이값 변화폭을 기준으로 상기 2차원 타일맵을 서브그룹으로 분할하여 저장하고, 상기 서브그룹은 2차원 평면좌표상의 방향각 정보를 포함할 수 있다.

또한, 상기 카메라 평면 좌표 및 높이값을 계산할 때, 상기 2차 추출된 2차원 타일맵의 서브 그룹에 포함된 일정 수준 이상의 높이값을 갖는 상기 지형지물의 최상단의 평면 좌표 및 높이 정보를 이용하여 상기 수신된 이미지의 카메라 평면 좌표 및 높이값을 계산할 수 있다.

본 발명의 다른 실시 예에 의하면, 상기 이미지의 속성정보로 상기 이미지의 카메라 평면 좌표 및 높이값을 저장할 수 있다.

본 발명은 상기 두 번째 과제를 달성하기 위하여, 상기 3차원 지형지물 정보를 취득할 이미지 촬영 노선과 관련된 2차원 타일맵을 수신하는 타일맵 수신부; 상기 이미지 촬영 노선의 이미지를 일정 주기로 수신하는 이미지 수신부; 상기 수신된 이미지에 포함된 관심 지형지물을 분류하고, 상기 분류된 관심 지형지물간의 이미지 좌표를 이용하여, 상기 관심 지형지물의 시퀀스 정보를 추출하는 시퀀스 추출부; 상기 이미지에서 추출된 관심 지형지물의 시퀀스 정보와 상기 2차원 타입맵의 서브그룹에 포함된 지형지물의 시퀀스 정보가 일정수준 이상 일치하는 2차원 타일맵의 서브그룹을 1차 추출하는 서브그룹 1차 결정부; 외부에서 수신된 신호를 이용하여, 상기 이미지가 수신된 동일한 시간에 상기 드론가 위치한 2차원 평면좌표를 산출하고, 상기 산출된 드론의 2차원 평면좌표의 시간 t와 시간 t+1의 좌표값을 이용하여 상기 드론의 방향각을 계산하고, 상기 계산된 방향각과 상기 2차원 타일맵의 서브그룹의 방향각 차이가 일정 수준 이하를 만족하는 2D 타일맵 서브그룹을 2차 추출하는 서브그룹 2차 결정부; 및 상기 2차 추출된 2D 타일맵 서브그룹에 포함된 지형지물의 평면 좌표 및 높이값을 이용하여 상기 이미지를 촬영한 카메라의 평면 좌표 및 높이값을 계산함으로써, 상기 드론의 위치를 계산하는 위치 계산부를 포함하는 3차원 지형지물 위치 정보를 이용한 드론을 제공한다.

본 발명의 일 실시 예에 의하면, 상기 지형지물의 높이값 변화폭을 기준으로 상기 2차원 타일맵을 서브그룹으로 분할하여 저장하고, 상기 서브그룹은 2차원 평면좌표상의 방향각 정보를 포함할 수 있다.

또한, 상기 카메라의 평면 좌표 및 높이값을 계산할 때, 상기 2차 추출된 2차원 타일맵의 서브 그룹에 포함된 일정 수준 이상의 높이값을 갖는 상기 지형지물의 최상단의 평면 좌표 및 높이 정보를 이용하여 상기 수신된 이미지의 카메라 평면 좌표 및 높이값을 계산할 수 있다.

본 발명의 다른 실시 예에 의하면, 상기 이미지의 속성정보로 상기 이미지의 카메라 평면 좌표 및 높이값을 저장할 수 있다.

상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 3차원 지형지물 위치 정보를 이용한 드론의 위치 결정 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

본 발명에 따르면, 2D 타일맵에 포함된 주요 지형지물의 2D 평면좌표 및 높이값을 활용하여, 드론의 정밀 위치 및 주변 지형지물의 3차원 위치정보를 실시간으로 추출할 수 있다.

또한, 본 발명에 따르면, 고가의 정밀 위치 결정 모듈이 없더라도, 기존에 실측된 지형지물 3D 위치정보 및 카메라 기반의 물체인식 기술, 관심 물체의 옵티컬 플로우 정보를 이용하여, 높은 정확도의 드론 위치 계산이 가능할 수 있다.

나아가, 본 발명에 따르면, 하천, 산림 및 도시의 주요 지형지물의 관리를 크라우드소싱 방법으로 업데이트하고, 카메라와 통신 기능을 가진 드론을 이용하여 효율적인 주요 지형지물의 정보 관리가 가능하다.

도 1은 본 발명의 일 실시예에 따른 2D 타일맵을 도시한 것이다.
도 2는 2D 타일맵에 포함된 지형지물의 시퀀스 정보를 설명하기 위한 도면이다.
도 3은 2D 타일맵의 서브그룹에 포함된 방향각 정보의 개념을 나타내기 위한 도면이다.
도 4는 본 발명의 바람직한 일 실시 예에 따른 3차원 지형지물 위치 정보를 이용하여 위치를 결정하는 드론과 타일맵 서버를 나타내는 구성도이다.
도 5는 카메라 좌표와 실공간 3차원 좌표의 관계를 나타낸 도면이다.
도 6은 2D 타일맵의 지형지물 위치정보를 이용하여 카메라 중심좌표를 결정하는 방법을 설명하기 위한 도면이다.
도 7은 카메라 프레임과 이미지 프레임의 관계를 나타내기 위한 도면이다.
도 8은 신규 지형지물 위치 계산을 위한 이미지 프레임과 실공간 프레임의 관계를 나타낸 도면이다.
도 9는 드론의 진행방향에 대해, 매우 짧은 두장의 영상을 도시한 것이다.
도 10은 본 발명의 바람직한 일 실시 예에 따른 드론 위치 결정방법의 흐름도이다.
도 11은 본 발명의 바람직한 일 실시 예에 따른 지형지물 위치정보 갱신방법의 흐름도이다.
도 12는 지형지물의 등고선을 반영하여 급격한 드론의 높이값의 변화가 없도록 촬영노선을 설계한 예시이다.

본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요 혹은 기술적 사상의 핵심을 우선 제시한다.

본 발명의 일 실시예에 따르면, 타일맵 서버는 드론으로부터 출발지 및 목적지 정보를 전송받아 드론이 촬영할 이미지 촬영 경로를 고려하여, 지형지물의 정보를 2D 타일맵 형태로 변환하여 드론에 제공한다.

드론은 2D 타일맵에 포함된 주요 지형지물의 2D 평면좌표 및 높이값을 활용하여, 드론의 정밀 위치 및 주변 지형지물의 3차원 위치정보를 실시간으로 추출할 수 있다. 이 때 촬영한 이미지에서 추출한 지형지물간의 시퀀스 정보와 2D 타일맵에 포함된 지형지물의 시퀀스 정보를 이용하여 원하는 지형지물 정보를 효과적으로 추출할 수 있다.

이하, 바람직한 실시 예를 들어 본 발명을 더욱 상세하게 설명한다. 그러나 이들 실시 예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.

도 1은 본 발명의 일 실시예에 따른 2D 타일맵을 도시한 것이다.

도 1의 2D 타일맵은 지구의 면적을 타일 형태로 나타낸 것이다. 레벨1 은 6144 km * 6144 km 의 면적을 갖도록 선정할 수 있다. 이러한 경우, 레벨 3는 1/4에 해당되는 1536 km * 1536 km 크기를 갖는다.

도심지와 같이 지형지물이 밀집한 지역에서는 레벨 13에 해당되는 1.5 km * 1.5 km 나 레벨 14에 해당되는 725 m Ⅹ 725 m 크기를 기본 2D 타일맵 정보로 선정하는 것이 바람직하다.

2D 타일맵 정보에 관심물체 정보로 분류되는 지형지물(하천, 건물, 철탑 등)의 평면 좌표값을 기준으로 높이값, 색깔, 분류 정보 등을 별도의 속성정보로 저장할 수 있다.

본 발명의 일 실시예에 따르면, 상기 2D 타일맵은 지형지물 위치정보와 속성정보를 포함하여 드론의 실시간 정밀 위치 결정에 활용할 수 있다.

2D 타일맵은 지형지물의 위치정보(평면 좌표 및 높이값)을 기반으로 지형지물의 속성정보(지형지물 분류정보, 색깔, 모양, 텍스트 정보 등)이 포함될 수 있다. 또한, 일정 면적을 기준으로 레벨 정보를 가지며, 상기 지형지물의 높이값 변화폭을 기준으로 2D 타일맵을 서브그룹으로 분류하여 제공하는 것이 바람직하다.

다른 실시예로서, 상기 지형지물의 높이값 변화폭과 드론 촬영 노선의 방향각 정보를 고려하여 2D 타일맵을 서브그룹으로 분류할 수 있다. 상기 지형지물의 위치정보를 이용하면, 연속적인 지형지물의 배치정보가 포함된 지형지물의 시퀀스 정보를 알 수 있게 된다.

도 2는 2D 타일맵에 포함된 지형지물의 시퀀스 정보를 설명하기 위한 도면이다.

도 2를 참조하면, 2D 타일맵의 레벨 13에서 주요 지형지물의 정보를 나타내고 있다. 각 지형지물은 하천을 중심으로 반시계 순서로 원형 건물, 사각 건물1, 사각 건물 2, 철탑의 정보로 구성되어 있다. 각 지형지물을 그룹핑하여 하나의 서브그룹 공간정보로 구분하고, 해당 서브그룹 공간정보에 각 지형지물의 높이정보를 포함할 수 있다. 2D 타일맵에 포함되는 정보는 2D 타일맵의 레벨정보와 하천 또는 도로를 따라 형성된 서브그룹 공간정보로 구분하여, 서브그룹 공간정보별로 각 지형지물의 2차원 평면좌표와 이에 매칭되는 높이, 색깔, 분류코드, 텍스트 등의 속성정보를 저장할 수 있다. 따라서 드론의 위치정보, 지형지물의 높이정보, 또는 드론 촬영 노선의 방향각 정보 중 적어도 하나 이상을 알게 되면 2D 타일맵의 서브그룹에서 가장 가깝게 위치하거나 근접한 서브그룹을 추출하고, 서브그룹에 포함된 지형지물의 위치정보를 추출할 수 있다. 한편, 상기 서브그룹에는 지형지물의 높이정보 또는 드론 촬영 노선의 방향각 정보가 포함되는 것이 바람직하다.

드론의 GPS 위치 및 WiFi 위치와 50m 이내에 존재하는 일정 거리에 내에 존재하는 서브그룹을 우선 추출하고, 각각의 서브그룹 공간정보와 일련의 지형지물 위치 정보를 시퀀스 정보로 추출하여 현재의 이미지 정보에서 추출한 일련의 지형지물의 시퀀스 정보와 일치하는 서브그룹 정보를 1차 추출할 수 있다.

예를 들어, 도 2에서는 원형 건물이 하천 아래에 배치되어 있고, 사각 건물 1과 사각 건물 2가 하천의 위쪽에 배치되어 있다. 이러한 각 지형지물의 위치에 따른 일련의 시퀀스 정보를 이용하여, 현재 드론의 위치정보를 빠르게 계산할 수 있다.

위치 계산에 사용되는 2D 타일맵 정보는 별도의 레이어(layer)로 구성하여 보다 빠르게 추출이 가능하게 관리할 수 있다. 또한 이미지에서 나타나는 지형지물을 빠르게 추출하기 위해, 드론에 위치계산에 사용되는 지형지물은 일정 높이값을 갖는 지형지물을 포함하여 구성할 수 있다. 가령 10m 이상의 지형지물로만 지형지물 정보를 구성한 경우, 드론에 이동에 따라 산림 등에 의해 가려지는 화면 가림을 최소화할 수 있다.

한편, 영상의 원하는 지형지물을 분류하고 추출하기 위해, 머신러닝 방법을 이용한 지도학습/비지도학습을 통해 지형지물을 추출하여 지형지물의 이미지 좌표를 자동 취득할 수 있는 물체 인식 모듈을 사용할 수 있다. 취득한 지형지물의 이미지 좌표에 매칭되는 3차원 위치정보가 2D 타일맵에 포함된 경우, 해당 지형지물의 위치정보를 이용하여, 현재 드론의 카메라의 위치정보, 즉 카메라의 중심좌표 계산이 가능하다. 이때 드론의 위치계산에 사용되는 지형지물의 평면위치와 높이값과 카메라의 핀홀모델을 이용하여, 현재 이미지의 카메라 평면위치 및 높이값 계산이 가능하게 된다.

도 3은 2D 타일맵의 서브그룹에 포함된 방향각 정보의 개념을 나타내기 위한 도면이다.

도 3을 참조하면, 드론 촬영 노선의 방향각 정보 또는 드론의 이동방향이 도시되어 있다. 드론 촬영 노선의 방향각 정보로부터 드론 이동방향을 산출할 수 있고, 그 역도 가능하다. 정해진 기준방향을 기준으로 이동방향과 이루는 각이 방향각이 될 수 있다.

또한, 촬영된 이미지에서 검증 지형지물의 옵티컬 플로우(optical flow) 정보 즉, 동일한 물체에 대해 인접한 이미지에서 상대적으로 움직인 거리와 방향에 대한 정보를 이용하여 연속적으로 촬영된 이미지간의 회전각 변화량을 계산하여, 검증 지형지물의 3차원 위치 좌표를 계산할 수 있다.

상기 계산된 검증 지형지물의 3차원 위치정보가 일정 수준의 위치정확도를 만족하는 경우, 변경된 지형지물 또는 신규 지형지물이 추가된 2D 타일맵으로 기존 2D 타일맵을 갱신하여 저장한 다음, 타일맵 서버로 전송하고, 타일맵 서버는 다수의 드론에서 크라우드소싱 방법으로 전송받은 카메라의 중심좌표(X, Y, 높이값), 2D 타일맵 갱신정보를 활용하여, 데이터 후처리를 통해 지형지물의 3차원 위치정보를 취득하여 3D 맵 업데이트가 가능하다.

도 4는 본 발명의 바람직한 일 실시 예에 따른 3차원 지형지물 위치 정보를 이용하여 위치를 결정하는 드론과 타일맵 서버를 나타내는 구성도이다.

도 4를 참조하면, 본 실시 예에 따른 3차원 지형지물 위치 정보를 이용하여 위치를 결정하는 드론과 타일맵 서버는 드론(10)과 타일맵 서버(20)로 구성된다.

드론(10)은 타일맵 수신부(100), 초기 위치정보 생성부(105), 서브그룹 필터링부(110), 서브그룹 1차 결정부(115), 서브그룹 2차 결정부(120), 위치 계산부(125), 위치 갱신부(130), 이미지 수신부(135), 시퀀스 추출부(140), 서브그룹 추출부(145), 위치 산출부(150), 회전각 계산부(155), 지형지물 위치 계산부(160), 타일맵 정보 업데이트부(165), 및 송신부(170)로 구성된다.

타일맵 서버(20)는 촬영노선 결정부(200), 타일맵 송신부(210), 3D 데이터 후처리부(220), 타일맵 정보 수신부(230), 및 타일맵 갱신부(240)로 구성된다.

본 실시 예에 따른 타일맵 서버(20)는 드론(10)으로부터 출발지 및 목적지 정보를 전송받으면, 예상 촬영 노선에 대응하는 2D 타일맵을 드론(10)으로 제공하고, 드론(10)로부터 수신한 이미지 정보 및 업데이트된 2D 타일맵 정보를 이용하여 데이터 후처리를 진행하는 타일맵 서버(20)와 타일맵 서버(20)에서 수신한 2D 타일맵을 이용하여 실시간으로 드론(10)의 정밀 위치를 계산하고, 기존 지형지물의 위치정보 변화 및 신규 지형지물의 위치정보를 추출하는 드론으로 구성된다.

타일맵 수신부(100)는 타일맵 서버(20)로부터 지형지물 정보 취득을 위한 촬영 노선 정보를 반영한 2D 타일맵을 수신하고, 수신한 2D 타일맵을 서브그룹 필터링부(110)로 전송한다.

초기 위치정보 생성부(105)는 드론(10)에 포함된 GPS 모듈이나 수신된 WiFi 신호를 이용하거나, 외부에서 계산된 현재 드론의 위치정보를 이용하여 드론(10)의 초기 위치정보를 생성할 수 있다. 초기 위치정보 생성부(105)는 드론(10)의 현재 위치에 상응하는 2D 타일맵의 서브그룹을 추출하는데 기초가 되는 드론(10)의 현재 위치정보를 생성한다.

서브그룹 필터링부(110)는 드론(10)의 초기 위치정보 생성부(105)로부터 수신한 초기 위치정보를 반영하여, 촬영 노선 상의 일정 거리내에서 존재하는 2D 타일맵의 서브그룹을 추출할 수 있다.

서브그룹 필터링부(110)는 촬영 노선에 존재하는 하천 또는 도로의 길이를 반영하여 2D 타일맵 정보를 다시 서브그룹으로 분리하여 저장할 수 있다. 해당 서브그룹은 주요 지형지물에 대해 특정 맵좌표계를 반영한 2차원 평면좌표를 기준으로 지형지물의 속성정보를 포함한다. 상기 속성정보에는 지형지물의 종류, 높이값, 색깔, 텍스트 등의 정보가 포함될 수 있다. 또한 서브그룹마다 하천 또는 도로의 방향 또는 이동 가능 경로의 방향각 정보를 포함할 수 있다. 주요 지형지물은 주로 특정 경로를 기준으로 배치되어 있다고 가정할 수 있기 때문에 하천, 도로 및 이동 가능한 경로의 방향각 정보를 서브그룹의 정보로 저장 가능하다. 또한 서브그룹을 구성하는 지형지물간의 위치정보를 반영하여, 지형지물간의 시컨스 정보가 저장될 수 있다.

초기 위치정보 생성부(105)가 생성한 드론(10)의 초기 위치정보는 수 미터의 낮은 위치정확도를 갖으므로, 서브그룹 1차 결정부(115)는 지형지물간의 시퀀스 정보를 이용하여 현재 드론(10)의 위치 계산에 사용될 2D 타일맵의 서브그룹 후보를 추출할 수 있다.

시퀀스 추출부(140)가 자동 분류한 관심 지형지물의 상대적인 위치정보의 연속적인 시퀀스 정보를 이용하여, 서브그룹 1차 결정부(115)에서 2D 타일맵의 서브그룹 후보를 결정할 수 있다. 이 때, 현재 이미지에서 분류된 지형지물 시퀀스 정보와 수신된 2D 타일맵에 저장된 지형지물의 시퀀스 정보가 상이할 수 있으므로, 두 지형지물의 시퀀스 정보 비교시, 일정 비율로 시퀀스 정보가 일치하는 경우, 해당 2D 타일맵을 서브그룹 후보로 선정할 수 있다.

시퀀스 추출부(140)는 이미지상에서 관심 지형지물을 자동 분류할 수 있도록 지도 학습 또는 비지도 학습을 이용한 이미지 물체인식 모듈을 적용하여 이미지 수신부(135)에서 촬영된 관심 지형지물을 자동 분류하여, 상기 관심 지형지물의 2차원 좌표를 취득할 수 있다.

서브그룹 2차 결정부(120)는 드론(10)의 위치정보의 방향각 정보와 서브그룹 1차 결정부(115)에서 수신된 2D 타일맵의 서브그룹 후보의 방향각 정보를 비교하여, 일정 수준을 만족하는 서브그룹을 2차 추출할 수 있다.

드론의 초기 위치정보의 위치정확도는 매우 낮은 경우에도, 일정 시간마다 추출된 2D 평면좌표의 변화량이 일정한 경우에 계산된 방향각은 고정밀도를 갖는 위치정보의 방향각과 유사하다고 볼 수 있다.

위치 계산부(125)는 방향각 정보를 반영하여 2차 추출된 2D 타일맵 서브그룹의 지형지물 3차원 위치정보를 이용하여, 카메라의 초점 위치, 즉 카메라의 중심좌표의 평면좌표와 높이값(X, Y, 높이값)을 계산할 수 있다. 카메라의 평면좌표와 높이값은 드론의 평면좌표와 높이값에 대응한다.

이 때 필요한 카메라 켈리브레이션 정보는 카메라 내부 정보에 해당되는 카메라 이미지의 픽셀 크기 및 촛점거리, 스큐(skew) 변수값의 정보가 필요하다.

카메라의 내부 켈리브레이션 정보가 존재하는 경우, 촬영 노선을 촬영한 이미지에서 물체 인식 모듈을 이용하여 관심 지형지물을 자동 분류하고, 해당 지형지물의 이미지 좌표를 취득하고, 해당 이미지 좌표에 매칭되는 실제 3차원 위치정보를 2D 타일맵의 서브그룹 정보에서 추출하여, 이미지 프레임과 실공간 프레임의 관계를 카메라 핀홀 모델을 이용하여 카메라의 중심좌표(X, Y, 높이값)를 최소제곱법을 이용하여 계산할 수 있다. 카메라 핀홀 모델은 하나의 바늘구멍(pinhole)을 통해 외부의 상이 이미지로 투영된다는 모델이다. 이 때, 이 바늘구멍(pinhole)이 렌즈 중심에 해당되며 이곳에서 뒷면의 상이 맺히는 곳까지의 거리가 카메라 초점거리이다.

이 때, 관심지형지물의 이미지 좌표가 필요하므로, 관심 지형지물의 최하단 이미지 좌표보다는 최상단 이미지 좌표의 취득이 더욱 용이하다. 따라서 2D 타일맵의 서브그룹에서 제공하는 높이값은 최상단의 높이값이다. 또한 일정 높이 이상의 높이값을 갖는 지형지물은 이미지 좌표 추출이 보다 용이하므로, 드론 정밀 위치 결정을 위해서 이용되는 지형지물의 좌표 및 속성 정보를 별도의 2D 타일맵 레이어로 분류하여, 실시간 모바일 응용프로그램의 계산속도를 향상시킬 수 있다.

위치 갱신부(130)는 위치 계산부(125)와 위치 산출부(150)에서 수신된 드론의 위치 정보를 이용하여 드론의 위치 정보를 갱신한다.

위치 갱신부(130)는 위치 계산부(125)와 위치 산출부(150)에서 수신된 드론의 위치 정보에 대하여 다른 가중치를 부여하여 드론의 위치 정보를 재계산할 수 있다.

송신부(170)는 위치 갱신부(130)에서 갱신된 드론의 위치 정보를 타일맵 서버(20)의 3D 데이터 후처리부(220)로 송신한다.

도 5는 이미지 좌표와 실공간 3차원 좌표의 관계를 나타낸 도면이다.

도 5는 카메라 핀홀 모델에서 관심 물체의 평면위치 및 높이값 계산 방법이다. 카메라의 위치정보 계산 수식은 아래와 같다.

D1''은 관심물체의 최하단까지의 실제 거리이고, D1은 최상단까지의 실제 거리이다. f는 카메라의 초점거리이고, Hc는 카메라의 높이값이다. D1'은 카메라 이동방향에 수직한 선이 관심물체에서 상기 카메라 이동방향에 수직으로 내렸을 때 만나는 점과 카메라 간의 거리이다.

카메라 프레임 기준으로 관심 대상물에 대해 Ψ는 X축의 회전각이고, θ 은 Y축의 회전각이다. 따라서, 도 5를 참조하면, 다음의 수학식이 도출된다.

x, y는 관심 물체의 이미지 상의 x, y좌표이다. 따라서 이미지 좌표 y는 H-Hc와 비례관계를 갖는다.

도 6은 2D 타일맵의 지형지물 위치정보를 이용하여 카메라 중심좌표를 결정하는 방법을 설명하기 위한 도면이다.

도 6을 참조하여 이미지에서 취득한 지형지물의 거리정보를 이용하여, 드론의 위치를 결정하는 방법은 다음과 같다.

지형지물의 3차원 위치정보는 수신된 2D 타일맵에서 추출한 정보인 것이 바람직하다.

관심 지형지물 OBJ1, OBJ2의 이미지 좌표가 (P1x_t, P1y_t), (P2x_t, P2y_t)이고, 실공간에서 평면좌표 및 높이값은 OBJ1(X1, Y1, H1), OBJ2(X2, Y2, H2)이고, 카메라의 높이값은 Hc이다.

아래 수학식 2와 수학식 3을 이용하여 카메라의 3차원 위치정보 좌표 (X, Y, Hc)를 계산할 수 있다.

α, β 는 카메라에서 관심 지형지물 OBJ1과 OBJ2의 상단까지의 Y축으로의 고도각에 해당되는 것으로, 수학식 1의 θ를 구하는 방법과 같은 방법으로 계산될 수 있다.

D1, D2는 관심 지형지물의 최상단까지의 실거리이며, D1", D2" 는 관심지형지물의 최하단까지의 실거리이다.

수학식 2는 OBJ2 와 카메라의 위치 관계식을 나타낸 것이다

수학식 3은 카메라와 OBJ1과의 관계식을 나타낸 것이다.

수학식 2와 수학식 3은 아래와 같이 행렬식 B = Ax 로 변경하고, 카메라의 초점위치, 즉 카메라의 중심좌표의 실시간 정밀 위치 (Xt, Yt, Hc)를 수학식 4로부터 구할 수 있다.

이 때 적어도 4 점 이상의 지형지물 위치정보를 이용하여, 최소제곱법으로 카메라의 정밀 위치/카메라의 중심좌표를 계산하는 것이 바람직하다.

여기서,

는 행렬 B이고,

는 행렬 A이며,

는 행렬 x이다.

수학식 4를 행렬식으로 변환하여 Error를 아래와 같이 정의할 수 있다.

위의 Error를 최소화하기 위해 최소제곱법으로 일정 기준보다 같거나 작은 에러값이 구해질 때까지 반복 계산한 경우, 카메라 중심좌표행렬 x 를 추출할 수 있다.

한편, 이미지 수신부(135)는 이미지 촬영 노선의 이미지를 일정 주기로 수신한다.

시퀀스 추출부(140)는 이미지 수신부(135)에서 수신된 이미지에 포함된 관심 지형지물을 분류하고, 상기 분류된 관심 지형지물간의 이미지 좌표를 이용하여, 상기 관심 지형지물의 시퀀스 정보를 추출한다. 또한, 일 실시 예로서, 시퀀스 추출부(140)는 드론(10)의 정밀 위치 또는 카메라의 중심좌표(X, Y, 높이값)가 계산된 이후에 서브그룹 추출부(145)를 호출할 수 있다. 이 경우 보다 정확한 드론(10)의 위치를 기초로 서브그룹을 추출할 수 있게 된다.

서브그룹 추출부(145)는 이미지에서 추출된 관심 지형지물의 시퀀스 정보와 2D 타일맵의 서브그룹에 포함된 지형지물의 시퀀스 정보를 비교하여 2D 타일맵의 서브그룹을 추출한다.

또한, 서브그룹 추출부(145)에서는 이미지에서 추출한 지형지물과 2D 타일맵의 지형지물의 시퀀스 정보 비교시, 일정 수준 이상 동일한 경우, 해당 2D 타일맵의 서브그룹을 추출한다. 다른 실시 예로서, 서브그룹 추출부(145)는 서브그룹 1차 결정부(115)로 대체될 수 있다.

위치 산출부(150)와 위치 계산부(125)의 차이점은 방향각 정보를 위치 산출부(150)에서는 사용하지 않는다는 점이다.

또한, 위치 산출부(150)는 드론(10)가 촬영 노선을 따라 순수 병진 운동을 한다는 가정하에 실시간 지형지물의 위치정보를 계산하여 2D 타일맵 정보를 저장 및 갱신하는 것을 목적으로 수행된다.

따라서 일정 주기로 드론에서 촬영된 연속적 이미지간의 z축 회전량이 일정 수준 이하를 만족하는 경우, 계산된 카메라의 중심좌표(X, Y, 높이값)간의 이격거리를 정보를 이용하여, 관심 지형지물의 실제 3차원 위치정보를 계산할 수 있다. 상기 연속적 이미지의 z축 회전량은 드론의 이동 방향에 수직인 축(예를 들면 평면좌표가 xy좌표일 때 z축의 회전량 변화를 의미함)의 회전량을 의미한다.

도 7은 카메라 프레임과 이미지 프레임의 관계를 나타내기 위한 도면이다.

도 7을 참조하면, 카메라 좌표와 이미지 좌표의 관계는 수학식 6와 같이 나타낼 수 있다.

여기에서 f는 카메라의 초점 길이(focal length) 이고, α = f/s 이고, s는 이미지의 픽셀사이즈이다. u, v는 이미지 좌표이고, x_c, y_c, z_c는 카메라 좌표이다.

도 7에서 이미지 좌표는 u, v는 이미지의 픽셀 사이즈 s를 곱하여 u*s, v*s가 되는 것이 도시되어 있고, 카메라 좌표와 이미지 좌표가 초점 길이 f 만큼 떨어져 있음을 알 수 있다.

한편, 각 축에 대한 회전 행렬 구성은 아래의 수학식 7과 같다. 또한 회전량의 변화가 매우 작다고 가정하는 경우, cos(x) ≒ 1, sin(x) ≒ x, sin(x)sin(y) ≒ 0 값을 갖으므로, 아래 회전 행렬은 다음과 같이 변경할 수 있다. 또한 카메라의 Z축 방향의 회전(Yaw)이 없는 병진운동을 하는 경우는 회전행렬은 보다 단순해 진다.

카메라 좌표계의 좌표축에 대해, Rz_c,Ψ 는 Z축을 회전시킨 회전량이고, Ry_c,ф 는 Y축을 회전시킨 회전량이고, Rx_c,ф 는 X축을 회전시킨 회전량이다.

수학식 7에서 c는 cosine 함수를 나타내고, s는 sine 함수를 나타낸다.

카메라의 높이 Hc(z=h)는 아래 수학식 8과 같이 계산할 수 있다.

수학식 8에서 c는 cosine 함수를 나타내고, s는 sine 함수를 나타낸다.

r₃₁은 회전 행렬 R의 3행 1열의 원소값을, r₃₂는 회전 행렬 R의 3행 2열의 원소값, r₃₃는 회전 행렬 R의 3행 1열의 원소값을 나타낸다.

도 8은 신규 지형지물 위치 계산을 위한 이미지 프레임과 실공간 프레임의 관계를 나타낸 도면이다.

도 8을 참조하면, 핀홀(pinhole) 카메라 모델이 도시되어 있다. 해당 모델은 이미지-실공간 모델에도 적용 가능하다. 여기에서 실공간 좌표계와 이미지 좌표계가 원점이 서로 다르므로, 아래와 같이 표현될 수 있다. R 은 회전행렬, C 는 이미지 좌표계와 실좌표계와의 이격거리 행렬이다.

여기서, Xw는 실공간 좌표계의 좌표이고, x_i는 이미지 좌표계의 좌표이며, 행렬 P는 실공간 좌표를 이미지 좌표로 변환하는 변환행렬이다.

회전행렬의 적용 이유는 이미지 촬영시에 Yaw(Z축), Pitch(Y축) Roll(X축) 로 카메라의 회전 움직임이 반영되어 이미지가 촬영되기 때문이다.

회전각 계산부(155)는 연속된 두장의 이미지 영상에 관심 지형지물이 존재하는 경우, 카메라의 회전각 변화량 및 관심 지형지물의 이미지 좌표의 변화량 및 카메라의 중심좌표의 이동량 정보를 이용하여, SVD 알고리즘을 이용하여, 관심 지형지물의 3차원 위치정보를 계산할 수 있다.

도 9는 드론의 진행방향에 대해, 매우 짧은 두장의 영상을 도시한 것이다.

도 9를 참조하면, 순수 병진운동하는 경우에는 드론의 진행방향에 대해, 매우 짧은 두장의 영상에서 회전각의 변화가 0에 가까운 경우이며, 동일한 소실점(에피폴)이 존재하는 경우이다. 드론의 방향각을 변화없이 일정하게 유지하면서 이동하고, 매우 짧은 주기로 이미지를 촬영하는 경우에는 연속적으로 촬영된 두장의 이미지간의 방향각의 변화는 0로 가정할 수 있다. 흰선은 에피폴라라인을 나타낸다.

지형지물 위치 계산부(160)가 검증한 결과 이미지 좌표에 매칭되는 검증 지형지물의 3차원 위치정보가 일정 수준 이상의 정확도를 만족하는 경우, 타일맵 정보 업데이트부(165)는 실시간 2D 타일 정보를 갱신한다.

2D 타일맵의 서브그룹에 포함된 지형지물의 3차원 위치정보를 기준으로 회전각 계산부(155)의 기능을 통해, 이미 3차원 위치정보를 알고 있는 검증 지형지물에 대해, 현재 촬영된 이미지 정보를 이용하여 3차원 위치정보를 계산함으로써, 계산된 위치정보와 기 저장된 위치정보의 차이로 위치정보 정확도를 계산할 수 있다.

따라서 일정 수준을 만족하는 위치정보 정확도를 갖는 실시간 2D 타일 정보를 저장하여 갱신하고, 저장된 정보는 타일맵 서버(20)의 타일맵 정보 수신부(230)에서 수신된다.

타일맵 서버(20)의 3D 데이터 후처리부(220)에서는 크라우드소싱 방법으로 다수의 드론에서 수신한 2D 타일맵 갱신 정보를 이용하여, 보다 정밀한 지형지물 위치정보를 추출하기 위한 데이터를 후처리를 진행한다.

타일맵 정보 갱신부(165)는 타일맵 서버(20)에 저장된 2D 타일맵을 타입맵 정보 수신부(230)로부터 업데이트된 타일맵 정보로 갱신한다.

한편, 타일맵 서버(20)는 주행노선 결정부(200), 타일맵 송신부(210), 3D 데이터 후처리부(220), 타일맵 정보 수신부(230), 및 타일맵 갱신부(240)로 구성된다.

주행노선 결정부(200)는 드론(10)으로부터 출발지 및 목적지 정보를 전송받아 드론이 촬영할 이미지 촬영 노선을 결정한다.

타일맵 송신부(210)는 상기 결정된 촬영 노선을 포함하는 2D 타일맵을 드론(10)으로 전송한다.

3D 데이터 후처리부(220)는 다수의 드론에서 취득된 실시간 2D 타일 정보와 함께 전송된 이미지 정보를 이용하여, 관심 지형지물에 대한 보다 높은 정확도의 3차원 위치정보를 산출한다.

크라우드 소싱으로 다수의 드론에서 취합된 3차원 위치정보로 지형지물의 위치정보의 변화나 신규 지형지물의 위치정보를 통계적 방법으로 처리 가능하다.

동일한 지형지물에 대해 서로 다른 3차원 위치정보가 전송되므로, 최소제곱법을 이용하여, 일정 수준의 위치 정확도를 만족하는 지형지물의 3차원 위치정보를 추출하여, 2D 타일맵의 정보를 업데이트할 수 있다.

타일맵 정보 수신부(230)는 타일맵 정보 업데이트부(165)에서 업데이트된 2D 타일맵 정보를 수신한다.

타일맵 갱신부(240)는 3D 데이터 후처리부(220)와 타일맵 정보 수신부(230)로부터 수신한 2D 타일맵과 위치정보, 속성정보들로 기존 2D 타일맵을 갱신한다.

도 10은 본 발명의 바람직한 일 실시 예에 따른 드론 위치 결정방법의 흐름도이다.

도 10을 참조하면, 본 실시 예에 따른 드론 위치 결정방법은 도 4에 도시된 드론 위치 결정장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 4에 도시된 드론 위치 결정장치에 관하여 이상에서 기술된 내용은 본 실시 예에 따른 드론 위치 결정방법에도 적용된다.

1000 단계에서 드론 위치 결정장치는 3차원 지형지물 정보를 취득할 이미지 촬영 노선과 관련된 2차원 타일맵을 수신한다. 지형지물 정보를 수집할 노선에 대해, 지형지물의 속성 및 높이값 정보를 포함한 2D 타일맵 정보를 타일맵 서버(20)로부터 수신할 수 있다.

1005 단계에서 드론 위치 결정장치는 상기 지형지물의 높이값 변화폭을 기준으로 상기 2차원 타일맵을 서브그룹으로 분할하여 저장한다.

드론에서 촬영한 이미지는 지면으로부터 드론의 높이값에 따라 이미지의 픽셀 해상도가 좌우된다. 따라서 지형지물의 등고선을 반영하여 급격한 드론의 높이값의 변화가 없도록 촬영노선을 설계할 필요가 있다.

도 12는 지형지물의 등고선을 반영하여 급격한 드론의 높이값의 변화가 없도록 촬영노선을 설계한 예시이다.

도 12에서는 지형지물의 높이값의 분포에 따라, A, B, C 지역으로 구분하여 촬영지역을 구분한다. C 지형은 좌우방향으로 지형지물의 높이값의 변화가 일정기준값보다 작으므로 A, B 지형과 다르게 설계된다.

따라서 촬영지역에 대해 도 12와 같이 일정범위내에서 유사한 고도값을 갖는 지역을 분류하고, 해당지역에 대해 촬영노선을 세부 설계하고, 각 촬영노선에 대해, 2D 방향각 및 촬영노선의 높이값을 저장하여 제공한다.

1010 단계에서 드론 위치 결정장치는 이미지 촬영 노선의 이미지를 일정 주기로 수신하고, 외부에서 수신된 신호를 이용하여, 상기 이미지가 수신된 동일한 시간에 상기 드론이 위치한 2차원 평면좌표를 산출한다.

드론 위치 결정장치는 드론의 초기 위치정보로부터 일정 거리내에 포함된 2D 타일맵 서브그룹 정보를 필터링하여 추출할 수 있다. 필터링된 2D 타일맵 내에서 현재 위치에 필요한 서브그룹을 추출하여, 현재의 드론을 위치를 결정하게 된다.

드론의 초기 위치정보는 GPS 모듈이나 Wi-Fi의 신호로부터 대략적으로 계산될 수 있다. 도심지에서는 GPS 정보와 Wi-Fi 정보를 모두 이용하여 드론의 위치정확도를 높일 수 있다. 그러나 상기 GPS 모듈이나 Wi-Fi의 신호를 이용한 위치정확도의 경우, 수m 수준의 위치오차가 발생할 수 있으므로, 지형지물의 위치정보를 수집하는 경우, 고가의 GPS를 이용하여, 10cm 이내의 기기 위치정확도를 확보하고, 또한 드론의 위치 계산도 후처리를 통하여 이루어지는 것이 바람직하다.

한편, 라이다(Lidar) 등의 장비를 이용하여 확보된 지형지물의 평면좌표 및 높이값의 3차원 위치정보를 활용하는 경우, 드론의 모노 카메라 이미지에서 관심 지형지물을 화면좌표를 추출하고, 이에 매칭되는 실공간의 3차원 좌표간의 모델을 이용하여 카메라의 실시간 정밀 위치계산이 가능하다. 이때, 카메라의 위치는 드론의 위치가 같다고 가정한다.

1020 단계에서 드론 위치 결정장치는 상기 수신된 이미지에 포함된 관심 지형지물을 분류하고, 상기 분류된 관심 지형지물간의 이미지 좌표를 이용하여, 상기 관심 지형지물의 시퀀스 정보를 추출한다. 드론에서 카메라를 통해 수신한 이미지에서 관심 지형지물을 자동 인식하여 분류하고, 관심 지형지물 간에 위치정보 기반의 시퀀스 정보를 추출할 수 있다.

이 때 지형지물의 인식은 딥러닝 및 머신러닝을 통해 학습된 물체인식 모듈을 이용하여, 이미지에 포함된 관심 지형지물의 인식이 가능하다.

또한 지형지물을 이미지에서 인식하는 경우, 실제 카메라와 지형지물의 거리정보를 계산을 위해, 지형지물의 하천, 도로 및 설치 평면과의 인접하는 최하단 이미지 좌표의 취득이 필요하다. 그러나 이미지 촬영시, 촬영 노선에서 움직이는 물체 및 물리적인 촬영위치의 한계로 지형지물의 최하단 촬영이 불가능한 경우가 많이 발생한다. 따라서 본 발명에서는 지형지물의 최상단 위치정보를 이용하여, 카메라 위치정보를 계산하는 것이 바람직하다.

1030 단계에서 드론 위치 결정장치는 이미지에서 추출된 관심 지형지물의 시퀀스 정보와 상기 2차원 타입맵의 서브그룹에 포함된 지형지물의 시퀀스 정보가 일정수준 이상 일치하는 2차원 타일맵의 서브그룹을 1차 추출한다.

필터링된 2D 타일맵의 서브그룹에 포함된 지형지물의 시퀀스 정보와 이미지에서 추출된 관심 지형지물의 시퀀스 정보를 비교하고, 시퀀스 정보가 일정 비율 이상 동일한 2D 타일맵의 서브그룹 후보를 추출할 수 있다.

드론의 초기 위치정보의 정확도가 매우 낮은 경우, 수신된 2D 타일 정보의 지형지물의 위치정보간의 연속적 시퀀스 정보와 이미지에서 취득된 지형지물의 시퀀스 정보를 비교하여 2D 타일맵의 서브그룹을 추출할 수 있다. 시퀀스 정보의 비교시에는 2D 타일맵의 지형지물과 현재 이미지에서 추출한 시퀀스 정보와 차이가 발생할 수 있으므로, 일정 비율을 만족하는 경우, 서브그룹 후보로 추출할 수 있다.

1040 단계에서 드론 위치 결정장치는 상기 산출된 드론의 2차원 평면좌표의 시간 t와 시간 t+1의 좌표값을 이용하여 상기 드론의 방향각을 계산하고, 상기 계산된 방향각과 상기 2차원 타일맵의 서브그룹의 방향각 차이가 일정 수준 이하를 만족하는 2D 타일맵 서브그룹을 2차 추출한다.

즉, 드론의 위치정보 변화량을 이용, 드론의 방향각을 계산하고, 2D 타일맵의 서브그룹 후보의 방향각과 드론의 방향각을 비교하고, 그 차이가 일정 수준 이하인 2D 타일맵의 서브그룹 후보를 재추출할 수 있다. 따라서, 2D 타일맵 서브그룹에는 해당 서브그룹의 방향각 정보가 포함되는 것이 바람직하다. 드론은 하천 또는 도로의 방향대로 촬영 노선이 설정되므로, 드론 이동시의 방향각 역시 하천 또는 도로의 방향대로 설정될 것이다.

다수의 2D 타일맵에서 최적의 서브그룹을 추출하기 위해서는 현재 드론의 위치정보를 이용하여 추출 가능하나, 모바일의 기기의 위치정확도가 수m 수준의 정확도를 가지므로 드론의 이동 방향각 정보를 이용하여 2D 타일맵의 서브그룹 후보를 재추출할 수 있다.

이 때에는 이미지 수신 주기와 동기화된 드론의 위치정보를 추출하고, 추출된 위치정보(시간 t와 시간 t+1의 위치정보)를 평면좌표로 변환하여 방향각을 추출하고, 해당 방향각의 변화량이 일정 수준내에서 유지되는 경우, 현재의 드론의 방향각과 2D 타일맵 서브그룹에 포함된 방향각 정보를 비교하여, 그 차이가 일정 수준을 만족하는 서브그룹 후보를 재추출할 수 있다.

여기에서 2D 타일맵의 서브그룹의 방향각은 서브그룹 내에 지형지물이 존재하는 하천, 도로 또는 이동 가능한 공간의 방향각에 해당된다.

1050 단계에서 드론 위치 결정장치는 상기 2차 추출된 2D 타일맵 서브그룹에 포함된 지형지물의 평면 좌표 및 높이값을 이용하여 상기 이미지를 촬영한 카메라의 평면 좌표 및 높이값을 계산한다.

2차 추출된 2D 타일맵의 서브그룹에 포함된 지형지물의 최상단 위치정보를 이용, 촬영 카메라의 실시간 중심좌표와 높이값을 계산하는 것이 바람직하다.

1050 단계는 카메라 핀홀 모델을 이용하여, 이미지에서 인식된 관심 지형지물의 이미지 좌표와 2D 타일맵의 서브그룹의 3차원 위치정보를 매칭하여, 카메라의 초점좌표, 즉 카메라의 중심좌표를 계산하는 단계이다. 이 때에는 최소제곱법을 이용하여, 카메라 중심좌표 계산이 가능하다. 이때에는 카메라의 내부 켈리브레이션 변수로 초점거리, 카메라 픽셀사이즈 및 Skew 변수값이 필요하다.

1060 단계에서 드론 위치 결정장치는 촬영 카메라의 중심좌표 위치정보를 이미지 속성정보로 저장한다.

드론에서 저장된 이미지의 속성정보로 실시간 카메라의 정밀 중심좌표를 저장하는 단계이다. 카메라의 중심좌표가 저장된 경우, 크라우드 소싱으로 서버로 취합된 이미지에 대해, 카메라의 중심좌표를 이용하여 쉽게 이미지 그룹화가 가능하며, 해당 이미지의 정보를 기반으로, 지형지물의 정밀 3차원 위치정보를 통계적 방법을 이용하여 후처리하여 보다 높은 정확도의 지형지물 3차원 위치정보를 추출할 수 있다.

도 11은 본 발명의 바람직한 일 실시 예에 따른 지형지물 위치정보 갱신방법의 흐름도이다.

도 11을 참조하면, 본 실시 예에 따른 지형지물 위치정보 갱신방법은 도 4에 도시된 지형지물 위치정보 갱신장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 4에 도시된 지형지물 위치정보 갱신장치에 관하여 이상에서 기술된 내용은 본 실시 예에 따른 지형지물 위치정보 갱신방법에도 적용된다.

1100 단계에서 지형지물 위치정보 갱신장치는 3차원 지형지물 정보를 취득할 이미지 촬영 노선과 관련된 2차원 타일맵을 수신한다. 지형지물 정보를 수집할 노선에 대해, 지형지물의 속성 및 높이값 정보를 포함한 2D 타일맵 정보를 타일맵 서버(20)로부터 수신하는 것이 바람직하다.

1110 단계에서 지형지물 위치정보 갱신장치는 상기 이미지 촬영 노선의 이미지를 일정 주기로 수신한다.

1105 단계에서 드론 위치 결정장치는 상기 지형지물의 높이값 변화폭을 기준으로 상기 2차원 타일맵을 서브그룹으로 분할하여 저장한다.

드론에서 촬영한 이미지는 지면으로부터 드론의 높이값에 따라 이미지의 픽셀 해상도가 좌우된다. 따라서 지형지물의 등고선을 반영하여 급격한 드론의 높이값의 변화가 없도록 촬영노선을 설계할 필요가 있다.

1120 단계에서 지형지물 위치정보 갱신장치는 상기 수신된 이미지에 포함된 관심 지형지물을 분류하고, 상기 분류된 관심 지형지물간의 이미지 좌표를 이용하여, 상기 관심 지형지물의 시퀀스 정보를 추출한다.

1130 단계에서 지형지물 위치정보 갱신장치는 상기 이미지에서 추출된 관심 지형지물의 시퀀스 정보와 상기 2차원 타입맵의 서브그룹에 포함된 지형지물의 시퀀스 정보가 일정수준 이상 일치하는 2차원 타일맵의 서브그룹을 추출한다.

1130 단계 이전에 드론의 초기 위치정보를 이용하여 상기 초기 위치정보로부터 일정 거리내에 포함된 2D 타일맵 서브그룹 정보를 필터링하여 추출할 수도 있다. 드론의 정밀 위치정보(카메라의 중심좌표)가 계산된 경우에는 일정 거리내에 포함된 2D 타일맵 서브그룹을 필터링하는 것이 바람직하다.

1140 단계에서 지형지물 위치정보 갱신장치는 추출된 2차원 타일맵의 서브 그룹에 포함된 지형지물의 평면좌표값 및 높이값 이용하여 상기 수신된 카메라의 평면 좌표와 높이값을 결정한다.

1150 단계에서 지형지물 위치정보 갱신장치는 상기 연속하여 수신된 이미지의 상대적 회전각의 변화량을 상기 연속하여 수신된 이미지에서 분류된 검증 지형지물의 옵티컬 플로우 정보로 계산한다.

일정 주기로 드론에서 촬영된 연속적 이미지간의 z축 회전량이 일정 수준 이하를 만족하는 경우, 추출된 카메라의 중심좌표 및 옵티컬 플로우 정보를 이용하여 두 장의 연속된 이미지의 회전각 정보를 계산하고, 연속된 영상에서 존재하는 지형지물의 3차원 위치정보를 계산할 수 있다.

드론에 장착된 카메라를 이용하여, 지형지물의 이미지를 취득하는 경우, 연속된 2장의 이미지를 이용하여 스테레오 영상으로 사용이 가능하다. 따라서 연속된 2장의 이미지에서 관심 지형지물의 3차원 위치정보 취득이 가능하다.

이 때, 카메라의 Z축(평면에서 수직인 축)의 회전각의 변화는 매우 짧은 시간(약 1/10초 이하) 동안 매우 작은 회전각의 변화가 있는 것으로 가정할 수 있고, 또한 드론가 촬영방향을 유지하면서 이동하는 경우, 순수 병진운동에 가까운 상태로 가정할 수 있다.

이 때, 순간적인 카메라의 회전각의 변화는 관심 지형지물의 옵티컬 플로우 정보를 이용하여 계산 가능하다.

옵티컬 플로우 정보를 계산하기 위해서는, 일정 주기마다 취득된 연속된 이미지간의 발생하는 회전각 변화 행렬 및 이미지간의 이격거리 정보가 필요하다.

이 때, 카메라는 순수 병진운동하는 것으로 가정하였으므로, cos(x) ≒ 1, sin(x) ≒ x, sin(x)sin(y) ≒ 0 값을 갖는 것으로 변경 가능하고, 두 장의 연속된 이미지가 촬영되는 순간에 드론의 진행방향은 거의 변경되지 않는 순수 병진 운동하는 것으로 가정하기 카메라의 Z축의 회전량은 0 에 가까운 것으로 가정하여 회전 행렬을 단순화하여, 실시간 계산 속도를 향상 시킬 수 있다. 이미지 촬영시에 Yaw(Z축), Pitch(Y축) Roll(X축) 로 카메라의 회전 움직임이 반영되어 이미지가 촬영된다.

모바일 장치가 순수 병진운동을 한다고 가정하면, 상대적인 카메라 프레임은 진행에 대해 방향각의 변화가 없으므로, Z축 회전각의 변화량을 ψ = 0 으로 가정할 수 있다. 또한 카메라 프레임의 X, Y 축의 회전량도 거의 0 에 가까운 것으로 가정할 수 있다.

따라서 옵티컬 플로우는 아래와 같은 수식을 따르며, 미지수는 ωy= θ, wx = ф 로 줄어든다. 여기에서 두 이미지의 초점 위치의 이동량은 (Tx, Ty, 이고, Z는 카메라의 높이이다. t, t-1 시간에 촬영된 이미지에 관심 물체의 이미지 좌표는 (u’, v’), (u, v)이다.

상기 식으로부터 상기 연속하여 수신된 이미지의 상대적 회전각의 변화량 ωy= θ, wx = ф를 구할 수 있게 된다.

1160 단계에서 지형지물 위치정보 갱신장치는 상기 연속하여 수신된 이미지간의 상대적 회전각 변화량 및 상기 카메라 평면 좌표 이동량을 이용하여 상기 검증 지형지물의 3차원 위치정보를 계산한다.

즉, 2D 타일 정보에 포함된 지형지물의 3차원 위치정보와 연속된 이미지의 회전각 및 카메라 중심좌표 이동량으로 계산된 동일 지형지물의 3차원 위치정보의 차이를 계산할 수 있다.

카메라의 외부 캘리브레이션 정보를 알게 되면, 관심 지형지물의 이미지 좌표에 대응되는 3차원 위치정보를 추출할 수 있다. 카메라의 외부 캘리브레이션 정보는 연속된 두 이미지상의 회전각의 차이 및 카메라 중심좌표 이동거리로 구성된다.

이중에서 회전각의 차이는 관심 지형지물의 광속흐름 정보를 이용하여 최소제곱법을 이용하여 추출 가능하고, 카메라 중심좌표 이동거리는 2D 타일맵의 서브그룹에 포함된 지형지물의 3차원 위치좌표를 이용하여 카메라 중심좌표를 취득하여, 카메라의 중심좌표 이동거리를 추출할 수 있다.

1170 단계에서 지형지물 위치정보 갱신장치는 상기 검증 지형지물에 대하여 계산된 위치정보와 상기 추출된 2차원 타일맵의 서브그룹에 포함된 검증 지형지물의 3차원 위치정보의 거리차가 일정 수준 이하인 경우, 상기 변경 지형지물 또는 신규 지형지물의 3차원 위치정보를 상기 2차원 타일맵에 업데이트한다.

즉, 현재 취득된 연속된 두장의 이미지에서 2D 타일맵에 포함된 검증 지형지물의 3차원 위치정보를 계산하여, 위치 정보의 정확도를 만족하는 경우, 2D 타일맵의 변경 지형지물 또는 신규 지형지물 위치정보를 갱신한다.

1170 단계에서는 1160 단계에서 계산된 검증 지형지물의 3차원 위치정보 정확도가 일정 수준을 만족하는지 검증하는 것을 포함한다.

수신된 2D 타일맵의 지형지물이 촬영된 연속된 두장의 이미지에 존재하는 검증 지형지물의 3차원 위치정보를 계산하고, 서버에서 수신한 2D 타일맵에 존재하는 위치정보와 비교하는 것이 바람직하다. 상기 비교를 통해, 일정 수준이상의 위치 정확도를 만족하는 경우, 기존의 2D 타일맵의 정보를 갱신하여 저장한다. 2D 타일맵의 정보를 갱신하는 것은 기존 지형지물의 변경 또는 삭제, 신규 지형지물의 위치정보를 추가하는 것을 포함한다.

본 발명의 실시예에 따르면, 지형지물의 변화 감지를 위한 방법으로 크라우드소싱(crowdsourcing) 방법을 활용할 수 있다. 크라우드소싱(crowdsourcing) 방법은 드론의 카메라를 이용하여 노선의 정보를 촬영하고, 촬영된 이미지를 분석하여 변화가 탐지된 실시간 지형지물 정보를 업데이트할 수 있게 한다. 다수의 드론로부터 수신한 2D 타일맵 정보를 취합함으로써, 타일맵 서버(20)에 저장된 2D 타일맵 정보를 정밀하게 수정할 수 있게 된다.

본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터,데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

상술한 모든 기능은 상기 기능을 수행하도록 코딩된 소프트웨어나 프로그램 코드 등에 따른 마이크로프로세서, 제어기, 마이크로제어기, ASIC(Application Specific Integrated Circuit) 등과 같은 프로세서에 의해 수행될 수 있다. 상기 코드의 설계, 개발 및 구현은 본 발명의 설명에 기초하여 당업자에게 자명하다고 할 것이다.

이상 본 발명에 대하여 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다. 따라서 상술한 실시 예에 한정되지 않고, 본 발명은 이하의 특허청구범위의 범위 내의 모든 실시 예들을 포함한다고 할 것이다.

Claims (9)

1. 3차원 지형지물 위치 정보를 이용한 드론의 위치 결정 방법으로서,
   상기 3차원 지형지물 위치 정보를 취득할 이미지 촬영 노선과 관련된 2차원 타일맵을 수신하는 단계;
   상기 이미지 촬영 노선의 이미지를 일정 주기로 수신하고, 외부에서 수신된 신호를 이용하여, 상기 이미지가 수신된 동일한 시간에 상기 드론이 위치한 2차원 평면좌표를 산출하는 단계;
   상기 수신된 이미지에 포함된 관심 지형지물을 분류하고, 상기 분류된 관심 지형지물간의 이미지 좌표를 이용하여, 상기 관심 지형지물의 시퀀스 정보를 추출하는 단계;
   상기 이미지에서 추출된 관심 지형지물의 시퀀스 정보와 상기 2차원 타입맵의 서브그룹에 포함된 지형지물의 시퀀스 정보가 일정수준 이상 일치하는 2차원 타일맵의 서브그룹을 1차 추출하는 단계;
   상기 산출된 드론의 2차원 평면좌표의 시간 t와 시간 t+1의 좌표값을 이용하여 상기 드론의 방향각을 계산하고, 상기 계산된 방향각과 상기 2차원 타일맵의 서브그룹의 방향각 차이가 일정 수준 이하를 만족하는 2D 타일맵 서브그룹을 2차 추출하는 단계; 및
   상기 2차 추출된 2D 타일맵 서브그룹에 포함된 지형지물의 평면 좌표 및 높이값을 이용하여 상기 이미지를 촬영한 카메라의 평면 좌표 및 높이값을 계산함으로써, 상기 드론의 위치를 계산하는 단계를 포함하고,
   상기 2차원 타일맵을 서브그룹은 상기 영상 촬영 노선의 방향각 정보를 포함하는 3차원 지형지물 위치 정보를 이용한 드론의 위치 결정 방법.
2. 제1 항에 있어서,
   상기 지형지물의 높이값 변화폭을 기준으로 상기 2차원 타일맵을 서브그룹으로 분할하여 저장하고, 상기 서브그룹은 2차원 평면좌표상의 방향각 정보를 포함하는 것을 특징으로 하는 3차원 지형지물 위치 정보를 이용한 드론의 위치 결정 방법.
3. 제1 항에 있어서,
   상기 카메라 평면 좌표 및 높이값을 계산할 때, 상기 2차 추출된 2차원 타일맵의 서브 그룹에 포함된 일정 수준 이상의 높이값을 갖는 상기 지형지물의 최상단의 평면 좌표 및 높이 정보를 이용하여 상기 수신된 이미지의 카메라 평면 좌표 및 높이값을 계산하는 것을 특징으로 하는 3차원 지형지물 위치 정보를 이용한 드론의 위치 결정 방법.
4. 제1 항에 있어서,
   상기 이미지의 속성정보로 상기 이미지의 카메라 평면 좌표 및 높이값을 저장하는 3차원 지형지물 위치 정보를 이용한 드론의 위치 결정 방법.
5. 3차원 지형지물 위치 정보를 이용한 드론에 있어서,
   상기 3차원 지형지물 위치 정보를 취득할 이미지 촬영 노선과 관련된 2차원 타일맵을 수신하는 타일맵 수신부;
   상기 이미지 촬영 노선의 이미지를 일정 주기로 수신하는 이미지 수신부;
   상기 수신된 이미지에 포함된 관심 지형지물을 분류하고, 상기 분류된 관심 지형지물간의 이미지 좌표를 이용하여, 상기 관심 지형지물의 시퀀스 정보를 추출하는 시퀀스 추출부;
   상기 이미지에서 추출된 관심 지형지물의 시퀀스 정보와 상기 2차원 타입맵의 서브그룹에 포함된 지형지물의 시퀀스 정보가 일정수준 이상 일치하는 2차원 타일맵의 서브그룹을 1차 추출하는 서브그룹 1차 결정부;
   외부에서 수신된 신호를 이용하여, 상기 이미지가 수신된 동일한 시간에 상기 드론가 위치한 2차원 평면좌표를 산출하고, 상기 산출된 드론의 2차원 평면좌표의 시간 t와 시간 t+1의 좌표값을 이용하여 상기 드론의 방향각을 계산하고, 상기 계산된 방향각과 상기 2차원 타일맵의 서브그룹의 방향각 차이가 일정 수준 이하를 만족하는 2D 타일맵 서브그룹을 2차 추출하는 서브그룹 2차 결정부; 및
   상기 2차 추출된 2D 타일맵 서브그룹에 포함된 지형지물의 평면 좌표 및 높이값을 이용하여 상기 이미지를 촬영한 카메라의 평면 좌표 및 높이값을 계산함으로써, 상기 드론의 위치를 계산하는 위치 계산부를 포함하는 3차원 지형지물 위치 정보를 이용하여 위치를 결정하는 드론.
6. 제5 항에 있어서,
   상기 지형지물의 높이값 변화폭을 기준으로 상기 2차원 타일맵을 서브그룹으로 분할하여 저장하고, 상기 서브그룹은 2차원 평면좌표상의 방향각 정보를 포함하는 것을 특징으로 하는 3차원 지형지물 위치 정보를 이용하여 위치를 결정하는 드론.
7. 제5 항에 있어서,
   상기 카메라의 평면 좌표 및 높이값을 계산할 때, 상기 2차 추출된 2차원 타일맵의 서브 그룹에 포함된 일정 수준 이상의 높이값을 갖는 상기 지형지물의 최상단의 평면 좌표 및 높이 정보를 이용하여 상기 수신된 이미지의 카메라 평면 좌표 및 높이값을 계산하는 것을 특징으로 하는 3차원 지형지물 위치 정보를 이용하여 위치를 결정하는 드론.
8. 제5 항에 있어서,
   상기 이미지의 속성정보로 상기 이미지의 카메라 평면 좌표 및 높이값을 저장하는 3차원 지형지물 위치 정보를 이용하여 위치를 결정하는 드론.
9. 제1 항 내지 제4 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images