KR101600862B1

KR101600862B1 - 복수의 uav를 이용한 스테레오 비전 시스템

Info

Publication number: KR101600862B1
Application number: KR1020140111487A
Authority: KR
Inventors: 서지원; 김진효; 권지욱
Original assignee: 연세대학교 산학협력단
Priority date: 2014-08-26
Filing date: 2014-08-26
Publication date: 2016-03-08
Also published as: KR20160024562A

Abstract

본 발명은 단일 촬영 수단이 장착된 복수의 UAV를 이용한 스테레오 비전 시스템 및 스테레오 비전 구현 방법에 관한 발명이다. 본 발명의 일 실시예에 따른 복수의 UAV를 이용한 스테레오 비전 시스템을, 표식물을 촬영하여 제1 표식물 정보를 생성하고 장애물을 포함하는 지상 영역을 촬영하여 제1 영상 정보를 생성하는 제1 UAV, 상기 표식물을 촬영하여 제2 표식물 정보를 생성하고 상기 장애물을 포함하는 지상 영역을 촬영하여 제2 영상 정보를 생성하는 제2 UAV 및 상기 제1 표식물 정보 및 상기 제2 표식물 정보를 바탕으로 상기 제1 UAV 와 상기 제2 UAV 사이의 거리인 베이스 라인 거리를 산출하고, 상기 제1 영상 정보, 상기 제2 영상 정보 및 상기 베이스 라인 거리를 바탕으로 상기 장애물의 깊이 정보를 도출하는 영상 처리 서버를 포함할 수 있으며, 상기 베이스 라인 거리는, 상기 제1 UAV의 위치 및 상기 제2 UAV 의 위치에 따라 가변적으로 변한다. 따라서 본 발명은 상기 제1 UAV 및 상기 제2 UAV의 위치를 조정함으로써 상기 베이스 라인 거리를 변경할 수 있고, 이에 따라서 상기 장애물의 깊이 정보를 도출하는 정확성을 일정하게 유지할 수 있다.

Description

복수의 UAV를 이용한 스테레오 비전 시스템 { STEREO VISION SYSTEM USING A PLURALITY OF UAV }

본 발명은 복수의 UAV(Unmanned Aerial Vehicle)를 이용한 스테레오 비전 시스템에 관한 것이다. 보다 자세하게는, 복수의 UAV에 장착된 단일의 카메라에서 촬영한 영상을 이용하여 스테레오 비전(stereo vision)을 구현하는 시스템에 관한 것이다.

무인 지상 차량 (UGV, Unmanned Ground Vehicle)과 무인 비행체(UAV, Unmanned Aerial Vehicle)를 포함한 지능형 무인 시스템은 수색 및 구조 임무와 군사 작전 등 다양한 애플리케이션에 활용 될 수 있다. 지상에서 임무를 수행하는 무인 지상 차량은 주변의 장애물을 감지하고 회피하기 위하여, RADAR, LIDAR, 비전 카메라와 같은 다양한 센서를 활용한다. 그러나, 이러한 센서들은 시야(line-of-sight)가 제한적이기 때문에, 장애물 뒤에 있는 물체를 인식 할 수 없다.

이러한 한계를 극복하기 위해, 무인 지상 차량에 비해 시야가 넓은 무인 비행체가 활용될 수 있다. 무인 지상 차량이 주행할 때, 무인 지상 차량의 상공에서 비행하는 무인 비행체가 무인 지상 차량 주변의 장애물을 탐색할 수 있다. 무인 비행체는 공중에서 지상을 바라볼 수 있기 때문에, 무인 지상 차량이 장애물에 의해서 시야가 제한되는 문제를 극복할 수 있다.

하지만 무인 비행체에 탑재되는 RADAR 등의 센서는 고가의 장비가 대부분이고, 비교적 저렴한 영상 센서를 이용하면 무인 시스템에서 지상의 장애물을 검출하는 데에 있어서 그 신뢰성이 부족하다.

이를 극복하기 위하여 거리 정보를 알 수 있는 스테레오 비전 시스템을 활용할 수 있으나, 스테레오 비전 시스템의 성능을 좌우하는 카메라 사이의 거리인 베이스 라인(baseline)의 길이가 무인 비행체의 촬영 고도에 비해 매우 짧으므로, 단일의 무인 비행체에 설치되는 복수의 카메라를 이용하는 스테레오 비전 시스템의 성능은 매우 제한적인 문제점이 있다.

한국공개특허 제2006-0085751호

본 발명이 해결하고자 하는 기술적 과제는 복수의 UAV에 설치된 단일 카메라에 의해 촬영된 영상을 이용하여 가변적인 베이스라인을 가지는 스테레오 비전을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 기술적 과제는 상기 스테레오 비전을 이용하여 지상의 장애물에 대한 깊이 지도(depth map)을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해 될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 태양에 따른 복수의 UAV를 이용한 스테레오 비전 시스템은, 표식물을 촬영하여 제1 표식물 정보를 생성하고 장애물을 포함하는 지상 영역을 촬영하여 제1 영상 정보를 생성하는 제1 UAV(Unmanned Aerial Vehicle), 상기 표식물을 촬영하여 제2 표식물 정보를 생성하고 상기 장애물을 포함하는 지상 영역을 촬영하여 제2 영상 정보를 생성하는 제2 UAV 및 상기 제1 표식물 정보 및 상기 제2 표식물 정보를 바탕으로 상기 제1 UAV 와 상기 제2 UAV 사이의 거리인 베이스 라인 거리를 산출하고, 상기 제1 영상 정보, 상기 제2 영상 정보 및 상기 베이스 라인 거리를 바탕으로 상기 장애물의 깊이 정보를 도출하는 영상 처리 서버를 포함할 수도 있고, 상기 베이스 라인 거리는, 상기 제1 UAV의 위치 및 상기 제2 UAV 의 위치에 따라 가변적으로 변하는 것이다.

일 실시예에 따르면, 상기 제1 UAV는, 상기 표식물을 촬영하여 상기 표식물이 포함된 상기 제1 표식물 정보를 생성하는 제1 표식물 촬영부, 상기 장애물이 포함하는 지상 영역을 촬영하여 상기 제1 영상 정보를 생성하는 제1 영상 촬영부 및 상기 제1 표식물 정보 및 상기 제1 영상 정보를 상기 영상 처리 서버로 전송하는 제1 전송부를 포함할 수도 있다.

일 실시예에 따르면, 상기 제2 UAV는, 상기 표식물을 촬영하여 상기 표식물이 포함된 상기 제1 표식물 정보를 생성하는 제2 표식물 촬영부, 상기 장애물이 포함하는 지상 영역을 촬영하여 상기 제1 영상 정보를 생성하는 제2 영상 촬영부 및 상기 제2 표식물 정보 및 상기 제2 영상 정보를 상기 영상 처리 서버로 전송하는 제2 전송부를 포함할 수도 있다.

일 실시예에 따르면, 상기 영상 처리 서버는, 상기 제1 표식물 정보, 상기 제1 영상 정보, 제2 표식물 정보 및 상기 제2 영상 정보를 수신하는 수신부, 상기 제1 표식물 정보 및 상기 제2 표식물 정보를 사전에 저장된 표식물 정보와 비교하여 상기 표식물을 원점으로 하는 상기 제1 UAV의 제1 좌표 및 상기 제2 UAV의 제2 좌표를 산출하는 위치 판단부 및 상기 제1 위치 및 상기 제2 위치를 바탕으로 산출된 상기 베이스 라인 거리, 상기 제1 영상 정보 및 상기 제2 영상 정보를 바탕으로 상기 장애물의 깊이 정보를 도출하는 스테레오 비전 처리부를 포함할 수도 있다.

일 실시예에 따르면, 상기 표식물이 상단에 설치되는 무인 지상 차량을 더 포함할 수도 있다.

상기 기술적 과제를 달성하기 위한 본 발명의 다른 태양에 따른 복수의 UAV를 이용한 스테레오 비전 시스템은, 표식물 및 장애물을 포함하는 지상 영역을 촬영하여 제1 영상 정보를 생성하는 제1 UAV, 상기 표식물 및 상기 장애물을 포함하는 지상 영역을 촬영하여 제2 영상 정보를 생성하는 제2 UAV 및 상기 제1 영상 및 제2 영상에 포함된 상기 표식물의 형태를 바탕으로 상기 제1 UAV 와 상기 제2 UAV 사이의 거리인 베이스 라인 거리를 산출하고, 상기 제1 영상 정보, 상기 제2 영상 정보 및 상기 베이스 라인 거리를 바탕으로 상기 장애물의 깊이 정보를 도출하는 영상 처리 서버를 포함할 수 있으며, 상기 베이스 라인 거리는, 상기 제1 UAV의 위치 및 상기 제2 UAV 의 위치에 따라 가변적으로 변하는 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 태양에 따른 복수의 UAV를 이용한 스테레오 비전 구현 방법은, 제1 UAV가 표식물을 촬영하여 상기 표식물을 포함하는 제1 표식물 정보를 생성하는 단계, 상기 제1 UAV가 장애물을 포함하는 지상 영역을 촬영하여 상기 지상 영역 을 포함하는 제1 영상 정보를 생성하는 단계, 상기 제1 UAV가 상기 제1 표식물 정보 및 상기 제1 영상 정보를 영상 처리 서버로 전송하는 단계, 제2 UAV가 표식물을 촬영하여 상기 표식물을 포함하는 제2 표식물 정보를 생성하는 단계, 상기 제2 UAV가 장애물을 포함하는 지상 영역을 촬영하여 상기 지상 영역을 포함하는 제2 영상 정보를 생성하는 단계, 상기 제2 UAV가 상기 제2 표식물 정보 및 상기 제2 영상 정보를 영상 처리 서버로 전송하는 단계, 상기 영상 처리 서버가 상기 제1 표식물 정보, 제1 영상 정보, 제2 표식물 정보 및 상기 제2 영상 정보를 수신하는 단계, 상기 영상 처리 서버가 상기 제1 표식물 정보 및 상기 제2 표식물 정보를 바탕으로, 상기 제1 UAV와 상기 제2 UAV 사이의 거리를 가리키는 베이스 라인 거리를 산출하는 단계 및 상기 영사 처리 서버가 상기 제1 영상 정보, 상기 제2 영상 정보 및 상기 베이스 라인 거리를 바탕으로 상기 장애물의 깊이 정보를 도출하는 단계를 포함할 수도 있다.

일 실시예에 따르면, 상기 베이스 라인 거리를 산출하는 단계는, 상기 제1 표식물 정보와 사전에 저장된 표식물의 정보를 비교하여 상기 표식물을 원점으로 하는 가상의 좌표계 상의 상기 제1 UAV의 제1 좌표를 산출하는 단계, 상기 제2 표식물 정보와 사전에 저장된 표식물의 정보를 비교하여 상기 표식물을 원점으로 하는 가상의 좌표계 상의 상기 제2 UAV의 제2 좌표를 산출하는 단계, 상기 제1 좌표와 상기 제2 좌표의 사이의 거리를 상기 베이스 라인 거리로 산출하는 단계를 포함할 수도 있다.

상기와 같은 본 발명에 따르면, 단일 카메라가 탑재된 UAV를 이용함으로써 가변적인 베이스 라인을 갖는 스테레오 비전 시스템을 구현할 수 있는 효과가 있다.

또한, 상기와 같은 본 발명에 따르면, 가변적인 베이스 라인을 갖는 스테레오 비전 시스템을 이용하여 지상의 장애물에 대한 정확한 깊이 지도(depth map)을 구현할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른, 복수의 UAV를 이용한 스테레오 비전 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른, 제1 UAV에서 생성된 제1 표식물 정보의 예시이다.
도 3은 본 발명의 일 실시예에 따른, 제2 UAV에서 생성된 제2 표식물 정보의 예시이다.
도 4는 본 발명의 일 실시예에 따른, 영상 처리 서버에서 제1 UAV와 제2 UAV의 위치를 판단하는 것을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른, 영상 처리 서버에서 장애물에 대한 깊이 정보를 생성하는 것을 설명하는 도면이다.
도 6은 본 발명의 다른 실시예에 따른, 제1 UAV에서 생성된 장애물과 표식물을 포함하는 제1 영상의 예시이다.
도 7은 본 발명의 다른 실시예에 따른, 제2 UAV에서 생성된 장애물과 표식물을 포함하는 제2 영상의 예시이다.
도 8은 본 발명의 일 실시예에 따른, 제1 UAV의 구성도이다.
도 9는 본 발명의 일 실시예에 따른, 제2 UAV의 구성도이다.
도 10은 본 발명의 일 실시예에 따른, 영상 처리 서버의 구성도이다.
도 11은 본 발명의 일 실시예에 따른, 복수의 UAV를 이용한 스테레오 비전 구형 방법의 신호 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

도 1은 본 발명의 일 실시예에 따른, 복수의 UAV를 이용한 스테레오 비전 시스템을 구성도이다.

도 1을 참조하여, 본 발명의 일 실시예에 따른 복수의 UAV를 이용한 스테레오 비전 시스템(100)의 각 구성에 대해서 자세하게 설명한다.

스테레오 비전이란 동일한 물체에 대해 다른 위치에서 얻어진 한 쌍의 입체 영상을 말한다. 인간이 두 개의 눈과 뇌에서 시각피질을 이용해 3차원 입체 공간을 인식하듯이, 공간적으로 나란히 떨어져 있는 두 개의 카메라를 가지고 동일한 한 쌍의 이미지 장면으로부터 스테레오 비전을 얻어 낼 수 있다. 스테레오 비전을 이용하면, 영상에 포함된 물체의 깊이(depth) 정보를 알 수 있다.

스테레오 비전 시스템에서 각 카메라 사이의 거리인 베이스 라인 길이에 따라 물체의 깊이를 산출하는 정확도가 달라질 수 있다. 스테레오 비전 시스템에서 상기 깊이를 산출하는 것은 삼각 함수를 이용할 수 있으며, 따라서 베이스 라인 길이가 길수록 더 깊은 곳에 있는 물체의 깊이를 산출할 수 있다.

본 발명의 일 실시예에 따르면, 지상의 영상을 촬영하는 단일 카메라가 장착된 복수의 UAV를 이용함으로써 가변적인 베이스 라인을 구현할 수 있다. 즉, 상기 복수의 UAV 사이의 거리가 베이스 라인이 될 수 있으므로, 상기 복수의 UAV의 위치에 따라서 베이스 라인이 결정될 수 있다. 상기 복수의 UAV의 비행 고도가 높아지더라도 상기 베이스 라인을 가변적으로 변경할 수 있으므로 스테레오 비전을 이용한 깊이 산출의 정확도가 유지될 수 있다.

본 발명의 일 실시예에 따른, 복수의 UAV를 이용한 스테레오 비전 시스템(100)은 제1 UAV(110), 제2 UAV(120), 무인 지상 차량(130) 및 영상 처리 서버(160)를 포함할 수 있다.

제1 UAV(110) 및 제2 UAV(120)는 헬리콥터(helicopter) 또는 멀티콥터(multicopter)를 포함할 수 있다. 상기 멀티콥터는 복수의 모터와 프로펠러를 가진 비행체를 가리킨다. 멀티콥터는 3개의 프로펠러를 가진 트리콥터, 4개의 프로펠러를 가진 쿼드콥터, 6개의 프로펠러를 가진 헥사콥터를 포함할 수 있다.

본 발명의 일 실시예에 따른 무인 지상 차량(UGV, 130)은 운전자 없이 자율 주행이 가능한 차량일 수 있다. 무인 지상 차량(130)의 상단에는 표식물(135)을 부착되어 있을 수 있다. 표식물(135)은 제1 UAV(110) 및 제2 UAV(120)의 위치를 판단할 때 사용된다.

예를 들어서, 표식물(135)은 기하학적 모양을 가지는 평면 그림일 수 있지만, 이것은 예시에 불과하면 이에 한정되지는 않는다.

본 발명의 일 실시예에 따른 제1 UAV(110) 에는 제1 표식물 촬영부(112) 및 제1 영상 촬영부(114)가 구비되어 있을 수 있다.

제1 표식물 촬영부(112)는 무인 지상 차량(130)의 상단에 부착된 표식물(135)을 포함하는 영상을 촬영한다. 제1 표식물 촬영부(112)는 제1 UAV(110)의 위치가 바뀌더라도, 표식물(135)을 계속적으로 트래킹하면서 촬영할 수 있다.

제1 UAV(110)는 제1 표식물 촬영부(112)에 의해서 촬영된 상기 영상에서 표식물(135)을 나타내는 부분을 포함하는 제1 표식물 정보를 생성할 수 있다.

상기 생성된 제1 표식물 정보는 영상 처리 서버(160)에 전송될 수 있다. 상기 전송은 실시간 또는 사전에 정해진 일정 주기 마다 이루어질 수 있다.

제1 영상 촬영부(114)는 장애물(140)이 포함된 지상 영역을 촬영할 수 있다. 상기 촬영된 지상 영역은 무인 지상 차량(130)이 주행할 지상의 영역을 포함할 수 있다. 제1 UAV(110)는 무인 지상 차량(130)의 상공에서 비행하므로, 제1 영상 촬영부(114)는 무인 지상 차량(130)의 전방의 넓은 영역을 촬영 할 수 있다.

제1 UAV(110)는 제1 영상 촬영부(114)에 의해서 촬영된 상기 지상 영역을 포함하는 제1 영상 정보를 생성할 수 있다. 상기 제1 영상 정보는 상기 지상 영역을 촬영한 장치의 촬영 정보를 포함할 수 있다. 상기 촬영 정보는 촬영 각도, 조리개 설정, 줌 설정 및 셔터 속도를 포함할 수 있지만, 이것은 예시에 불과하면 이에 한정되지는 않는다.

상기 생성된 제1 영상 정보는 영상 처리 서버(160)에 전송될 수 있다. 상기 전송은 실시간 또는 사전에 정해진 일정 주기 마다 이루어질 수 있다.

본 발명의 일 실시예에 따른 제2 UAV(120) 에는 제2 표식물 촬영부(122) 및 제2 영상 촬영부(124)가 구비되어 있을 수 있다.

제2 표식물 촬영부(122)는 무인 지상 차량(130)의 상단에 부착된 표식물(135)을 포함하는 영상을 촬영한다. 제2 표식물 촬영부(122)는 제2 UAV(120)의 위치가 바뀌더라도, 표식물(135)을 계속적으로 트래킹하면서 촬영할 수 있다.

제2 UAV(120)는 제2 표식물 촬영부(122)에 의해서 촬영된 상기 영상에서 표식물(135)을 나타내는 부분을 포함하는 제2 표식물 정보를 생성할 수 있다.

상기 생성된 제2 표식물 정보는 영상 처리 서버(160)에 전송될 수 있다. 상기 전송은 실시간 또는 사전에 정해진 일정 주기 마다 이루어질 수 있다.

제2 영상 촬영부(124)는 장애물(140)이 포함된 지상 영역을 촬영할 수 있다. 상기 촬영된 지상 영역은 무인 지상 차량(130)이 주행할 지상의 영역을 포함할 수 있다. 제2 UAV(120)는 무인 지상 차량(130)의 상공에서 비행하므로, 제2 영상 촬영부(124)는 무인 지상 차량(130)의 전방의 넓은 영역을 촬영 할 수 있다.

제2 UAV(120)는 제2 영상 촬영부(124)에 의해서 촬영된 상기 지상 영역을 포함하는 제2 영상 정보를 생성할 수 있다. 상기 제2 영상 정보는 상기 지상 영역을 촬영한 장치의 촬영 정보를 포함할 수 있다. 상기 촬영 정보는 촬영 각도, 조리개 설정, 줌 설정 및 셔터 속도를 포함할 수 있지만, 이것은 예시에 불과하면 이에 한정되지는 않는다.

상기 생성된 제2 영상 정보는 영상 처리 서버(160)에 전송될 수 있다. 상기 전송은 실시간 또는 사전에 정해진 일정 주기 마다 이루어질 수 있다.

제1 UAV(110) 및 제2 UAV(120)는 영상 처리 서버(160)와 무선으로 통신할 수 있다. 상기 무선 통신은 3G, LTE(Long Term Evolution), LTE-A, WiFi 및 블루투스(Bluetooth) 중에서 어느 하나를 포함할 수 있지만, 이는 예시에 불과하며 이에 한정되지는 않는다.

영상 처리 서버(160)는 상기 제1 표식물 정보, 제1 영상 정보, 제2 표식물 정보 및 제2 영상 정보를 수신하여, 스테레오 비전 처리를 수행한다.

이하 설명의 편의를 위하여, 상기 제1 영상 정보 및 상기 제2 영상 정보에는 무인 지상 차량(130)의 전방에 위치한 장애물(150)이 포함된 것으로 가정하고 설명한다.

영상 처리 서버(160)는 상기 제1 표식물 정보 및 상기 제2 표식물 정보를 바탕으로 제1 UAV(110)의 위치 및 제2 UAV(120)의 위치를 판단할 수 있다. 상기 제1 표식물 정보 및 상기 제2 표식물 정보에는 상기 표식물(135)의 형상이 왜곡되어 촬영되어 있을 수 있다. 영상 처리 서버(160)는 표식물(135)의 상기 왜곡된 형상과 표식물(135)의 원본 형상을 비교하여 제1 UAV(110) 및 제2 UAV(120)의 위치를 판단할 수 있다. 상기 판단된 제1 UAV(110) 및 제2 UAV(120)의 위치는 무인 지상 차량(130)을 원점으로 하는 가상의 좌표계 상의 좌표일 수 있다.

영상 처리 서버(160)는 판단된 제1 UAV(110)의 위치 및 제2 UAV(120)의 위치를 바탕으로 스테레오 비전 처리를 위해 필요한 베이스 라인 길이를 산출할 수 있다. 본 발명의 일 실시예에 따르면, 상기 베이스 라인 길이는 제1 UAV(110)와 제2 UAV(120) 사이의 거리이다. 상기 베이스 라인 길이는 상기 제1 UAV(110)의 위치와 상기 제2 UAV(120)의 위치를 바탕으로 산출될 수 있다.

영상 처리 서버(160)는 상기 산출된 베이스 라인 길이와 상기 수신된 제1 영상 정보 및 제2 영상 정보를 이용하여, 스테레오 비전을 처리할 수 있다.

본 발명의 일 실시예에 따르면, 상기 제1 영상 정보 및 제2 영상 정보에 포함된 지상 영역과 촬영 정보를 바탕으로 상기 산출된 베이스 라인 길이를 이용하여 상기 지상 영역에 포함된 장애물(150)의 깊이 정보를 도출할 수 있다.

영상 처리 서버(160)는 상기 도출된 깊이 정보를 바탕으로, 상기 지상 영역에 대한 깊이 지도(depth map)을 생성할 수 있다. 상기 깊이 지도는 상기 지상 영역에 포함된 오브젝트들에 대한 깊이 정보를 포함하는 영상 정보이다.

본 발명의 일 실시예에 따른, 상기 베이스 라인 길이 산출과 장애물(150)의 깊이 정보 도출은 도2 내지 도4의 설명에서 자세하게 다루므로 설명의 중복을 피하기 위해서 생략하기로 한다.

본 발명의 일 실시예에 따르면, 영상 처리 서버(160)는 무인 지상 차량(130)으로부터 원거리에 위치할 수 있다. 영상 처리 서버(160)와 무인 지상 차량(130)은 무선 통신할 수 있다. 상기 무선 통신은 3G, LTE(Long Term Evolution), LTE-A, WiFi 및 블루투스(Bluetooth) 중에서 어느 하나를 포함할 수 있지만, 이는 예시에 불과하며 이에 한정되지는 않는다.

영상 처리 서버(160)가 상기 생성된 깊이 지도를 무인 지상 차량(130)에 전송할 수 있다.

무인 지상 차량(130)은 상시 깊이 지도를 수신하여, 주행 경로를 결정할 때 이용할 수 있다. 무인 지상 차량(130)은 전방에 시야를 가로막는 벽(140)이 있는 경우, 벽(140)의 뒤쪽에 있는 장애물을 스스로 인식할 수 없다. 무인 지상 차량(130)은 상기 수신된 깊이 지도를 이용하여, 벽(140) 뒤에 있는 장애물(150)을 인식하고, 상기 깊이 지도에 포함된 장애물(150)의 깊이 정보를 이용하여 장애물(140)을 회피하는 주행 경로를 설정할 수 있다.

도 2는 본 발명의 일 실시예에 따른, 제1 UAV에서 생성된 제1 표식물 정보의 예시이고, 도 3은 본 발명의 일 실시예에 따른, 제2 UAV에서 생성된 제2 표식물 정보의 예시이다.

도 2 내지 도3을 참조하여, 본 발명의 일 실시예에 따른 제1 UAV(110) 및 제2 UAV(120)에 의해서 생성되는 제1 표식물 정보(200) 및 제2 표식물 정보(300)에 대해서 자세하게 설명한다.

도 2는 제1 UAV(110)의 제1 표식물 촬영부에서 표식물(135)을 포함하는 영상을 촬영하고 표식물(135) 부분을 추출한 제1 표식물 정보(200)를 나타낸다. 이하에서, 설명의 편의를 위하여 표식물(135)은 ‘田’형태라고 가정한다.

영상 처리 서버(160)는 제1 표식물 정보(200)를 바탕으로 표식물(135)의 형태 변화를 측정할 수 있다. 공중에서 ‘田’형태의 표식물(135)을 촬영하는 경우 수직 방향에서 촬영하지 않는 이상 ‘田’형태에 왜곡이 발생하게 된다. 영상 처리 서버(160)는 상기 왜곡이 발생한 정도와 원본 형태를 비교하면, 상기 제1 표식물 정보(200)에 포함된 표식물(135)을 촬영한 지점까지의 거리와 방향을 판단할 수 있다.

예를 들어서, 상기 제1 표식물 정보(200)에 포함된‘田’형태의 변의 길이 ℓ1, ℓ2를 측정하여 원본 ‘田’의 변의 길이와 비교하면 표식물(135)을 촬영한 지점까지의 거리를 도출할 수 있다. 상기 제1 표식물 정보(200)에 포함된 ‘田’형태의 마주보는 변이 형성하는 각도인 θ1, θ2를 측정하여, 이를 바탕으로 표식물(135)을 촬영한 지점의 각도를 도출할 수 있다. 상기 각도는 표식물(135)을 원점으로 하는 좌표계에서 상대적인 방향각일 수 있다.

도 3은 제2 UAV(120)의 제2 표식물 촬영부에서 표식물(135)을 포함하는 영상을 촬영하고 표식물(135) 부분을 추출한 제2 표식물 정보(300)를 나타낸다.

영상 처리 서버(160)는 상기 제1 표식물 정보(200)를 바탕으로 판단한 것과 동일하게, 제2 표식물 정보(300)를 바탕으로 표식물(135)의 형태 변화를 측정하여 상기 제2 표식물 정보(300)에 포함된 표식물(135)을 촬영한 지점을 도출할 수 있다.

예를 들어서, 영상 처리 서버(160)는 상기 제2 표식물 정보(300)에 포함된‘田’형태의 변의 길이 ℓ3, ℓ4를 측정하여 표식물(135)을 촬영한 지점까지의 거리를 도출할 수 있다. 상기 제2 표식물 정보(300)에 포함된 ‘田’형태의 마주보는 변이 형성하는 각도인 θ3, θ4를 측정하여, 이를 바탕으로 표식물(135)을 촬영한 지점의 각도를 도출할 수 있다. 상기 각도는 표식물(135)을 원점으로 하는 좌표계에서 상대적인 방향각일 수 있다.

도2 내지 도3에 도시된 제1 표식물 정보(200) 및 제2 표식물 정보(300)를 바탕으로 표식물(135)을 촬영한 지점을 판단하는 구체적인 방법은 한국공개특허 제1316524호에 개시된 기술 구성을 이용할 수 있지만, 이는 예시에 불과하며 이에 한정되지는 않는다.

표식물(135)의 형태가 ‘田’인 것은 예시에 불과하며, 이에 한정되지는 않는다. 표식물(135)의 형태가 ‘田’가 아닌 경우에도 표식물(135)의 형태의 왜곡 정도를 바탕으로, 촬영한 지점의 거리와 방향을 판단하는 방법은 동일할 수 있다.

도 4는 본 발명의 일 실시예에 따른, 영상 처리 서버에서 제1 UAV와 제2 UAV의 위치를 판단하는 것을 설명하는 도면이다.

도 4를 참조하여, 본 발명의 일 실시예에 따른 영상 처리 서버(160)가 상기 제1 표식물 정보 및 상기 제2 표식물 정보를 바탕으로 제1 UAV(110) 및 제2 UAV(120)의 위치를 판단하는 것을 자세하게 설명한다.

도2 내지 도3의 설명과 같이, 영상 처리 서버(160)는 제1 표식물 정보 및 제2 표식물 정보를 바탕으로 표식물(135)을 원점으로 하는 가상의 좌표계에서 제1 UAV(110)와의 거리 R1과 방향각 T1을 도출할 수 있고, 제2 UAV(120)와의 거리 R2와 방향각 T2를 도출할 수 있다.

상기 R1 및 T1을 바탕으로 제1 UAV(110)의 위치 좌표(x1, y1, z1)를 도출할 수 있다. 상기 R2 및 T2를 바탕으로 및 제2 UAV(120)의 위치 좌표(x2, y2, z2)를 도출할 수 있다.

제1 UAV(110)의 위치 좌표(x1, y1, z1)와 제2 UAV(120)의 위치 좌표(x2, y2, z2)를 바탕으로 벡터 연산을 적용하면, 제1 UAV(110)와 제2 UAV(120) 사이의 거리 R12 및 상대 방위각 T12를 산출할 수 있다.

예를 들어서, 거리 R12는 수식

을 이용하여 산출할 수 있다.

본 발명의 일 실시예에 따르면, 제1 UAV(110)와 제2 UAV(120) 사이의 거리 R12는 스테레오 비전 처리를 위한 베이스 라인 길이(B) 일 수 있다. 스테레오 비전 처리를 위해서는 촬영 장치 사이의 거리인 베이스 라인 길이 정보가 필요하다. 본 발명의 일 실시예에 따른 영상 처리 서버(160)는 제1 UAV(110) 및 제2 UAV(120)에서 촬영된 제1 영상 정보 및 제2 영상 정보를 이용하여 스테레오 비전을 처리한다. 따라서, 거리 R12는 베이스 라인 길이(B)가 될 수 있다.

도 5는 본 발명의 일 실시예에 따른, 영상 처리 서버에서 장애물에 대한 깊이 정보를 생성하는 것을 설명하는 도면이다.

도 5를 참조하여, 본 발명의 일 실시예에 따른 영상 처리 서버가 상기 산출된 베이스 라인(B)을 바탕으로 영상 정보에 포함된 장애물(150)의 깊이 정보(di)를 도출하는 것을 자세하게 설명한다.

본 발명의 일 실시예에 따른 영상 처리 서버(160)는 도4의 설명에서 산출된 베이스 라인 길이(B), 제1 UAV(110)로부터 수신한 제1 영상 정보 및 제2 UAV(120)로부터 수신한 제2 영상 정보를 바탕으로 스테레오 비전 처리를 수행할 수 있다. 상기 스테레오 비전 처리는 영상 정보에 포함된 오브젝트에 대한 깊이 정보를 도출하는 것을 포함할 수 있다.

본 발명의 일 실시예에 따른 영상 처리 서버(160)는 상기 제1 영상 정보 및 제2 영상 정보에 공통적으로 포함된 장애물(150)의 깊이 정보를 스테레오 비전 처리를 통해서 도출한다.

상기 제1 영상 정보 및 제2 영상 정보는 각 지상 영역을 촬영 할 때의 촬영 각도를 포함한다.

영상 처리 서버(160)는 상기 베이스 라인 길이(B)와 상기 촬영 각도를 이용하여 상기 제1 영상 정보 및 제2 영상 정보에 공통적으로 포함된 장애물(150)의 깊이 정보(di)를 도출할 수 있다.

예를 들어서, 제1 영상 정보에 포함된 촬영 각도가 φ1이고, 제2 영상 정보에 포함된 촬영 각도가 φ2이다. φ1, φ2 및 베이스 라인 길이(B)를 코사인 제2 법칙에 적용하면, 제1 UAV(110)와 장애물(150)과의 거리인 d1, 제1 UAV(110)와 장애물(150)과의 거리인 d2가 도출된다. 장애물(150)의 깊이 정보(di)는, 장애물(150)을 지나는 가상의 직선과 제1 UAV(110)와 제2 UAV(120)를 연결하는 가상의 직선이 만나는 지점(510)으로부터 장애물(150)까지의 거리라고 정의할 수 있다. 깊이 정보(di)는 d1, φ1 및 피타고라스 정리를 이용하면 도출될 수 있다. 즉 깊이 정보(di)는

이다.

위에서 설명한 깊이 정보(di)를 도출하는 것은 하나의 예시에 불과하면 이에 한정되지는 않는다. 스테레오 비전 처리를 통한 깊이 정보를 도출하는 것은 공지의 기술에 해당하므로 중복된 설명을 방지하기 위하여 생략하기로 한다.

영상 처리 서버(160)는 깊이 정보(di)를 도출되지 않는 경우, 깊이 정보(di)가 도출될 때까지, 제1 UAV(110) 및 제2 UAV(120)에 이동 제어 명령을 전송할 수 있다. 제1 UAV(110) 및 제2 UAV(120)의 위치가 바뀌면, 베이스 라인 길이(B)도 조정된다. 베이스 라인 길이(B)가 길수록, 더 멀리 있는 장애물(150)까지의 깊이 정보(di)를 측정할 수 있다.

도 6은 본 발명의 다른 실시예에 따른, 제1 UAV에서 생성된 장애물과 표식물을 포함하는 제1 영상의 예시이고, 도 7은 본 발명의 다른 실시예에 따른, 제2 UAV에서 생성된 장애물과 표식물을 포함하는 제2 영상의 예시이다.

도 6 내지 도7을 참조하여, 본 발명의 다른 실시예에 따른, 제1 UAV(110) 및 제2 UAV(120)에서 단일 카메라를 이용하여 표식물(135)과 장애물(150)을 포함하는 제1 영상 정보 및 제2 영상 정보를 생성하는 것을 자세하게 설명한다.

본 발명의 다른 실시예에 따르면, 제1 UAV(110)는 제1 영상 촬영부(114)가 표식물(610)과 지상 영역을 모두 포함하는 제1 영상 정보(600)를 생성할 수 있다. 제2 UAV(120)는 제2 영상 촬영부(124)가 표식물(610)과 지상 영역을 모두 포함하는 제1 영상 정보(700)를 생성할 수 있다.

본 발명의 다른 실시예에 따른, 영상 처리 서버(160)는 제1 영상 정보(600)에서 제1 표식물 정보를 추출할 수 있고, 제2 영상 정보(700)에서 제2 표식물 정보를 추출하여 스테레오 비전 처리에 사용할 수 있다.

도 8은 본 발명의 일 실시예에 따른, 제1 UAV의 구성도이다.

도 8을 참조하여, 본 발명의 일 실시예에 따른 제1 UAV(110)의 구성을 자세하게 설명한다.

본 발명의 일 실시예에 따른 제1 UAV(110)는 제1 표식물 촬영부(112), 제1 표식물 정보 생성부(116), 제1 영상 촬영부(114), 제1 영상 정보 생성부(117) 및 제1 전송부(119)를 포함할 수 있다.

제1 표식물 촬영부(112)는 표식물(135)을 트래킹하면서 촬영할 수 있다. 제1 표식물 촬영부(112)는 촬영 수단을 포함할 수 있다. 예를 들어서, 상기 촬영 수단은 카메라 장치, 비디오 촬영 장치 중에서 어느 하나를 포함할 수 있지만, 이에 한정되는 것은 아니다.

제1 표식물 촬영부(112)는 제1 UAV(110)의 위치가 바뀌어도 표식물(135)을 트래킹 하면서 촬영하기 위하여 상기 촬영 수단의 촬영 방향을 제어할 수 있다.

제1 표식물 촬영부(112)는 상기 촬영 수단에 의해 촬영된 표식물(135)을 포함하는 제1 촬영 이미지를 제1 표식물 정보 생성부(116)에 제공할 수 있다.

제1 표식물 정보 생성부(116)는 상기 제공 받은 제1 촬영 이미지를 포함하는 제1 표식물 정보를 생성할 수 있다. 제1 표식물 정보 생성부(116)는 상기 생성된 제1 표식물 정보를 제1 전송부(119)에 제공할 수 있다.

제1 영상 촬영부(114)는 제1 UAV(110)의 아래 방향에 있는 지상 영역을 촬영할 수 있다. 제1 영상 촬영부(114)는 촬영 수단을 포함할 수 있다. 예를 들어서, 상기 촬영 수단은 카메라 장치, 비디오 촬영 장치 중에서 어느 하나를 포함할 수 있지만, 이에 한정되는 것은 아니다.

제1 영상 촬영부(114)는 지상의 장애물을 포함하는 지상 영역을 촬영할 수 있다. 제1 영상 촬영부(114)는 상기 촬영된 지상 영역 및 상기 지상 영역을 촬영할 때의 상기 촬영 속성값을 포함하는 촬영 정보를 제1 영상 정보 생성부(117)에 제공할 수 있다. 상기 촬영 속성값은 상기 촬영 수단의 촬영 방향 각도, 상기 촬영 수단의 셔터 속도, 상기 촬영 수단의 조리개 값 및 상기 촬영 수단의 줌 설정을 포함할 수 있지만, 이에 한정되는 것은 아니다.

제1 영상 정보 생성부(117)는 상기 제공 받은 지상 영역 및 촬영 정보를 포함하는 제1 영상 정보를 생성할 수 있다. 제1 영상 정보 생성부(117)는 상기 생성된 제 영상 정보를 제1 전송부(119)에 제공할 수 있다.

제1 전송부(119)는 상기 제공 받은 제1 표식물 정보 및 제1 영상 정보를 영상 처리 서버(160)에 전송할 수 있다.

제1 전송부(119)는 3G, LTE, LTE-A, WiFi 및 블루투스 중에서 어느 하나의 통신 방식을 이용하여 전송할 수 있지만, 이에 한정되는 것은 아니다.

도 9는 본 발명의 일 실시예에 따른, 제2 UAV의 구성도이다.

도 9를 참조하여, 본 발명의 일 실시예에 따른 제2 UAV(120)의 구성을 자세하게 설명한다.

본 발명의 일 실시예에 따른 제2 UAV(120)는 제2 표식물 촬영부(122), 제2 표식물 정보 생성부(126), 제2 영상 촬영부(124), 제2 영상 정보 생성부(127) 및 제2 전송부(129)를 포함할 수 있다.

제2 표식물 촬영부(122)는 표식물(135)을 트래킹하면서 촬영할 수 있다. 제2 표식물 촬영부(122)는 촬영 수단을 포함할 수 있다. 예를 들어서, 상기 촬영 수단은 카메라 장치, 비디오 촬영 장치 중에서 어느 하나를 포함할 수 있지만, 이에 한정되는 것은 아니다.

제2 표식물 촬영부(122)는 제2 UAV(120)의 위치가 바뀌어도 표식물(135)을 촬영하기 위하여 상기 촬영 수단의 촬영 방향을 제어할 수 있다.

제2 표식물 촬영부(122)는 상기 촬영 수단에 의해 촬영된 표식물(135)을 포함하는 제2 촬영 이미지를 제2 표식물 정보 생성부(126)에 제공할 수 있다.

제2 표식물 정보 생성부(126)는 상기 제공 받은 제2 촬영 이미지를 포함하는 제2 표식물 정보를 생성할 수 있다. 제2 표식물 정보 생성부(126)는 상기 생성된 제2 표식물 정보를 제2 전송부(129)에 제공할 수 있다.

제2 영상 촬영부(124)는 제2 UAV(120)의 아래 방향에 있는 지상 영역을 촬영할 수 있다. 제2 영상 촬영부(124)는 촬영 수단을 포함할 수 있다. 예를 들어서, 상기 촬영 수단은 카메라 장치, 비디오 촬영 장치 중에서 어느 하나를 포함할 수 있지만, 이에 한정되는 것은 아니다.

제2 영상 촬영부(124)는 지상의 장애물을 포함하는 지상 영역을 촬영할 수 있다. 제2 영상 촬영부(124)는 상기 촬영된 지상 영역 및 상기 지상 영역을 촬영할 때의 상기 촬영 속성값을 포함하는 촬영 정보를 제2 영상 정보 생성부(127)에 제공할 수 있다. 상기 촬영 속성값은 상기 촬영 수단의 촬영 방향 각도, 상기 촬영 수단의 셔터 속도, 상기 촬영 수단의 조리개 값 및 상기 촬영 수단의 줌 설정을 포함할 수 있지만, 이에 한정되는 것은 아니다.

제2 영상 정보 생성부(127)는 상기 제공 받은 지상 영역 및 촬영 정보를 포함하는 제2 영상 정보를 생성할 수 있다. 제2 영상 정보 생성부(127)는 상기 생성된 제 영상 정보를 제2 전송부(129)에 제공할 수 있다.

제2 전송부(129)는 상기 제공 받은 제2 표식물 정보 및 제2 영상 정보를 영상 처리 서버(160)에 전송할 수 있다.

제2 전송부(129)는 3G, LTE, LTE-A, WiFi 및 블루투스 중에서 어느 하나의 통신 방식을 이용하여 전송할 수 있지만, 이에 한정되는 것은 아니다.

도 10은 본 발명의 일 실시예에 따른, 영상 처리 서버의 구성도이다.

도 10을 참조하여, 본 발명의 일 실시예에 따른 영상 처리 서버(160)의 구성을 자세하게 설명한다.

본 발명의 일 실시예에 따른 영상 처리 서버(160)는 수신부(162), 위치 판단부(164) 및 스테레오 비전 처리부(166)를 포함할 수 있다.

수신부(162)는 제1 UAV(110) 로부터 제1 표식물 정보 및 제1 영상 정보를 수신할 수 있다. 수신부(162)는 제2 UAV(120) 로부터 제2 표식물 정보 및 제2 영상 정보를 수신할 수 있다.

수신부(162)는 상기 수신한 제1 표식물 정보 및 제2 표식물 정보를 위치 판단부(164)에 제공할 수 있다. 수신부(162)는 상기 수신한 제1 영상 정보 및 제2 영상 정보를 스테레오 비전 처리부(166)에 제공할 수 있다.

위치 판단부(164)는 상기 제공 받은 제1 표식물 정보 및 제2 표식물 정보를 바탕으로 제1 UAV(110) 및 제2 UAV(120)의 위치 정보를 도출할 수 있다. 상기 위치 정보는 표식물(135)을 원점으로 하는 가상의 좌표계의 좌표일 수 있다.

위치 판단부(164)는 상기 제1 표식물 정보 및 제2 표식물 정보에 포함된 표식물 형태와, 사전에 저장된 표식물(135)의 원본 형태를 비교하여, 상기 제1 표식물 정보 및 제2 표식물 정보에 포함된 영상이 촬영된 지점의 위치를 도출할 수 있다.

위치 판단부(164)는 상기 도출된 위치를 바탕으로 제1 UAV(110)의 위치 좌표 및 제2 UAV(120)의 위치 좌표를 도출할 수 있다.

위치 판단부(164)는 상기 제1 UAV(110)의 위치 좌표 및 제2 UAV(120)의 위치 좌표를 바탕으로, 제1 UAV(110)와 제2 UAV(120) 사이의 거리인 베이스 라인 길이를 도출할 수 있다.

위치 판단부(164)는 상기 도출된 베이스 라인 길이를 스테레오 비전 처리부(166)에 제공할 수 있다.

스테레오 비전 처리부(166)는 상기 베이스 라인 길이, 제1 영상 정보 및 제2 영상 정보를 바탕으로 스테레오 비전 처리를 수행할 수 있다. 스테레오 비전 처리부(166)는 상기 스테레오 비전 처리를 통해서, 상기 제1 영상 정보 및 제2 영상 정보에 포함된 장애물의 깊이 정보를 산출한다.

스테레오 비전 처리부(166)는 상기 제1 영상 정보 및 제2 영사 정보에 포함된 촬영 정보와 상기 베이스 라인 길이를 이용하여 상기 깊이 정보를 산출할 수 있다. 예를 들어서, 상기 촬영 정보에 포함된 촬영 각도와 상기 베이스 라인 길이를 코사인 법칙에 적용하여 상기 깊이 정보를 산출할 수 있다.

스테레오 비전 처리부(166)는 상기 제1 영상 정보 및 제2 영상 정보에 포함된 각 장애물에 대한 깊이 정보를 산출하고, 상기 산출된 모든 깊이 정보를 포함하는 깊이 지도(depth map)을 생성할 수 있다.

스테레오 비전 처리부(166)는 상기 생성된 깊이 지도를 무인 지상 차량(130)에 제공할 수 있다. 무인 지상 차량은 상기 깊이 지도를 바탕으로 상기 장애물을 회피하는 주행 경로를 설정할 수 있다.

도 11은 본 발명의 일 실시예에 따른, 복수의 UAV를 이용한 스테레오 비전 시스템의 구성 간의 신호 흐름도이다.

도 11을 참조하여, 본 발명의 일 실시예에 따른 복수의 UAV를 이용한 스테레오 비전 시스템(100)을 구성하는 제1 UAV(110), 제2 UAV(120) 및 영상 처리 서버(160) 사이의 신호 흐름을 자세하게 설명한다.

제1 UAV(110)는 표식물(135)을 촬영한다(S910). 제1 UAV(110)는 표식물(135)을 계속적으로 트랙킹하면서 촬영할 수 있다.

제1 UAV(110)는 상기 촬영된 표식물(135)을 포함하는 제1 표식물 정보를 생성한다(S915). 상기 제1 표식물 정보는, 표식물(135)이 포함된 영상 정보 및 표식물(135)을 촬영할 때의 촬영 정보를 포함할 수 있다.

제1 UAV(110)는 지상 영역을 촬영한다(S920). 상기 지상 영역은 장애물(150)을 포함할 수 있다. 상기 지상 영역은 제1 UAV(110) 아래쪽 영역일 수 있다.

제1 UAV(110)는 상기 지상 영역을 포함하는 제1 영상 정보를 생성한다(S925). 상기 제1 영상 정보는 상기 지상 영역을 촬영한 영상 정보 및 상기 지상 영역을 촬영할 때의 촬영 정보를 포함할 수 있다.

제1 UAV(110)는 상기 제1 표식물 정보 및 제1 영상 정보를 영상 처리 서버(160)에 전송한다(S930). 상기 전송을 3G, LTE, LTE-A, WiFi 또는 블루투스 중에서 어느 하나를 이용한 무선 통신 방식으로 전송될 수 있다.

제2 UAV(120)는 표식물(135)을 촬영한다(S940). 제2 UAV(120)는 표식물(135)을 계속적으로 트랙킹하면서 촬영할 수 있다.

제2 UAV(120)는 상기 촬영된 표식물(135)을 포함하는 제2 표식물 정보를 생성한다(S945). 상기 제2 표식물 정보는, 표식물(135)이 포함된 영상 정보 및 표식물(135)을 촬영할 때의 촬영 정보를 포함할 수 있다.

제2 UAV(120)는 지상 영역을 촬영한다(S950). 상기 지상 영역은 장애물(150)을 포함할 수 있다. 상기 지상 영역은 제2 UAV(120) 아래쪽 영역일 수 있다.

제2 UAV(120)는 상기 지상 영역을 포함하는 제2 영상 정보를 생성한다(S955). 상기 제2 영상 정보는 상기 지상 영역을 촬영한 영상 정보 및 상기 지상 영역을 촬영할 때의 촬영 정보를 포함할 수 있다.

제2 UAV(120)는 상기 제2 표식물 정보 및 제2 영상 정보를 영상 처리 서버(160)에 전송한다(S960). 상기 전송을 3G, LTE, LTE-A, WiFi 또는 블루투스 중에서 어느 하나를 이용한 무선 통신 방식으로 전송될 수 있다.

영상 처리 서버(160)는 상기 제1 표식물 정보 및 제1 표식물 정보를 바탕으로 제1 UAV(110) 및 제2 UAV(120)의 위치를 판단한다(S970). 제1 UAV(110) 및 제2 UAV(120)의 상기 위치는 표식물(135)를 원점으로 하는 가상의 좌표계 상의 좌표 정보일 수 있다.

영상 처리 서버(160)는 상기 판단된 제1 UAV(110) 및 제2 UAV(120)의 위치를 바탕으로 제1 UAV(110)와 제2 UAV(120) 사이의 거리를 산출한다(S980). 영상 처리 서버(160)는 제1 UAV(110) 및 제2 UAV(120)의 상기 위치를 나타내는 상기 좌표 정보를 바탕으로 상기 거리를 산출할 수 있다.

영상 처리 서버(160)는 상기 산출된 거리, 상기 제1 영상 정보 및 상기 제2 영상 정보를 바탕으로 스테레오 비전 처리를 수행한다(S990). 영상 처리 서버(160)는 상기 스테레오 비전 처리를 통해서, 상기 제1 영상 정보 및 상기 제2 영상 정보에 포함된 각 장애물의 깊이 정보를 도출할 수 있다. 영상 처리 서버(160)는 상기 도출된 각 장애물의 깊이 정보를 포함하는 깊이 지도를 생성할 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

110 : 제1 UAV 120 : 제2 UAV
130 : 무인 지상 차량 140 : 장애물
160 : 영상 처리 서버

Claims

표식물을 촬영하여 제1 표식물 정보를 생성하고 장애물을 포함하는 지상 영역을 촬영하여 제1 영상 정보를 생성하는 제1 UAV(Unmanned Aerial Vehicle);
상기 표식물을 촬영하여 제2 표식물 정보를 생성하고 상기 장애물을 포함하는 지상 영역을 촬영하여 제2 영상 정보를 생성하는 제2 UAV; 및
상기 제1 표식물 정보 및 상기 제2 표식물 정보를 바탕으로 상기 제1 UAV 와 상기 제2 UAV 사이의 거리인 베이스 라인 거리를 산출하고, 상기 제1 영상 정보, 상기 제2 영상 정보 및 상기 베이스 라인 거리를 바탕으로 상기 장애물의 깊이 정보를 도출하는 영상 처리 서버를 포함하되,
상기 베이스 라인 거리는,
상기 제1 UAV의 위치 및 상기 제2 UAV 의 위치에 따라 가변적으로 변하는 것으로써, 상기 제1 UAV와 상기 제2 UAV가 상기 표식물을 지속적으로 트래킹하여 산출하는 것인,
복수의 UAV를 이용한 스테레오 비전 시스템.
제1항에 있어서,
상기 제1 UAV는,
상기 표식물을 촬영하여 상기 표식물이 포함된 상기 제1 표식물 정보를 생성하는 제1 표식물 촬영부;
상기 장애물이 포함하는 지상 영역을 촬영하여 상기 제1 영상 정보를 생성하는 제1 영상 촬영부; 및
상기 제1 표식물 정보 및 상기 제1 영상 정보를 상기 영상 처리 서버로 전송하는 제1 전송부를 포함하는,
복수의 UAV를 이용한 스테레오 비전 시스템.
제1항에 있어서,
상기 제2 UAV는,
상기 표식물을 촬영하여 상기 표식물이 포함된 상기 제2 표식물 정보를 생성하는 제2 표식물 촬영부;
상기 장애물이 포함하는 지상 영역을 촬영하여 상기 제2 영상 정보를 생성하는 제2 영상 촬영부; 및
상기 제2 표식물 정보 및 상기 제2 영상 정보를 상기 영상 처리 서버로 전송하는 제2 전송부를 포함하는,
복수의 UAV를 이용한 스테레오 비전 시스템.
제1항에 있어서,
상기 영상 처리 서버는,
상기 제1 표식물 정보, 상기 제1 영상 정보, 제2 표식물 정보 및 상기 제2 영상 정보를 수신하는 수신부;
상기 제1 표식물 정보 및 상기 제2 표식물 정보를 사전에 저장된 표식물 정보와 비교하여 상기 표식물을 원점으로 하는 상기 제1 UAV의 제1 좌표 및 상기 제2 UAV의 제2 좌표를 산출하는 위치 판단부; 및
상기 제1 위치 및 상기 제2 위치를 바탕으로 산출된 상기 베이스 라인 거리, 상기 제1 영상 정보 및 상기 제2 영상 정보를 바탕으로 상기 장애물의 깊이 정보를 도출하는 스테레오 비전 처리부를 포함하는,
복수의 UAV를 이용한 스테레오 비전 시스템.
제1항에 있어서,
상기 표식물이 상단에 설치되는 무인 지상 차량을 더 포함하는
복수의 UAV를 이용한 스테레오 비전 시스템.
표식물 및 장애물을 포함하는 지상 영역을 촬영하여 제1 영상 정보를 생성하는 제1 UAV;
상기 표식물 및 상기 장애물을 포함하는 지상 영역을 촬영하여 제2 영상 정보를 생성하는 제2 UAV; 및
상기 제1 영상 및 제2 영상에 포함된 상기 표식물의 형태를 바탕으로 상기 제1 UAV 와 상기 제2 UAV 사이의 거리인 베이스 라인 거리를 산출하고, 상기 제1 영상 정보, 상기 제2 영상 정보 및 상기 베이스 라인 거리를 바탕으로 상기 장애물의 깊이 정보를 도출하는 영상 처리 서버를 포함하되,
상기 베이스 라인 거리는,
상기 제1 UAV의 위치 및 상기 제2 UAV 의 위치에 따라 가변적으로 변하는 것으로써, 상기 제1 UAV와 상기 제2 UAV가 상기 표식물을 지속적으로 트래킹하여 산출하는 것인,,
복수의 UAV를 이용한 스테레오 비전 시스템
제1 UAV가 표식물을 촬영하여 상기 표식물을 포함하는 제1 표식물 정보를 생성하는 단계;
상기 제1 UAV가 장애물을 포함하는 지상 영역을 촬영하여 상기 지상 영역을 포함하는 제1 영상 정보를 생성하는 단계;
상기 제1 UAV가 상기 제1 표식물 정보 및 상기 제1 영상 정보를 영상 처리 서버로 전송하는 단계;
제2 UAV가 표식물을 촬영하여 상기 표식물을 포함하는 제2 표식물 정보를 생성하는 단계;
상기 제2 UAV가 장애물을 포함하는 지상 영역을 촬영하여 상기 지상 영역을 포함하는 제2 영상 정보를 생성하는 단계;
상기 제2 UAV가 상기 제2 표식물 정보 및 상기 제2 영상 정보를 영상 처리 서버로 전송하는 단계;
상기 영상 처리 서버가 상기 제1 표식물 정보, 제1 영상 정보, 제2 표식물 정보 및 상기 제2 영상 정보를 수신하는 단계;
상기 영상 처리 서버가 상기 제1 표식물 정보 및 상기 제2 표식물 정보를 바탕으로, 상기 제1 UAV와 상기 제2 UAV 사이의 거리를 가리키는 베이스 라인 거리를 산출하는 단계; 및
상기 영상 처리 서버가 상기 제1 영상 정보, 상기 제2 영상 정보 및 상기 베이스 라인 거리를 바탕으로 상기 장애물의 깊이 정보를 도출하는 단계를 포함하되,
상기 베이스 라인 거리는,
상기 제1 UAV의 위치 및 상기 제2 UAV 의 위치에 따라 가변적으로 변하는 것으로써, 상기 제1 UAV와 상기 제2 UAV가 상기 표식물을 지속적으로 트래킹하여 산출하는 것인,
복수의 UAV를 이용한 스테레오 비전 구현 방법.
제7항에 있어서,
상기 베이스 라인 거리를 산출하는 단계는,
상기 제1 표식물 정보와 사전에 저장된 표식물의 정보를 비교하여 상기 표식물을 원점으로 하는 가상의 좌표계 상의 상기 제1 UAV의 제1 좌표를 산출하는 단계;
상기 제2 표식물 정보와 사전에 저장된 표식물의 정보를 비교하여 상기 표식물을 원점으로 하는 가상의 좌표계 상의 상기 제2 UAV의 제2 좌표를 산출하는 단계; 및
상기 제1 좌표와 상기 제2 좌표의 사이의 거리를 상기 베이스 라인 거리로 산출하는 단계를 포함하는,
복수의 UAV를 이용한 스테레오 비전 구현 방법.