KR20160024562A

KR20160024562A - stereo vision system using a plurality of uav

Info

Publication number: KR20160024562A
Application number: KR1020140111487A
Authority: KR
Inventors: 서지원; 김진효; 권지욱
Original assignee: 연세대학교 산학협력단
Priority date: 2014-08-26
Filing date: 2014-08-26
Publication date: 2016-03-07
Also published as: KR101600862B1

Abstract

The present invention relates to a stereo vision system using multiple unmanned aerial vehicles (UAVs) having a single photographing means mounted therein, and a stereo vision realization method thereof. The stereo vision system using multiple UAVs according to an embodiment of the present invention comprises: a first UAV for generating first marked object information by photographing an marked object and for generating first image information by photographing a ground region including an obstacle; a second UAV for generating second marked object information by photographing the marked object and for generating second image information by photographing a ground region including the obstacle; and an image processing server for calculating a baseline distance, which is a distance between the first UAV and the second UAV, based on the first marked object information and the second marked object information, and for deducting depth information of the obstacle based on the first image information, the second image information and the baseline distance, wherein the baseline distance variously changes depending on locations of the first UAV and the second UAV. Therefore, by adjusting the locations of the first UAV and the second UAV, the present invention can change the baseline distance, thereby maintaining constant accuracy to deduct depth information of the obstacle.

Description

BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a stereo vision system using a plurality of UAVs,

본 발명은 복수의 UAV(Unmanned Aerial Vehicle)를 이용한 스테레오 비전 시스템에 관한 것이다. 보다 자세하게는, 복수의 UAV에 장착된 단일의 카메라에서 촬영한 영상을 이용하여 스테레오 비전(stereo vision)을 구현하는 시스템에 관한 것이다.The present invention relates to a stereo vision system using a plurality of UAVs (Unmanned Aerial Vehicles). More particularly, the present invention relates to a system for implementing stereo vision using an image captured by a single camera mounted on a plurality of UAVs.

무인 지상 차량 (UGV, Unmanned Ground Vehicle)과 무인 비행체(UAV, Unmanned Aerial Vehicle)를 포함한 지능형 무인 시스템은 수색 및 구조 임무와 군사 작전 등 다양한 애플리케이션에 활용 될 수 있다. 지상에서 임무를 수행하는 무인 지상 차량은 주변의 장애물을 감지하고 회피하기 위하여, RADAR, LIDAR, 비전 카메라와 같은 다양한 센서를 활용한다. 그러나, 이러한 센서들은 시야(line-of-sight)가 제한적이기 때문에, 장애물 뒤에 있는 물체를 인식 할 수 없다. Intelligent unmanned systems, including unmanned ground vehicles (UGVs) and unmanned aerial vehicles (UAVs), can be used in a variety of applications, including search and rescue missions and military operations. Unmanned ground vehicles performing mission on the ground utilize various sensors such as RADAR, LIDAR, and vision cameras to detect and avoid obstacles around them. However, since these sensors have limited line-of-sight, objects behind the obstacle can not be recognized.

이러한 한계를 극복하기 위해, 무인 지상 차량에 비해 시야가 넓은 무인 비행체가 활용될 수 있다. 무인 지상 차량이 주행할 때, 무인 지상 차량의 상공에서 비행하는 무인 비행체가 무인 지상 차량 주변의 장애물을 탐색할 수 있다. 무인 비행체는 공중에서 지상을 바라볼 수 있기 때문에, 무인 지상 차량이 장애물에 의해서 시야가 제한되는 문제를 극복할 수 있다.To overcome these limitations, a unmanned aerial vehicle with a wider visibility than an unmanned ground vehicle can be utilized. When an unmanned ground vehicle is traveling, the unmanned aerial vehicle flying above the unmanned ground vehicle can search for obstacles around the unmanned ground vehicle. Because unmanned aerial vehicles can see the ground from the air, unmanned ground vehicles can overcome the problem of limited visibility by obstacles.

하지만 무인 비행체에 탑재되는 RADAR 등의 센서는 고가의 장비가 대부분이고, 비교적 저렴한 영상 센서를 이용하면 무인 시스템에서 지상의 장애물을 검출하는 데에 있어서 그 신뢰성이 부족하다. However, the sensor such as the RADAR mounted on the unmanned aerial vehicle is expensive, and the reliability of detecting the obstacle on the ground in the unmanned system is insufficient when a relatively inexpensive image sensor is used.

이를 극복하기 위하여 거리 정보를 알 수 있는 스테레오 비전 시스템을 활용할 수 있으나, 스테레오 비전 시스템의 성능을 좌우하는 카메라 사이의 거리인 베이스 라인(baseline)의 길이가 무인 비행체의 촬영 고도에 비해 매우 짧으므로, 단일의 무인 비행체에 설치되는 복수의 카메라를 이용하는 스테레오 비전 시스템의 성능은 매우 제한적인 문제점이 있다.However, since the length of the baseline, which is the distance between the cameras that determine the performance of the stereo vision system, is very short compared with the shooting altitude of the unmanned aerial vehicle, The performance of a stereo vision system using a plurality of cameras installed in a single unmanned aerial vehicle is very limited.

한국공개특허 제2006-0085751호Korean Patent Publication No. 2006-0085751

본 발명이 해결하고자 하는 기술적 과제는 복수의 UAV에 설치된 단일 카메라에 의해 촬영된 영상을 이용하여 가변적인 베이스라인을 가지는 스테레오 비전을 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a stereo vision having a variable baseline using an image captured by a single camera installed in a plurality of UAVs.

본 발명이 해결하고자 하는 다른 기술적 과제는 상기 스테레오 비전을 이용하여 지상의 장애물에 대한 깊이 지도(depth map)을 제공하는 것이다.Another object of the present invention is to provide a depth map of an obstacle on the ground using the stereo vision.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해 될 수 있을 것이다.The technical objects of the present invention are not limited to the above-mentioned technical problems, and other technical subjects not mentioned can be clearly understood by those skilled in the art from the following description.

상기 기술적 과제를 달성하기 위한 본 발명의 일 태양에 따른 복수의 UAV를 이용한 스테레오 비전 시스템은, 표식물을 촬영하여 제1 표식물 정보를 생성하고 장애물을 포함하는 지상 영역을 촬영하여 제1 영상 정보를 생성하는 제1 UAV(Unmanned Aerial Vehicle), 상기 표식물을 촬영하여 제2 표식물 정보를 생성하고 상기 장애물을 포함하는 지상 영역을 촬영하여 제2 영상 정보를 생성하는 제2 UAV 및 상기 제1 표식물 정보 및 상기 제2 표식물 정보를 바탕으로 상기 제1 UAV 와 상기 제2 UAV 사이의 거리인 베이스 라인 거리를 산출하고, 상기 제1 영상 정보, 상기 제2 영상 정보 및 상기 베이스 라인 거리를 바탕으로 상기 장애물의 깊이 정보를 도출하는 영상 처리 서버를 포함할 수도 있고, 상기 베이스 라인 거리는, 상기 제1 UAV의 위치 및 상기 제2 UAV 의 위치에 따라 가변적으로 변하는 것이다.According to an aspect of the present invention, there is provided a stereovision system using a plurality of UAVs, the system including: a first step of generating a first marker information by photographing a landmark, generating a first image information by photographing a land area including an obstacle, A second UAV for photographing the landmark, generating second landmark information, and photographing a land area including the obstacle to generate second image information; and a second UAV for photographing the landmark including the first landmark information and the second landmark information, Calculating a baseline distance that is a distance between the first UAV and the second UAV based on the second marker information, calculating a depth of the obstacle based on the first image information, the second image information, And the base line distance may be determined based on the position of the first UAV and the position of the second UAV, It is ever changing.

일 실시예에 따르면, 상기 제1 UAV는, 상기 표식물을 촬영하여 상기 표식물이 포함된 상기 제1 표식물 정보를 생성하는 제1 표식물 촬영부, 상기 장애물이 포함하는 지상 영역을 촬영하여 상기 제1 영상 정보를 생성하는 제1 영상 촬영부 및 상기 제1 표식물 정보 및 상기 제1 영상 정보를 상기 영상 처리 서버로 전송하는 제1 전송부를 포함할 수도 있다.According to one embodiment, the first UAV includes a first marker shooting unit for shooting the marker and generating the first marker information including the marker, a second marker shooting unit for photographing the land area included in the obstacle, And a first transmitter for transmitting the first marker information and the first image information to the image processing server.

일 실시예에 따르면, 상기 제2 UAV는, 상기 표식물을 촬영하여 상기 표식물이 포함된 상기 제1 표식물 정보를 생성하는 제2 표식물 촬영부, 상기 장애물이 포함하는 지상 영역을 촬영하여 상기 제1 영상 정보를 생성하는 제2 영상 촬영부 및 상기 제2 표식물 정보 및 상기 제2 영상 정보를 상기 영상 처리 서버로 전송하는 제2 전송부를 포함할 수도 있다.According to one embodiment, the second UAV includes a second marker shooting unit for shooting the marker and generating the first marker information including the marker, a second marker shooting unit for photographing the land area included in the obstacle, And a second transmitter for transmitting the second marker information and the second image information to the image processing server.

일 실시예에 따르면, 상기 영상 처리 서버는, 상기 제1 표식물 정보, 상기 제1 영상 정보, 제2 표식물 정보 및 상기 제2 영상 정보를 수신하는 수신부, 상기 제1 표식물 정보 및 상기 제2 표식물 정보를 사전에 저장된 표식물 정보와 비교하여 상기 표식물을 원점으로 하는 상기 제1 UAV의 제1 좌표 및 상기 제2 UAV의 제2 좌표를 산출하는 위치 판단부 및 상기 제1 위치 및 상기 제2 위치를 바탕으로 산출된 상기 베이스 라인 거리, 상기 제1 영상 정보 및 상기 제2 영상 정보를 바탕으로 상기 장애물의 깊이 정보를 도출하는 스테레오 비전 처리부를 포함할 수도 있다.According to one embodiment, the image processing server includes a receiver for receiving the first marker information, the first image information, the second marker information, and the second image information, the first marker information and the second marker information A position determination unit for calculating a first coordinate of the first UAV and a second coordinate of the second UAV using the landmark as an origin by comparing the landmark information with the previously stored landmark information, And a stereo vision processor for deriving depth information of the obstacle based on the baseline distance, the first image information, and the second image information.

일 실시예에 따르면, 상기 표식물이 상단에 설치되는 무인 지상 차량을 더 포함할 수도 있다.According to one embodiment, the land vehicle may be installed on the upper end of the land vehicle.

상기 기술적 과제를 달성하기 위한 본 발명의 다른 태양에 따른 복수의 UAV를 이용한 스테레오 비전 시스템은, 표식물 및 장애물을 포함하는 지상 영역을 촬영하여 제1 영상 정보를 생성하는 제1 UAV, 상기 표식물 및 상기 장애물을 포함하는 지상 영역을 촬영하여 제2 영상 정보를 생성하는 제2 UAV 및 상기 제1 영상 및 제2 영상에 포함된 상기 표식물의 형태를 바탕으로 상기 제1 UAV 와 상기 제2 UAV 사이의 거리인 베이스 라인 거리를 산출하고, 상기 제1 영상 정보, 상기 제2 영상 정보 및 상기 베이스 라인 거리를 바탕으로 상기 장애물의 깊이 정보를 도출하는 영상 처리 서버를 포함할 수 있으며, 상기 베이스 라인 거리는, 상기 제1 UAV의 위치 및 상기 제2 UAV 의 위치에 따라 가변적으로 변하는 것이다.According to another aspect of the present invention, there is provided a stereoscopic vision system using a plurality of UAVs, including a first UAV for photographing a terrestrial region including markers and obstacles to generate first image information, A distance between the first UAV and the second UAV based on the shape of the marker included in the first image and the second image, and a second UAV generating a second image information by photographing a land area including an obstacle, And an image processing server for calculating depth information of the obstacle based on the first image information, the second image information, and the baseline distance, And varies depending on the position of the first UAV and the position of the second UAV.

상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 태양에 따른 복수의 UAV를 이용한 스테레오 비전 구현 방법은, 제1 UAV가 표식물을 촬영하여 상기 표식물을 포함하는 제1 표식물 정보를 생성하는 단계, 상기 제1 UAV가 장애물을 포함하는 지상 영역을 촬영하여 상기 지상 영역 을 포함하는 제1 영상 정보를 생성하는 단계, 상기 제1 UAV가 상기 제1 표식물 정보 및 상기 제1 영상 정보를 영상 처리 서버로 전송하는 단계, 제2 UAV가 표식물을 촬영하여 상기 표식물을 포함하는 제2 표식물 정보를 생성하는 단계, 상기 제2 UAV가 장애물을 포함하는 지상 영역을 촬영하여 상기 지상 영역을 포함하는 제2 영상 정보를 생성하는 단계, 상기 제2 UAV가 상기 제2 표식물 정보 및 상기 제2 영상 정보를 영상 처리 서버로 전송하는 단계, 상기 영상 처리 서버가 상기 제1 표식물 정보, 제1 영상 정보, 제2 표식물 정보 및 상기 제2 영상 정보를 수신하는 단계, 상기 영상 처리 서버가 상기 제1 표식물 정보 및 상기 제2 표식물 정보를 바탕으로, 상기 제1 UAV와 상기 제2 UAV 사이의 거리를 가리키는 베이스 라인 거리를 산출하는 단계 및 상기 영사 처리 서버가 상기 제1 영상 정보, 상기 제2 영상 정보 및 상기 베이스 라인 거리를 바탕으로 상기 장애물의 깊이 정보를 도출하는 단계를 포함할 수도 있다.According to another aspect of the present invention, there is provided a method for implementing a stereoscopic vision using a plurality of UAVs, the method comprising: generating a first marker information including a marker by capturing a marker; The method includes the steps of: 1) capturing a land area including an obstacle by the UAV to generate first image information including the land area, and transmitting the first landmark information and the first image information to the image processing server Generating second marker information including the landmark by photographing a landmark, wherein the second UAV captures a landmark, and generating second landmark information including the landmark by imaging the landmark region including the obstacle; The second UAV transmitting the second marker information and the second image information to the image processing server, the image processing server transmitting the second marker information to the image processing server, Receiving the first image information, the first image information, the second image information, and the second image information, and the image processing server, based on the first marker information and the second marker information, Calculating a baseline distance indicating a distance between two UAVs, and deriving depth information of the obstacle based on the first image information, the second image information, and the baseline distance by the projection processing server You may.

일 실시예에 따르면, 상기 베이스 라인 거리를 산출하는 단계는, 상기 제1 표식물 정보와 사전에 저장된 표식물의 정보를 비교하여 상기 표식물을 원점으로 하는 가상의 좌표계 상의 상기 제1 UAV의 제1 좌표를 산출하는 단계, 상기 제2 표식물 정보와 사전에 저장된 표식물의 정보를 비교하여 상기 표식물을 원점으로 하는 가상의 좌표계 상의 상기 제2 UAV의 제2 좌표를 산출하는 단계, 상기 제1 좌표와 상기 제2 좌표의 사이의 거리를 상기 베이스 라인 거리로 산출하는 단계를 포함할 수도 있다.According to one embodiment, the step of calculating the baseline distance may include comparing the first marker information with previously stored marker information to determine a first coordinate of the first UAV on a virtual coordinate system having the marker as an origin Calculating a second coordinate of the second UAV on a virtual coordinate system having the landmark as an origin by comparing the second landmark information with information of a previously stored landmark, And calculating the distance between the coordinates as the baseline distance.

상기와 같은 본 발명에 따르면, 단일 카메라가 탑재된 UAV를 이용함으로써 가변적인 베이스 라인을 갖는 스테레오 비전 시스템을 구현할 수 있는 효과가 있다.According to the present invention, it is possible to implement a stereo vision system having a variable baseline by using a UAV equipped with a single camera.

또한, 상기와 같은 본 발명에 따르면, 가변적인 베이스 라인을 갖는 스테레오 비전 시스템을 이용하여 지상의 장애물에 대한 정확한 깊이 지도(depth map)을 구현할 수 있는 효과가 있다.In addition, according to the present invention, an accurate depth map of an obstacle on the ground can be implemented using a stereo vision system having a variable baseline.

도 1은 본 발명의 일 실시예에 따른, 복수의 UAV를 이용한 스테레오 비전 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른, 제1 UAV에서 생성된 제1 표식물 정보의 예시이다.
도 3은 본 발명의 일 실시예에 따른, 제2 UAV에서 생성된 제2 표식물 정보의 예시이다.
도 4는 본 발명의 일 실시예에 따른, 영상 처리 서버에서 제1 UAV와 제2 UAV의 위치를 판단하는 것을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른, 영상 처리 서버에서 장애물에 대한 깊이 정보를 생성하는 것을 설명하는 도면이다.
도 6은 본 발명의 다른 실시예에 따른, 제1 UAV에서 생성된 장애물과 표식물을 포함하는 제1 영상의 예시이다.
도 7은 본 발명의 다른 실시예에 따른, 제2 UAV에서 생성된 장애물과 표식물을 포함하는 제2 영상의 예시이다.
도 8은 본 발명의 일 실시예에 따른, 제1 UAV의 구성도이다.
도 9는 본 발명의 일 실시예에 따른, 제2 UAV의 구성도이다.
도 10은 본 발명의 일 실시예에 따른, 영상 처리 서버의 구성도이다.
도 11은 본 발명의 일 실시예에 따른, 복수의 UAV를 이용한 스테레오 비전 구형 방법의 신호 흐름도이다.1 is a configuration diagram of a stereo vision system using a plurality of UAVs according to an embodiment of the present invention.
Figure 2 is an illustration of first marker information generated in a first UAV, in accordance with an embodiment of the present invention.
Figure 3 is an illustration of second marker information generated in a second UAV, in accordance with an embodiment of the present invention.
4 is a diagram for explaining the determination of the positions of a first UAV and a second UAV in an image processing server according to an embodiment of the present invention.
5 is a diagram for explaining generation of depth information on an obstacle in an image processing server according to an embodiment of the present invention.
Figure 6 is an illustration of a first image comprising an obstacle and markers generated in a first UAV, in accordance with another embodiment of the present invention.
7 is an illustration of a second image comprising an obstacle and markers generated in a second UAV, according to another embodiment of the present invention.
8 is a configuration diagram of a first UAV according to an embodiment of the present invention.
9 is a configuration diagram of a second UAV according to an embodiment of the present invention.
10 is a configuration diagram of an image processing server according to an embodiment of the present invention.
11 is a signal flow diagram of a stereo vision method using a plurality of UAVs according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.

도 1은 본 발명의 일 실시예에 따른, 복수의 UAV를 이용한 스테레오 비전 시스템을 구성도이다.1 is a block diagram of a stereo vision system using a plurality of UAVs according to an embodiment of the present invention.

도 1을 참조하여, 본 발명의 일 실시예에 따른 복수의 UAV를 이용한 스테레오 비전 시스템(100)의 각 구성에 대해서 자세하게 설명한다.Referring to FIG. 1, each configuration of a stereo vision system 100 using a plurality of UAVs according to an embodiment of the present invention will be described in detail.

스테레오 비전이란 동일한 물체에 대해 다른 위치에서 얻어진 한 쌍의 입체 영상을 말한다. 인간이 두 개의 눈과 뇌에서 시각피질을 이용해 3차원 입체 공간을 인식하듯이, 공간적으로 나란히 떨어져 있는 두 개의 카메라를 가지고 동일한 한 쌍의 이미지 장면으로부터 스테레오 비전을 얻어 낼 수 있다. 스테레오 비전을 이용하면, 영상에 포함된 물체의 깊이(depth) 정보를 알 수 있다.Stereo vision refers to a pair of stereoscopic images acquired at different positions relative to the same object. Stereo vision can be obtained from the same pair of image scenes with two cameras spaced apart spatially, just as a human perceives a three-dimensional space using the visual cortex in both eyes and brain. By using stereo vision, depth information of an object included in an image can be known.

스테레오 비전 시스템에서 각 카메라 사이의 거리인 베이스 라인 길이에 따라 물체의 깊이를 산출하는 정확도가 달라질 수 있다. 스테레오 비전 시스템에서 상기 깊이를 산출하는 것은 삼각 함수를 이용할 수 있으며, 따라서 베이스 라인 길이가 길수록 더 깊은 곳에 있는 물체의 깊이를 산출할 수 있다.Depending on the length of the baseline, the distance between each camera in a stereo vision system, the accuracy of calculating the depth of an object can vary. The depth of the stereo vision system can be calculated using a trigonometric function, so that the longer the baseline length, the greater the depth of an object at a deeper location.

본 발명의 일 실시예에 따르면, 지상의 영상을 촬영하는 단일 카메라가 장착된 복수의 UAV를 이용함으로써 가변적인 베이스 라인을 구현할 수 있다. 즉, 상기 복수의 UAV 사이의 거리가 베이스 라인이 될 수 있으므로, 상기 복수의 UAV의 위치에 따라서 베이스 라인이 결정될 수 있다. 상기 복수의 UAV의 비행 고도가 높아지더라도 상기 베이스 라인을 가변적으로 변경할 수 있으므로 스테레오 비전을 이용한 깊이 산출의 정확도가 유지될 수 있다.According to an embodiment of the present invention, a variable baseline can be realized by using a plurality of UAVs equipped with a single camera for capturing an image of the ground. That is, since the distance between the plurality of UAVs may be the base line, the base line may be determined according to the position of the plurality of UAVs. Even if the flight altitude of the plurality of UAVs is increased, the accuracy of the depth calculation using the stereo vision can be maintained since the base line can be variably changed.

본 발명의 일 실시예에 따른, 복수의 UAV를 이용한 스테레오 비전 시스템(100)은 제1 UAV(110), 제2 UAV(120), 무인 지상 차량(130) 및 영상 처리 서버(160)를 포함할 수 있다.A plurality of UAV-based stereo vision systems 100 include a first UAV 110, a second UAV 120, an unmanned terrestrial vehicle 130, and an image processing server 160 can do.

제1 UAV(110) 및 제2 UAV(120)는 헬리콥터(helicopter) 또는 멀티콥터(multicopter)를 포함할 수 있다. 상기 멀티콥터는 복수의 모터와 프로펠러를 가진 비행체를 가리킨다. 멀티콥터는 3개의 프로펠러를 가진 트리콥터, 4개의 프로펠러를 가진 쿼드콥터, 6개의 프로펠러를 가진 헥사콥터를 포함할 수 있다.The first UAV 110 and the second UAV 120 may include a helicopter or a multicopter. The multi-copter refers to a vehicle having a plurality of motors and propellers. A multi-copter can include a tri-copter with three propellers, a quad copter with four propellers, and a hexacopter with six propellers.

본 발명의 일 실시예에 따른 무인 지상 차량(UGV, 130)은 운전자 없이 자율 주행이 가능한 차량일 수 있다. 무인 지상 차량(130)의 상단에는 표식물(135)을 부착되어 있을 수 있다. 표식물(135)은 제1 UAV(110) 및 제2 UAV(120)의 위치를 판단할 때 사용된다.The UGV 130 according to an embodiment of the present invention may be an autonomous vehicle without a driver. The landing material 135 may be attached to the upper end of the unmanned underground vehicle 130. The landmark 135 is used to determine the location of the first UAV 110 and the second UAV 120.

예를 들어서, 표식물(135)은 기하학적 모양을 가지는 평면 그림일 수 있지만, 이것은 예시에 불과하면 이에 한정되지는 않는다.For example, the indicia 135 may be a planar picture having a geometric shape, but this is not so limited.

본 발명의 일 실시예에 따른 제1 UAV(110) 에는 제1 표식물 촬영부(112) 및 제1 영상 촬영부(114)가 구비되어 있을 수 있다.The first UAV 110 according to an embodiment of the present invention may include a first marker image capturing unit 112 and a first image capturing unit 114.

제1 표식물 촬영부(112)는 무인 지상 차량(130)의 상단에 부착된 표식물(135)을 포함하는 영상을 촬영한다. 제1 표식물 촬영부(112)는 제1 UAV(110)의 위치가 바뀌더라도, 표식물(135)을 계속적으로 트래킹하면서 촬영할 수 있다.The first marker photographing unit 112 photographs an image including the marker 135 attached to the upper end of the unmanned land vehicle 130. The first marker photographing unit 112 can photograph the marker 135 while continuously tracking the position of the first UAV 110 even if the position of the first UAV 110 is changed.

제1 UAV(110)는 제1 표식물 촬영부(112)에 의해서 촬영된 상기 영상에서 표식물(135)을 나타내는 부분을 포함하는 제1 표식물 정보를 생성할 수 있다. The first UAV 110 may generate first marker information including a portion representing the marker 135 in the image captured by the first marker photographing unit 112. [

상기 생성된 제1 표식물 정보는 영상 처리 서버(160)에 전송될 수 있다. 상기 전송은 실시간 또는 사전에 정해진 일정 주기 마다 이루어질 수 있다.The generated first marker information may be transmitted to the image processing server 160. The transmission may be performed in real time or at predetermined predetermined intervals.

제1 영상 촬영부(114)는 장애물(140)이 포함된 지상 영역을 촬영할 수 있다. 상기 촬영된 지상 영역은 무인 지상 차량(130)이 주행할 지상의 영역을 포함할 수 있다. 제1 UAV(110)는 무인 지상 차량(130)의 상공에서 비행하므로, 제1 영상 촬영부(114)는 무인 지상 차량(130)의 전방의 넓은 영역을 촬영 할 수 있다.The first image capturing unit 114 can photograph the ground area including the obstacle 140. [ The photographed ground area may include a terrestrial area on which the unmanned terrestrial vehicle 130 will travel. The first image capturing unit 114 can capture a wide area in front of the unmanned ground vehicle 130 because the first UAV 110 is flying over the unmanned ground vehicle 130. [

제1 UAV(110)는 제1 영상 촬영부(114)에 의해서 촬영된 상기 지상 영역을 포함하는 제1 영상 정보를 생성할 수 있다. 상기 제1 영상 정보는 상기 지상 영역을 촬영한 장치의 촬영 정보를 포함할 수 있다. 상기 촬영 정보는 촬영 각도, 조리개 설정, 줌 설정 및 셔터 속도를 포함할 수 있지만, 이것은 예시에 불과하면 이에 한정되지는 않는다. The first UAV 110 may generate first image information including the land area photographed by the first image photographing unit 114. [ The first image information may include photographing information of a device that photographed the ground area. The shooting information may include a shooting angle, a diaphragm setting, a zoom setting, and a shutter speed, but this is not limitative.

상기 생성된 제1 영상 정보는 영상 처리 서버(160)에 전송될 수 있다. 상기 전송은 실시간 또는 사전에 정해진 일정 주기 마다 이루어질 수 있다.The generated first image information may be transmitted to the image processing server 160. The transmission may be performed in real time or at predetermined predetermined intervals.

본 발명의 일 실시예에 따른 제2 UAV(120) 에는 제2 표식물 촬영부(122) 및 제2 영상 촬영부(124)가 구비되어 있을 수 있다. The second UAV 120 may include a second marker image capturing unit 122 and a second image capturing unit 124 according to an embodiment of the present invention.

제2 표식물 촬영부(122)는 무인 지상 차량(130)의 상단에 부착된 표식물(135)을 포함하는 영상을 촬영한다. 제2 표식물 촬영부(122)는 제2 UAV(120)의 위치가 바뀌더라도, 표식물(135)을 계속적으로 트래킹하면서 촬영할 수 있다.The second marker photographing unit 122 photographs an image including the markers 135 attached to the upper end of the unmanned land vehicle 130. The second marker photographing unit 122 can photograph the landmark 135 while continuously tracking the second UAV 120 even if the position of the second UAV 120 is changed.

제2 UAV(120)는 제2 표식물 촬영부(122)에 의해서 촬영된 상기 영상에서 표식물(135)을 나타내는 부분을 포함하는 제2 표식물 정보를 생성할 수 있다. The second UAV 120 may generate second marker information including a portion representing the marker 135 in the image captured by the second marker photographing unit 122. [

상기 생성된 제2 표식물 정보는 영상 처리 서버(160)에 전송될 수 있다. 상기 전송은 실시간 또는 사전에 정해진 일정 주기 마다 이루어질 수 있다.The generated second marker information may be transmitted to the image processing server 160. The transmission may be performed in real time or at predetermined predetermined intervals.

제2 영상 촬영부(124)는 장애물(140)이 포함된 지상 영역을 촬영할 수 있다. 상기 촬영된 지상 영역은 무인 지상 차량(130)이 주행할 지상의 영역을 포함할 수 있다. 제2 UAV(120)는 무인 지상 차량(130)의 상공에서 비행하므로, 제2 영상 촬영부(124)는 무인 지상 차량(130)의 전방의 넓은 영역을 촬영 할 수 있다.The second image capturing unit 124 may photograph the ground area including the obstacle 140. [ The photographed ground area may include a terrestrial area on which the unmanned terrestrial vehicle 130 will travel. The second image capturing unit 124 can capture a wide area in front of the unmanned ground vehicle 130 because the second UAV 120 is flying over the unmanned ground vehicle 130. [

제2 UAV(120)는 제2 영상 촬영부(124)에 의해서 촬영된 상기 지상 영역을 포함하는 제2 영상 정보를 생성할 수 있다. 상기 제2 영상 정보는 상기 지상 영역을 촬영한 장치의 촬영 정보를 포함할 수 있다. 상기 촬영 정보는 촬영 각도, 조리개 설정, 줌 설정 및 셔터 속도를 포함할 수 있지만, 이것은 예시에 불과하면 이에 한정되지는 않는다. The second UAV 120 may generate second image information including the land area photographed by the second image photographing unit 124. [ The second image information may include photographing information of a device that photographed the ground area. The shooting information may include a shooting angle, a diaphragm setting, a zoom setting, and a shutter speed, but this is not limitative.

상기 생성된 제2 영상 정보는 영상 처리 서버(160)에 전송될 수 있다. 상기 전송은 실시간 또는 사전에 정해진 일정 주기 마다 이루어질 수 있다.The generated second image information may be transmitted to the image processing server 160. The transmission may be performed in real time or at predetermined predetermined intervals.

제1 UAV(110) 및 제2 UAV(120)는 영상 처리 서버(160)와 무선으로 통신할 수 있다. 상기 무선 통신은 3G, LTE(Long Term Evolution), LTE-A, WiFi 및 블루투스(Bluetooth) 중에서 어느 하나를 포함할 수 있지만, 이는 예시에 불과하며 이에 한정되지는 않는다.The first UAV 110 and the second UAV 120 may communicate wirelessly with the image processing server 160. The wireless communication may include any one of 3G, Long Term Evolution (LTE), LTE-A, WiFi, and Bluetooth, but this is merely exemplary and not restrictive.

영상 처리 서버(160)는 상기 제1 표식물 정보, 제1 영상 정보, 제2 표식물 정보 및 제2 영상 정보를 수신하여, 스테레오 비전 처리를 수행한다.The image processing server 160 receives the first marker information, the first image information, the second marker information, and the second image information, and performs stereo vision processing.

이하 설명의 편의를 위하여, 상기 제1 영상 정보 및 상기 제2 영상 정보에는 무인 지상 차량(130)의 전방에 위치한 장애물(150)이 포함된 것으로 가정하고 설명한다.For the sake of convenience of explanation, it is assumed that the first image information and the second image information include an obstacle 150 located in front of the unmanned ground vehicle 130. FIG.

영상 처리 서버(160)는 상기 제1 표식물 정보 및 상기 제2 표식물 정보를 바탕으로 제1 UAV(110)의 위치 및 제2 UAV(120)의 위치를 판단할 수 있다. 상기 제1 표식물 정보 및 상기 제2 표식물 정보에는 상기 표식물(135)의 형상이 왜곡되어 촬영되어 있을 수 있다. 영상 처리 서버(160)는 표식물(135)의 상기 왜곡된 형상과 표식물(135)의 원본 형상을 비교하여 제1 UAV(110) 및 제2 UAV(120)의 위치를 판단할 수 있다. 상기 판단된 제1 UAV(110) 및 제2 UAV(120)의 위치는 무인 지상 차량(130)을 원점으로 하는 가상의 좌표계 상의 좌표일 수 있다.The image processing server 160 may determine the location of the first UAV 110 and the location of the second UAV 120 based on the first marker information and the second marker information. The markers 135 may be distorted in the first marker information and the second marker information. The image processing server 160 may determine the positions of the first UAV 110 and the second UAV 120 by comparing the distorted shape of the markers 135 with the original shape of the markers 135. [ The positions of the first UAV 110 and the second UAV 120 may be coordinates on a virtual coordinate system having the unmanned land vehicle 130 as an origin.

영상 처리 서버(160)는 판단된 제1 UAV(110)의 위치 및 제2 UAV(120)의 위치를 바탕으로 스테레오 비전 처리를 위해 필요한 베이스 라인 길이를 산출할 수 있다. 본 발명의 일 실시예에 따르면, 상기 베이스 라인 길이는 제1 UAV(110)와 제2 UAV(120) 사이의 거리이다. 상기 베이스 라인 길이는 상기 제1 UAV(110)의 위치와 상기 제2 UAV(120)의 위치를 바탕으로 산출될 수 있다. The image processing server 160 may calculate the baseline length required for the stereo vision processing based on the determined position of the first UAV 110 and the position of the second UAV 120. [ According to one embodiment of the present invention, the baseline length is the distance between the first UAV 110 and the second UAV 120. The base line length may be calculated based on the position of the first UAV 110 and the position of the second UAV 120. [

영상 처리 서버(160)는 상기 산출된 베이스 라인 길이와 상기 수신된 제1 영상 정보 및 제2 영상 정보를 이용하여, 스테레오 비전을 처리할 수 있다. The image processing server 160 may process the stereo vision using the calculated base line length and the received first image information and second image information.

본 발명의 일 실시예에 따르면, 상기 제1 영상 정보 및 제2 영상 정보에 포함된 지상 영역과 촬영 정보를 바탕으로 상기 산출된 베이스 라인 길이를 이용하여 상기 지상 영역에 포함된 장애물(150)의 깊이 정보를 도출할 수 있다.According to an exemplary embodiment of the present invention, an obstacle 150 included in the terrestrial area may be extracted using the calculated baseline length based on the terrestrial area and the photographing information included in the first image information and the second image information, Depth information can be derived.

영상 처리 서버(160)는 상기 도출된 깊이 정보를 바탕으로, 상기 지상 영역에 대한 깊이 지도(depth map)을 생성할 수 있다. 상기 깊이 지도는 상기 지상 영역에 포함된 오브젝트들에 대한 깊이 정보를 포함하는 영상 정보이다.The image processing server 160 may generate a depth map for the terrestrial region based on the derived depth information. The depth map is image information including depth information on objects included in the terrestrial area.

본 발명의 일 실시예에 따른, 상기 베이스 라인 길이 산출과 장애물(150)의 깊이 정보 도출은 도2 내지 도4의 설명에서 자세하게 다루므로 설명의 중복을 피하기 위해서 생략하기로 한다.The calculation of the baseline length and the derivation of the depth information of the obstacle 150 according to an embodiment of the present invention will be described in detail with reference to FIGS. 2 to 4. Therefore, the description will be omitted in order to avoid duplication of description.

본 발명의 일 실시예에 따르면, 영상 처리 서버(160)는 무인 지상 차량(130)으로부터 원거리에 위치할 수 있다. 영상 처리 서버(160)와 무인 지상 차량(130)은 무선 통신할 수 있다. 상기 무선 통신은 3G, LTE(Long Term Evolution), LTE-A, WiFi 및 블루투스(Bluetooth) 중에서 어느 하나를 포함할 수 있지만, 이는 예시에 불과하며 이에 한정되지는 않는다. According to an embodiment of the present invention, the image processing server 160 may be located remotely from the unmanned terrestrial vehicle 130. The image processing server 160 and the unmanned terrestrial vehicle 130 can communicate wirelessly. The wireless communication may include any one of 3G, Long Term Evolution (LTE), LTE-A, WiFi, and Bluetooth, but this is merely exemplary and not restrictive.

영상 처리 서버(160)가 상기 생성된 깊이 지도를 무인 지상 차량(130)에 전송할 수 있다. The image processing server 160 may transmit the generated depth map to the unmanned terrestrial vehicle 130.

무인 지상 차량(130)은 상시 깊이 지도를 수신하여, 주행 경로를 결정할 때 이용할 수 있다. 무인 지상 차량(130)은 전방에 시야를 가로막는 벽(140)이 있는 경우, 벽(140)의 뒤쪽에 있는 장애물을 스스로 인식할 수 없다. 무인 지상 차량(130)은 상기 수신된 깊이 지도를 이용하여, 벽(140) 뒤에 있는 장애물(150)을 인식하고, 상기 깊이 지도에 포함된 장애물(150)의 깊이 정보를 이용하여 장애물(140)을 회피하는 주행 경로를 설정할 수 있다.The unmanned terrestrial vehicle 130 can be used to receive a steady depth map and determine a traveling route. The unmanned ground vehicle 130 can not recognize the obstacle behind the wall 140 by itself if there is a barrier 140 blocking the field of view ahead. The unmanned terrestrial vehicle 130 recognizes the obstacle 150 behind the wall 140 using the received depth map and displays the obstacle 140 using the depth information of the obstacle 150 included in the depth map, Can be set.

도 2는 본 발명의 일 실시예에 따른, 제1 UAV에서 생성된 제1 표식물 정보의 예시이고, 도 3은 본 발명의 일 실시예에 따른, 제2 UAV에서 생성된 제2 표식물 정보의 예시이다.FIG. 2 is an illustration of first marker information generated in a first UAV, in accordance with an embodiment of the present invention, and FIG. 3 illustrates an example of second marker information generated in a second UAV, to be.

도 2 내지 도3을 참조하여, 본 발명의 일 실시예에 따른 제1 UAV(110) 및 제2 UAV(120)에 의해서 생성되는 제1 표식물 정보(200) 및 제2 표식물 정보(300)에 대해서 자세하게 설명한다.Referring to FIGS. 2 to 3, the first marker information 200 and the second marker information 300 generated by the first UAV 110 and the second UAV 120 according to an embodiment of the present invention Will be described in detail.

도 2는 제1 UAV(110)의 제1 표식물 촬영부에서 표식물(135)을 포함하는 영상을 촬영하고 표식물(135) 부분을 추출한 제1 표식물 정보(200)를 나타낸다. 이하에서, 설명의 편의를 위하여 표식물(135)은 ‘田’형태라고 가정한다.FIG. 2 shows first marker information 200 obtained by photographing an image including the marker 135 and extracting the marker 135 from the first marker photographing unit of the first UAV 110. FIG. Hereinafter, for convenience of explanation, it is assumed that the marker 135 is in the form of a field.

영상 처리 서버(160)는 제1 표식물 정보(200)를 바탕으로 표식물(135)의 형태 변화를 측정할 수 있다. 공중에서 ‘田’형태의 표식물(135)을 촬영하는 경우 수직 방향에서 촬영하지 않는 이상 ‘田’형태에 왜곡이 발생하게 된다. 영상 처리 서버(160)는 상기 왜곡이 발생한 정도와 원본 형태를 비교하면, 상기 제1 표식물 정보(200)에 포함된 표식물(135)을 촬영한 지점까지의 거리와 방향을 판단할 수 있다.The image processing server 160 may measure the shape change of the markers 135 based on the first marker information 200. [ When photographing the '田' shaped marker (135) in the air, distortion occurs in the '田' shape unless it is photographed in the vertical direction. The image processing server 160 can determine the distance and direction to the point where the markers 135 included in the first marker information 200 are photographed by comparing the degree of distortion and the original shape.

예를 들어서, 상기 제1 표식물 정보(200)에 포함된‘田’형태의 변의 길이 ℓ1, ℓ2를 측정하여 원본 ‘田’의 변의 길이와 비교하면 표식물(135)을 촬영한 지점까지의 거리를 도출할 수 있다. 상기 제1 표식물 정보(200)에 포함된 ‘田’형태의 마주보는 변이 형성하는 각도인 θ1, θ2를 측정하여, 이를 바탕으로 표식물(135)을 촬영한 지점의 각도를 도출할 수 있다. 상기 각도는 표식물(135)을 원점으로 하는 좌표계에서 상대적인 방향각일 수 있다.For example, if the lengths l1 and l2 of the 'paddy-shaped' sides included in the first marker information 200 are measured and compared with the lengths of the sides of the original 'paddy', the distance to the point . The angles θ1 and θ2 that form the opposite sides of the 'land' shape included in the first marker information 200 are measured and the angle of the point at which the marker 135 is photographed can be derived based on the measured angles. The angle may be a relative orientation angle in a coordinate system with the marker 135 as the origin.

도 3은 제2 UAV(120)의 제2 표식물 촬영부에서 표식물(135)을 포함하는 영상을 촬영하고 표식물(135) 부분을 추출한 제2 표식물 정보(300)를 나타낸다. FIG. 3 shows the second marker information 300 obtained by photographing an image including the marker 135 and extracting the marker 135 from the second marker photographing unit of the second UAV 120. FIG.

영상 처리 서버(160)는 상기 제1 표식물 정보(200)를 바탕으로 판단한 것과 동일하게, 제2 표식물 정보(300)를 바탕으로 표식물(135)의 형태 변화를 측정하여 상기 제2 표식물 정보(300)에 포함된 표식물(135)을 촬영한 지점을 도출할 수 있다. The image processing server 160 measures the shape change of the markers 135 on the basis of the second marker information 300 and determines the second marker information 300 Can be derived from the point of photographing the mark 135 contained in the image.

예를 들어서, 영상 처리 서버(160)는 상기 제2 표식물 정보(300)에 포함된‘田’형태의 변의 길이 ℓ3, ℓ4를 측정하여 표식물(135)을 촬영한 지점까지의 거리를 도출할 수 있다. 상기 제2 표식물 정보(300)에 포함된 ‘田’형태의 마주보는 변이 형성하는 각도인 θ3, θ4를 측정하여, 이를 바탕으로 표식물(135)을 촬영한 지점의 각도를 도출할 수 있다. 상기 각도는 표식물(135)을 원점으로 하는 좌표계에서 상대적인 방향각일 수 있다.For example, the image processing server 160 can measure the lengths? 3 and? 4 of the 'field' type sides included in the second marker information 300 to derive the distance to the point where the markers 135 are photographed have. The angles θ3 and θ4 of the opposite edges of the second marker information 300 that form the opposite sides of the second marker information 300 are measured and the angle of the point at which the marker 135 is imaged can be derived based on the measured angle. The angle may be a relative orientation angle in a coordinate system with the marker 135 as the origin.

도2 내지 도3에 도시된 제1 표식물 정보(200) 및 제2 표식물 정보(300)를 바탕으로 표식물(135)을 촬영한 지점을 판단하는 구체적인 방법은 한국공개특허 제1316524호에 개시된 기술 구성을 이용할 수 있지만, 이는 예시에 불과하며 이에 한정되지는 않는다.A specific method for determining the point at which the markers 135 are photographed based on the first marker information 200 and the second marker information 300 shown in FIGS. 2 to 3 is disclosed in Korean Patent Laid-Open No. 1316524 But this is merely exemplary and not limiting.

표식물(135)의 형태가 ‘田’인 것은 예시에 불과하며, 이에 한정되지는 않는다. 표식물(135)의 형태가 ‘田’가 아닌 경우에도 표식물(135)의 형태의 왜곡 정도를 바탕으로, 촬영한 지점의 거리와 방향을 판단하는 방법은 동일할 수 있다.It is to be understood that the shape of the marking material 135 is 'rice field', and is not limited thereto. Even when the shape of the mark 135 is not 'paddy', the method of determining the distance and direction of the point of photographing may be the same based on the degree of distortion of the shape of the mark 135.

도 4는 본 발명의 일 실시예에 따른, 영상 처리 서버에서 제1 UAV와 제2 UAV의 위치를 판단하는 것을 설명하는 도면이다.4 is a diagram for explaining the determination of the positions of a first UAV and a second UAV in an image processing server according to an embodiment of the present invention.

도 4를 참조하여, 본 발명의 일 실시예에 따른 영상 처리 서버(160)가 상기 제1 표식물 정보 및 상기 제2 표식물 정보를 바탕으로 제1 UAV(110) 및 제2 UAV(120)의 위치를 판단하는 것을 자세하게 설명한다.Referring to FIG. 4, the image processing server 160 according to an embodiment of the present invention locates the first UAV 110 and the second UAV 120 on the basis of the first marker information and the second marker information, Will be described in detail.

도2 내지 도3의 설명과 같이, 영상 처리 서버(160)는 제1 표식물 정보 및 제2 표식물 정보를 바탕으로 표식물(135)을 원점으로 하는 가상의 좌표계에서 제1 UAV(110)와의 거리 R1과 방향각 T1을 도출할 수 있고, 제2 UAV(120)와의 거리 R2와 방향각 T2를 도출할 수 있다.2 to 3, the image processing server 160 calculates the distance R1 from the first UAV 110 to the first UAV 110 in a virtual coordinate system having the marker 135 as the origin, based on the first marker information and the second marker information And the directional angle T1 can be derived, and the distance R2 and the directional angle T2 to the second UAV 120 can be derived.

상기 R1 및 T1을 바탕으로 제1 UAV(110)의 위치 좌표(x1, y1, z1)를 도출할 수 있다. 상기 R2 및 T2를 바탕으로 및 제2 UAV(120)의 위치 좌표(x2, y2, z2)를 도출할 수 있다.The positional coordinates (x1, y1, z1) of the first UAV 110 can be derived based on the R1 and T1. Based on the R2 and T2 and the positional coordinates (x2, y2, z2) of the second UAV 120 can be derived.

제1 UAV(110)의 위치 좌표(x1, y1, z1)와 제2 UAV(120)의 위치 좌표(x2, y2, z2)를 바탕으로 벡터 연산을 적용하면, 제1 UAV(110)와 제2 UAV(120) 사이의 거리 R12 및 상대 방위각 T12를 산출할 수 있다.If a vector operation is applied based on the positional coordinates (x1, y1, z1) of the first UAV 110 and the positional coordinates (x2, y2, z2) of the second UAV 120, The distance R12 between the two UAVs 120 and the relative azimuth angle T12 can be calculated.

예를 들어서, 거리 R12는 수식

을 이용하여 산출할 수 있다.For example, the distance R12 may be calculated using equation

. &Lt; / RTI >

본 발명의 일 실시예에 따르면, 제1 UAV(110)와 제2 UAV(120) 사이의 거리 R12는 스테레오 비전 처리를 위한 베이스 라인 길이(B) 일 수 있다. 스테레오 비전 처리를 위해서는 촬영 장치 사이의 거리인 베이스 라인 길이 정보가 필요하다. 본 발명의 일 실시예에 따른 영상 처리 서버(160)는 제1 UAV(110) 및 제2 UAV(120)에서 촬영된 제1 영상 정보 및 제2 영상 정보를 이용하여 스테레오 비전을 처리한다. 따라서, 거리 R12는 베이스 라인 길이(B)가 될 수 있다.According to one embodiment of the present invention, the distance R12 between the first UAV 110 and the second UAV 120 may be a baseline length B for stereo vision processing. For stereo vision processing, baseline length information, which is the distance between imaging devices, is required. The image processing server 160 according to an embodiment of the present invention processes the stereo vision using the first image information and the second image information captured by the first UAV 110 and the second UAV 120. [ Thus, the distance R12 can be the baseline length B.

도 5는 본 발명의 일 실시예에 따른, 영상 처리 서버에서 장애물에 대한 깊이 정보를 생성하는 것을 설명하는 도면이다.5 is a diagram for explaining generation of depth information on an obstacle in an image processing server according to an embodiment of the present invention.

도 5를 참조하여, 본 발명의 일 실시예에 따른 영상 처리 서버가 상기 산출된 베이스 라인(B)을 바탕으로 영상 정보에 포함된 장애물(150)의 깊이 정보(di)를 도출하는 것을 자세하게 설명한다.5, the image processing server according to an embodiment of the present invention derives depth information di of the obstacle 150 included in the image information on the basis of the calculated base line B do.

본 발명의 일 실시예에 따른 영상 처리 서버(160)는 도4의 설명에서 산출된 베이스 라인 길이(B), 제1 UAV(110)로부터 수신한 제1 영상 정보 및 제2 UAV(120)로부터 수신한 제2 영상 정보를 바탕으로 스테레오 비전 처리를 수행할 수 있다. 상기 스테레오 비전 처리는 영상 정보에 포함된 오브젝트에 대한 깊이 정보를 도출하는 것을 포함할 수 있다.The image processing server 160 according to an embodiment of the present invention may include a base line length B calculated in the description of FIG. 4, first image information received from the first UAV 110, And the stereo vision processing can be performed based on the received second image information. The stereo vision processing may include deriving depth information for an object included in the image information.

본 발명의 일 실시예에 따른 영상 처리 서버(160)는 상기 제1 영상 정보 및 제2 영상 정보에 공통적으로 포함된 장애물(150)의 깊이 정보를 스테레오 비전 처리를 통해서 도출한다.The image processing server 160 according to an embodiment of the present invention derives the depth information of the obstacle 150 commonly included in the first image information and the second image information through stereo vision processing.

상기 제1 영상 정보 및 제2 영상 정보는 각 지상 영역을 촬영 할 때의 촬영 각도를 포함한다. The first image information and the second image information include a photographing angle when photographing the ground area.

영상 처리 서버(160)는 상기 베이스 라인 길이(B)와 상기 촬영 각도를 이용하여 상기 제1 영상 정보 및 제2 영상 정보에 공통적으로 포함된 장애물(150)의 깊이 정보(di)를 도출할 수 있다.The image processing server 160 can derive the depth information di of the obstacle 150 commonly included in the first image information and the second image information using the base line length B and the photographing angle have.

예를 들어서, 제1 영상 정보에 포함된 촬영 각도가 φ1이고, 제2 영상 정보에 포함된 촬영 각도가 φ2이다. φ1, φ2 및 베이스 라인 길이(B)를 코사인 제2 법칙에 적용하면, 제1 UAV(110)와 장애물(150)과의 거리인 d1, 제1 UAV(110)와 장애물(150)과의 거리인 d2가 도출된다. 장애물(150)의 깊이 정보(di)는, 장애물(150)을 지나는 가상의 직선과 제1 UAV(110)와 제2 UAV(120)를 연결하는 가상의 직선이 만나는 지점(510)으로부터 장애물(150)까지의 거리라고 정의할 수 있다. 깊이 정보(di)는 d1, φ1 및 피타고라스 정리를 이용하면 도출될 수 있다. 즉 깊이 정보(di)는

이다.For example, the photographing angle included in the first image information is? 1 and the photographing angle included in the second image information is? 2. the distance d1 between the first UAV 110 and the obstacle 150 and the distance between the first UAV 110 and the obstacle 150 can be obtained by applying the first and

second UAVs

110 and 120 and the baseline length B to the cosine second rule, D2 < / RTI > The depth information di of the obstacle 150 is obtained from a point 510 at which a virtual straight line passing through the obstacle 150 and a virtual straight line connecting the first UAV 110 and the second UAV 120 meet 150). &Lt; / RTI > The depth information di can be derived using d 1, φ 1 and the Pythagorean theorem. That is, the depth information di

to be.

위에서 설명한 깊이 정보(di)를 도출하는 것은 하나의 예시에 불과하면 이에 한정되지는 않는다. 스테레오 비전 처리를 통한 깊이 정보를 도출하는 것은 공지의 기술에 해당하므로 중복된 설명을 방지하기 위하여 생략하기로 한다.Deriving the depth information di described above is not limited to just one example. Deriving depth information through stereo vision processing is well known in the art and will be omitted in order to avoid redundant description.

영상 처리 서버(160)는 깊이 정보(di)를 도출되지 않는 경우, 깊이 정보(di)가 도출될 때까지, 제1 UAV(110) 및 제2 UAV(120)에 이동 제어 명령을 전송할 수 있다. 제1 UAV(110) 및 제2 UAV(120)의 위치가 바뀌면, 베이스 라인 길이(B)도 조정된다. 베이스 라인 길이(B)가 길수록, 더 멀리 있는 장애물(150)까지의 깊이 정보(di)를 측정할 수 있다.If the depth information di is not derived, the image processing server 160 may transmit a movement control command to the first UAV 110 and the second UAV 120 until the depth information di is derived . When the positions of the first UAV 110 and the second UAV 120 are changed, the base line length B is also adjusted. As the baseline length B is longer, the depth information di up to the obstacle 150 farther away can be measured.

도 6은 본 발명의 다른 실시예에 따른, 제1 UAV에서 생성된 장애물과 표식물을 포함하는 제1 영상의 예시이고, 도 7은 본 발명의 다른 실시예에 따른, 제2 UAV에서 생성된 장애물과 표식물을 포함하는 제2 영상의 예시이다.FIG. 6 is an illustration of a first image comprising an obstacle and markers generated in a first UAV, according to another embodiment of the present invention, and FIG. 7 is an illustration of an obstacle generated in a second UAV, And a second image including a marker.

도 6 내지 도7을 참조하여, 본 발명의 다른 실시예에 따른, 제1 UAV(110) 및 제2 UAV(120)에서 단일 카메라를 이용하여 표식물(135)과 장애물(150)을 포함하는 제1 영상 정보 및 제2 영상 정보를 생성하는 것을 자세하게 설명한다.6 through 7, a single camera in the first UAV 110 and the second UAV 120, in accordance with another embodiment of the present invention, includes a marker 135 and an obstacle 150, 1 image information and the second image information will be described in detail.

본 발명의 다른 실시예에 따르면, 제1 UAV(110)는 제1 영상 촬영부(114)가 표식물(610)과 지상 영역을 모두 포함하는 제1 영상 정보(600)를 생성할 수 있다. 제2 UAV(120)는 제2 영상 촬영부(124)가 표식물(610)과 지상 영역을 모두 포함하는 제1 영상 정보(700)를 생성할 수 있다. According to another embodiment of the present invention, the first UAV 110 may generate the first image information 600 including the landmark 610 and the terrestrial region. The second UAV 120 may generate the first image information 700 including both the landmark 610 and the terrestrial region.

본 발명의 다른 실시예에 따른, 영상 처리 서버(160)는 제1 영상 정보(600)에서 제1 표식물 정보를 추출할 수 있고, 제2 영상 정보(700)에서 제2 표식물 정보를 추출하여 스테레오 비전 처리에 사용할 수 있다.The image processing server 160 may extract the first marker information from the first image information 600 and extract the second marker information from the second image information 700 according to another embodiment of the present invention, Can be used for vision processing.

도 8은 본 발명의 일 실시예에 따른, 제1 UAV의 구성도이다.8 is a configuration diagram of a first UAV according to an embodiment of the present invention.

도 8을 참조하여, 본 발명의 일 실시예에 따른 제1 UAV(110)의 구성을 자세하게 설명한다.The configuration of the first UAV 110 according to an embodiment of the present invention will be described in detail with reference to FIG.

본 발명의 일 실시예에 따른 제1 UAV(110)는 제1 표식물 촬영부(112), 제1 표식물 정보 생성부(116), 제1 영상 촬영부(114), 제1 영상 정보 생성부(117) 및 제1 전송부(119)를 포함할 수 있다.The first UAV 110 according to an embodiment of the present invention includes a first marker image capturing unit 112, a first marker information generating unit 116, a first image capturing unit 114, a first image information generating unit 117 and a first transmission unit 119. [

제1 표식물 촬영부(112)는 표식물(135)을 트래킹하면서 촬영할 수 있다. 제1 표식물 촬영부(112)는 촬영 수단을 포함할 수 있다. 예를 들어서, 상기 촬영 수단은 카메라 장치, 비디오 촬영 장치 중에서 어느 하나를 포함할 수 있지만, 이에 한정되는 것은 아니다.The first marker photographing unit 112 can photograph the markers 135 while tracking them. The first marker photographing section 112 may include photographing means. For example, the photographing means may include any one of a camera device and a video photographing device, but is not limited thereto.

제1 표식물 촬영부(112)는 제1 UAV(110)의 위치가 바뀌어도 표식물(135)을 트래킹 하면서 촬영하기 위하여 상기 촬영 수단의 촬영 방향을 제어할 수 있다.The first marker image capturing unit 112 may control the photographing direction of the photographing means to photograph the marker 135 while tracking the first UAV 110 even if the position of the first UAV 110 is changed.

제1 표식물 촬영부(112)는 상기 촬영 수단에 의해 촬영된 표식물(135)을 포함하는 제1 촬영 이미지를 제1 표식물 정보 생성부(116)에 제공할 수 있다.The first marker image capturing unit 112 may provide the first captured image information including the landmarks 135 photographed by the photographing unit to the first marker information generating unit 116.

제1 표식물 정보 생성부(116)는 상기 제공 받은 제1 촬영 이미지를 포함하는 제1 표식물 정보를 생성할 수 있다. 제1 표식물 정보 생성부(116)는 상기 생성된 제1 표식물 정보를 제1 전송부(119)에 제공할 수 있다.The first marker information generating unit 116 may generate first marker information including the first captured image. The first marker information generator 116 may provide the generated first marker information to the first transmitter 119.

제1 영상 촬영부(114)는 제1 UAV(110)의 아래 방향에 있는 지상 영역을 촬영할 수 있다. 제1 영상 촬영부(114)는 촬영 수단을 포함할 수 있다. 예를 들어서, 상기 촬영 수단은 카메라 장치, 비디오 촬영 장치 중에서 어느 하나를 포함할 수 있지만, 이에 한정되는 것은 아니다. The first image capturing unit 114 can photograph the ground area in the downward direction of the first UAV 110. [ The first image capturing unit 114 may include an image capturing unit. For example, the photographing means may include any one of a camera device and a video photographing device, but is not limited thereto.

제1 영상 촬영부(114)는 지상의 장애물을 포함하는 지상 영역을 촬영할 수 있다. 제1 영상 촬영부(114)는 상기 촬영된 지상 영역 및 상기 지상 영역을 촬영할 때의 상기 촬영 속성값을 포함하는 촬영 정보를 제1 영상 정보 생성부(117)에 제공할 수 있다. 상기 촬영 속성값은 상기 촬영 수단의 촬영 방향 각도, 상기 촬영 수단의 셔터 속도, 상기 촬영 수단의 조리개 값 및 상기 촬영 수단의 줌 설정을 포함할 수 있지만, 이에 한정되는 것은 아니다.The first image capturing unit 114 may photograph a ground area including an obstacle on the ground. The first image capturing unit 114 may provide the first image information generating unit 117 with image capturing information including the capturing attribute value when capturing the photographed terrestrial area and the ground area. The photographing attribute value may include an angle of the photographing direction of the photographing means, a shutter speed of the photographing means, a diaphragm value of the photographing means, and a zoom setting of the photographing means, but is not limited thereto.

제1 영상 정보 생성부(117)는 상기 제공 받은 지상 영역 및 촬영 정보를 포함하는 제1 영상 정보를 생성할 수 있다. 제1 영상 정보 생성부(117)는 상기 생성된 제 영상 정보를 제1 전송부(119)에 제공할 수 있다.The first image information generating unit 117 may generate first image information including the provided terrestrial region and photographing information. The first image information generator 117 may provide the generated image information to the first transmitter 119.

제1 전송부(119)는 상기 제공 받은 제1 표식물 정보 및 제1 영상 정보를 영상 처리 서버(160)에 전송할 수 있다. The first transmitting unit 119 may transmit the first marker information and the first image information to the image processing server 160.

제1 전송부(119)는 3G, LTE, LTE-A, WiFi 및 블루투스 중에서 어느 하나의 통신 방식을 이용하여 전송할 수 있지만, 이에 한정되는 것은 아니다.The first transmission unit 119 can transmit using any one of 3G, LTE, LTE-A, WiFi, and Bluetooth, but is not limited thereto.

도 9는 본 발명의 일 실시예에 따른, 제2 UAV의 구성도이다.9 is a configuration diagram of a second UAV according to an embodiment of the present invention.

도 9를 참조하여, 본 발명의 일 실시예에 따른 제2 UAV(120)의 구성을 자세하게 설명한다.The configuration of the second UAV 120 according to an embodiment of the present invention will be described in detail with reference to FIG.

본 발명의 일 실시예에 따른 제2 UAV(120)는 제2 표식물 촬영부(122), 제2 표식물 정보 생성부(126), 제2 영상 촬영부(124), 제2 영상 정보 생성부(127) 및 제2 전송부(129)를 포함할 수 있다.The second UAV 120 according to an embodiment of the present invention includes a second marker image capturing unit 122, a second marker information generating unit 126, a second image capturing unit 124, a second image information generating unit 127 and a second transmission unit 129. [

제2 표식물 촬영부(122)는 표식물(135)을 트래킹하면서 촬영할 수 있다. 제2 표식물 촬영부(122)는 촬영 수단을 포함할 수 있다. 예를 들어서, 상기 촬영 수단은 카메라 장치, 비디오 촬영 장치 중에서 어느 하나를 포함할 수 있지만, 이에 한정되는 것은 아니다.The second marker photographing unit 122 can photograph the markers 135 while tracking them. The second marker photographing section 122 may include photographing means. For example, the photographing means may include any one of a camera device and a video photographing device, but is not limited thereto.

제2 표식물 촬영부(122)는 제2 UAV(120)의 위치가 바뀌어도 표식물(135)을 촬영하기 위하여 상기 촬영 수단의 촬영 방향을 제어할 수 있다.The second marker photographing unit 122 can control the photographing direction of the photographing means 135 to photograph the landmark 135 even if the position of the second UAV 120 is changed.

제2 표식물 촬영부(122)는 상기 촬영 수단에 의해 촬영된 표식물(135)을 포함하는 제2 촬영 이미지를 제2 표식물 정보 생성부(126)에 제공할 수 있다.The second marker image capturing unit 122 may provide a second captured image including the marker image 135 photographed by the photographing means to the second marker information generating unit 126. [

제2 표식물 정보 생성부(126)는 상기 제공 받은 제2 촬영 이미지를 포함하는 제2 표식물 정보를 생성할 수 있다. 제2 표식물 정보 생성부(126)는 상기 생성된 제2 표식물 정보를 제2 전송부(129)에 제공할 수 있다.The second marker information generating unit 126 may generate second marker information including the second captured image. The second marker information generating unit 126 may provide the generated second marker information to the second transmitter 129.

제2 영상 촬영부(124)는 제2 UAV(120)의 아래 방향에 있는 지상 영역을 촬영할 수 있다. 제2 영상 촬영부(124)는 촬영 수단을 포함할 수 있다. 예를 들어서, 상기 촬영 수단은 카메라 장치, 비디오 촬영 장치 중에서 어느 하나를 포함할 수 있지만, 이에 한정되는 것은 아니다. And the second image capturing unit 124 can photograph the ground area in the downward direction of the second UAV 120. [ The second image capturing unit 124 may include an image capturing unit. For example, the photographing means may include any one of a camera device and a video photographing device, but is not limited thereto.

제2 영상 촬영부(124)는 지상의 장애물을 포함하는 지상 영역을 촬영할 수 있다. 제2 영상 촬영부(124)는 상기 촬영된 지상 영역 및 상기 지상 영역을 촬영할 때의 상기 촬영 속성값을 포함하는 촬영 정보를 제2 영상 정보 생성부(127)에 제공할 수 있다. 상기 촬영 속성값은 상기 촬영 수단의 촬영 방향 각도, 상기 촬영 수단의 셔터 속도, 상기 촬영 수단의 조리개 값 및 상기 촬영 수단의 줌 설정을 포함할 수 있지만, 이에 한정되는 것은 아니다.The second image capturing unit 124 may photograph a ground area including an obstacle on the ground. The second image capturing unit 124 may provide the second image information generating unit 127 with the image capturing information including the captured attribute value when capturing the photographed terrestrial area and the ground area. The photographing attribute value may include an angle of the photographing direction of the photographing means, a shutter speed of the photographing means, a diaphragm value of the photographing means, and a zoom setting of the photographing means, but is not limited thereto.

제2 영상 정보 생성부(127)는 상기 제공 받은 지상 영역 및 촬영 정보를 포함하는 제2 영상 정보를 생성할 수 있다. 제2 영상 정보 생성부(127)는 상기 생성된 제 영상 정보를 제2 전송부(129)에 제공할 수 있다.The second image information generating unit 127 may generate second image information including the provided land area and photographing information. The second image information generator 127 may provide the generated image information to the second transmitter 129.

제2 전송부(129)는 상기 제공 받은 제2 표식물 정보 및 제2 영상 정보를 영상 처리 서버(160)에 전송할 수 있다. The second transmitting unit 129 may transmit the second marker information and the second image information to the image processing server 160.

제2 전송부(129)는 3G, LTE, LTE-A, WiFi 및 블루투스 중에서 어느 하나의 통신 방식을 이용하여 전송할 수 있지만, 이에 한정되는 것은 아니다.The second transmission unit 129 may transmit data using any one of 3G, LTE, LTE-A, WiFi, and Bluetooth, but is not limited thereto.

도 10은 본 발명의 일 실시예에 따른, 영상 처리 서버의 구성도이다.10 is a configuration diagram of an image processing server according to an embodiment of the present invention.

도 10을 참조하여, 본 발명의 일 실시예에 따른 영상 처리 서버(160)의 구성을 자세하게 설명한다.Referring to FIG. 10, the configuration of the image processing server 160 according to an embodiment of the present invention will be described in detail.

본 발명의 일 실시예에 따른 영상 처리 서버(160)는 수신부(162), 위치 판단부(164) 및 스테레오 비전 처리부(166)를 포함할 수 있다.The image processing server 160 according to an exemplary embodiment of the present invention may include a receiver 162, a position determiner 164, and a stereo vision processor 166.

수신부(162)는 제1 UAV(110) 로부터 제1 표식물 정보 및 제1 영상 정보를 수신할 수 있다. 수신부(162)는 제2 UAV(120) 로부터 제2 표식물 정보 및 제2 영상 정보를 수신할 수 있다. The receiving unit 162 may receive the first marker information and the first image information from the first UAV 110. The receiving unit 162 may receive the second marker information and the second image information from the second UAV 120.

수신부(162)는 상기 수신한 제1 표식물 정보 및 제2 표식물 정보를 위치 판단부(164)에 제공할 수 있다. 수신부(162)는 상기 수신한 제1 영상 정보 및 제2 영상 정보를 스테레오 비전 처리부(166)에 제공할 수 있다.The receiving unit 162 may provide the received first marker information and second marker information to the position determiner 164. The receiving unit 162 may provide the received first image information and second image information to the stereo vision processing unit 166.

위치 판단부(164)는 상기 제공 받은 제1 표식물 정보 및 제2 표식물 정보를 바탕으로 제1 UAV(110) 및 제2 UAV(120)의 위치 정보를 도출할 수 있다. 상기 위치 정보는 표식물(135)을 원점으로 하는 가상의 좌표계의 좌표일 수 있다.The position determiner 164 may derive the position information of the first UAV 110 and the second UAV 120 based on the provided first marker information and the second marker information. The positional information may be coordinates of a virtual coordinate system having the marker 135 as an origin.

위치 판단부(164)는 상기 제1 표식물 정보 및 제2 표식물 정보에 포함된 표식물 형태와, 사전에 저장된 표식물(135)의 원본 형태를 비교하여, 상기 제1 표식물 정보 및 제2 표식물 정보에 포함된 영상이 촬영된 지점의 위치를 도출할 수 있다. The position determination unit 164 compares the marker type included in the first marker information and the second marker information with the original shape of the previously stored marker 135 and stores the comparison result in the first marker information and the second marker information It is possible to derive the position of the point where the captured image is photographed.

위치 판단부(164)는 상기 도출된 위치를 바탕으로 제1 UAV(110)의 위치 좌표 및 제2 UAV(120)의 위치 좌표를 도출할 수 있다. The position determiner 164 may derive the position coordinates of the first UAV 110 and the position coordinates of the second UAV 120 based on the derived positions.

위치 판단부(164)는 상기 제1 UAV(110)의 위치 좌표 및 제2 UAV(120)의 위치 좌표를 바탕으로, 제1 UAV(110)와 제2 UAV(120) 사이의 거리인 베이스 라인 길이를 도출할 수 있다. Based on the positional coordinates of the first UAV 110 and the position coordinates of the second UAV 120, the position determination unit 164 determines a position of the first UAV 120, which is a distance between the first UAV 110 and the second UAV 120, The length can be derived.

위치 판단부(164)는 상기 도출된 베이스 라인 길이를 스테레오 비전 처리부(166)에 제공할 수 있다.The position determination unit 164 may provide the derived base line length to the stereo vision processing unit 166. [

스테레오 비전 처리부(166)는 상기 베이스 라인 길이, 제1 영상 정보 및 제2 영상 정보를 바탕으로 스테레오 비전 처리를 수행할 수 있다. 스테레오 비전 처리부(166)는 상기 스테레오 비전 처리를 통해서, 상기 제1 영상 정보 및 제2 영상 정보에 포함된 장애물의 깊이 정보를 산출한다.The stereo vision processor 166 may perform stereo vision processing based on the base line length, the first image information, and the second image information. The stereo vision processor 166 calculates the depth information of the obstacles included in the first image information and the second image information through the stereo vision processing.

스테레오 비전 처리부(166)는 상기 제1 영상 정보 및 제2 영사 정보에 포함된 촬영 정보와 상기 베이스 라인 길이를 이용하여 상기 깊이 정보를 산출할 수 있다. 예를 들어서, 상기 촬영 정보에 포함된 촬영 각도와 상기 베이스 라인 길이를 코사인 법칙에 적용하여 상기 깊이 정보를 산출할 수 있다.The stereo vision processor 166 can calculate the depth information using the photographing information included in the first image information and the second image information and the base line length. For example, the depth information can be calculated by applying the shooting angle included in the shooting information and the baseline length to the cosine law.

스테레오 비전 처리부(166)는 상기 제1 영상 정보 및 제2 영상 정보에 포함된 각 장애물에 대한 깊이 정보를 산출하고, 상기 산출된 모든 깊이 정보를 포함하는 깊이 지도(depth map)을 생성할 수 있다.The stereo vision processor 166 may calculate the depth information of each obstacle included in the first image information and the second image information and generate a depth map including all the calculated depth information .

스테레오 비전 처리부(166)는 상기 생성된 깊이 지도를 무인 지상 차량(130)에 제공할 수 있다. 무인 지상 차량은 상기 깊이 지도를 바탕으로 상기 장애물을 회피하는 주행 경로를 설정할 수 있다.The stereo vision processor 166 may provide the generated depth map to the unmanned terrestrial vehicle 130. [ The unmanned ground vehicle may set a traveling route avoiding the obstacle based on the depth map.

도 11은 본 발명의 일 실시예에 따른, 복수의 UAV를 이용한 스테레오 비전 시스템의 구성 간의 신호 흐름도이다.11 is a signal flow diagram between configurations of a stereo vision system using a plurality of UAVs according to an embodiment of the present invention.

도 11을 참조하여, 본 발명의 일 실시예에 따른 복수의 UAV를 이용한 스테레오 비전 시스템(100)을 구성하는 제1 UAV(110), 제2 UAV(120) 및 영상 처리 서버(160) 사이의 신호 흐름을 자세하게 설명한다.11, a first UAV 110, a second UAV 120, and an image processing server 160 constituting a stereoscopic vision system 100 using a plurality of UAVs according to an embodiment of the present invention, Describe the signal flow in detail.

제1 UAV(110)는 표식물(135)을 촬영한다(S910). 제1 UAV(110)는 표식물(135)을 계속적으로 트랙킹하면서 촬영할 수 있다. The first UAV 110 captures the landmark 135 (S910). The first UAV 110 can photograph the markers 135 while continuously tracking them.

제1 UAV(110)는 상기 촬영된 표식물(135)을 포함하는 제1 표식물 정보를 생성한다(S915). 상기 제1 표식물 정보는, 표식물(135)이 포함된 영상 정보 및 표식물(135)을 촬영할 때의 촬영 정보를 포함할 수 있다.The first UAV 110 generates first marker information including the photographed marker 135 (S915). The first marker information may include image information including the markers 135 and photographing information when the markers 135 are photographed.

제1 UAV(110)는 지상 영역을 촬영한다(S920). 상기 지상 영역은 장애물(150)을 포함할 수 있다. 상기 지상 영역은 제1 UAV(110) 아래쪽 영역일 수 있다.The first UAV 110 captures the ground area (S920). The terrestrial region may include an obstacle 150. The terrestrial region may be a region below the first UAV 110. [

제1 UAV(110)는 상기 지상 영역을 포함하는 제1 영상 정보를 생성한다(S925). 상기 제1 영상 정보는 상기 지상 영역을 촬영한 영상 정보 및 상기 지상 영역을 촬영할 때의 촬영 정보를 포함할 수 있다.The first UAV 110 generates first image information including the ground area (S925). The first image information may include image information of the ground area and photographing information of the ground area.

제1 UAV(110)는 상기 제1 표식물 정보 및 제1 영상 정보를 영상 처리 서버(160)에 전송한다(S930). 상기 전송을 3G, LTE, LTE-A, WiFi 또는 블루투스 중에서 어느 하나를 이용한 무선 통신 방식으로 전송될 수 있다.The first UAV 110 transmits the first marker information and the first image information to the image processing server 160 (S930). The transmission may be transmitted in a wireless communication manner using any one of 3G, LTE, LTE-A, WiFi, or Bluetooth.

제2 UAV(120)는 표식물(135)을 촬영한다(S940). 제2 UAV(120)는 표식물(135)을 계속적으로 트랙킹하면서 촬영할 수 있다.The second UAV 120 captures the marker 135 (S940). The second UAV 120 can shoot the markers 135 while continuously tracking them.

제2 UAV(120)는 상기 촬영된 표식물(135)을 포함하는 제2 표식물 정보를 생성한다(S945). 상기 제2 표식물 정보는, 표식물(135)이 포함된 영상 정보 및 표식물(135)을 촬영할 때의 촬영 정보를 포함할 수 있다.The second UAV 120 generates second marker information including the photographed marker 135 (S945). The second marker information may include image information including the markers 135 and photographing information when the markers 135 are photographed.

제2 UAV(120)는 지상 영역을 촬영한다(S950). 상기 지상 영역은 장애물(150)을 포함할 수 있다. 상기 지상 영역은 제2 UAV(120) 아래쪽 영역일 수 있다.The second UAV 120 captures the ground area (S950). The terrestrial region may include an obstacle 150. The terrestrial region may be a region below the second UAV 120. [

제2 UAV(120)는 상기 지상 영역을 포함하는 제2 영상 정보를 생성한다(S955). 상기 제2 영상 정보는 상기 지상 영역을 촬영한 영상 정보 및 상기 지상 영역을 촬영할 때의 촬영 정보를 포함할 수 있다.The second UAV 120 generates second image information including the ground area (S955). The second image information may include image information of the ground area and photographing information of the ground area.

제2 UAV(120)는 상기 제2 표식물 정보 및 제2 영상 정보를 영상 처리 서버(160)에 전송한다(S960). 상기 전송을 3G, LTE, LTE-A, WiFi 또는 블루투스 중에서 어느 하나를 이용한 무선 통신 방식으로 전송될 수 있다.The second UAV 120 transmits the second marker information and the second image information to the image processing server 160 (S960). The transmission may be transmitted in a wireless communication manner using any one of 3G, LTE, LTE-A, WiFi, or Bluetooth.

영상 처리 서버(160)는 상기 제1 표식물 정보 및 제1 표식물 정보를 바탕으로 제1 UAV(110) 및 제2 UAV(120)의 위치를 판단한다(S970). 제1 UAV(110) 및 제2 UAV(120)의 상기 위치는 표식물(135)를 원점으로 하는 가상의 좌표계 상의 좌표 정보일 수 있다.The image processing server 160 determines the positions of the first UAV 110 and the second UAV 120 based on the first marker information and the first marker information (S970). The position of the first UAV 110 and the second UAV 120 may be coordinate information on a virtual coordinate system with the marker 135 as the origin.

영상 처리 서버(160)는 상기 판단된 제1 UAV(110) 및 제2 UAV(120)의 위치를 바탕으로 제1 UAV(110)와 제2 UAV(120) 사이의 거리를 산출한다(S980). 영상 처리 서버(160)는 제1 UAV(110) 및 제2 UAV(120)의 상기 위치를 나타내는 상기 좌표 정보를 바탕으로 상기 거리를 산출할 수 있다.The image processing server 160 calculates the distance between the first UAV 110 and the second UAV 120 based on the determined positions of the first UAV 110 and the second UAV 120 in operation S980. . The image processing server 160 may calculate the distance based on the coordinate information indicating the position of the first UAV 110 and the second UAV 120. [

영상 처리 서버(160)는 상기 산출된 거리, 상기 제1 영상 정보 및 상기 제2 영상 정보를 바탕으로 스테레오 비전 처리를 수행한다(S990). 영상 처리 서버(160)는 상기 스테레오 비전 처리를 통해서, 상기 제1 영상 정보 및 상기 제2 영상 정보에 포함된 각 장애물의 깊이 정보를 도출할 수 있다. 영상 처리 서버(160)는 상기 도출된 각 장애물의 깊이 정보를 포함하는 깊이 지도를 생성할 수 있다.The image processing server 160 performs stereo vision processing based on the calculated distance, the first image information, and the second image information (S990). The image processing server 160 may derive depth information of each obstacle included in the first image information and the second image information through the stereo vision processing. The image processing server 160 may generate a depth map including depth information of each of the obstacles.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

110 : 제1 UAV 120 : 제2 UAV
130 : 무인 지상 차량 140 : 장애물
160 : 영상 처리 서버110: First UAV 120: Second UAV
130: unmanned ground vehicle 140: obstacle
160: image processing server

Claims

A first UAV (Unmanned Aerial Vehicle) for generating a first marker information by photographing a landmark and generating a first image information by photographing a land area including an obstacle;
A second UAV for photographing the landmark to generate second landmark information, and photographing a land area including the obstacle to generate second image information; And
The first UAV and the second UAV, based on the first marker information and the second marker information, and calculates a distance between the first image information, the second image information, and the baseline distance And an image processing server for deriving depth information of the obstacle based on the depth information,
The baseline distance may be,
The first UAV and the second UAV,
Stereo vision system using multiple UAVs.

The method according to claim 1,
The first UAV comprises:
A first marker photographing unit photographing the marker and generating the first marker information including the marker;
A first image capturing unit for capturing an image of a ground area included in the obstacle and generating the first image information; And
And a first transmitter for transmitting the first marker information and the first image information to the image processing server.
Stereo vision system using multiple UAVs.

The method according to claim 1,
The second UAV includes:
A second marker photographing unit for photographing the markers to generate the first marker information including the markers;
A second image capturing unit for capturing an image of a ground area included in the obstacle and generating the first image information; And
And a second transmitter for transmitting the second marker information and the second image information to the image processing server.
Stereo vision system using multiple UAVs.

The method according to claim 1,
Wherein the image processing server comprises:
A receiving unit for receiving the first marker information, the first image information, the second marker information, and the second image information;
A position determiner for comparing the first marker information and the second marker information with previously stored marker information to calculate a first coordinate of the first UAV and a second coordinate of the second UAV with the marker as an origin; And
And a stereo vision processor for deriving depth information of the obstacle based on the baseline distance, the first image information, and the second image information calculated on the basis of the first position and the second position,
Stereo vision system using multiple UAVs.

The method according to claim 1,
Further comprising an unmanned ground vehicle in which the landmark is installed at the top
Stereo vision system using multiple UAVs.

A first UAV for generating a first image information by photographing a land area including a landmark and an obstacle;
A second UAV for photographing a land area including the landmark and the obstacle to generate second image information; And
Calculating a baseline distance, which is a distance between the first UAV and the second UAV, based on the shape of the markers included in the first image and the second image, and outputting the first image information, And an image processing server for deriving depth information of the obstacle based on the baseline distance,
The baseline distance may be,
The first UAV and the second UAV,
Stereo vision system using multiple UAVs

The first UAV photographing the marker to generate first marker information comprising the marker;
Capturing a land area including the obstacle by the first UAV and generating first image information including the land area;
The first UAV transmitting the first marker information and the first image information to an image processing server;
The second UAV capturing the marker and generating second marker information comprising the marker;
Capturing a land area including the obstacle by the second UAV and generating second image information including the land area;
Transmitting, by the second UAV, the second marker information and the second image information to an image processing server;
Receiving, by the image processing server, the first marker information, the first image information, the second marker information, and the second image information;
Calculating a baseline distance indicating a distance between the first UAV and the second UAV based on the first marker information and the second marker information; And
Wherein the projection processing server derives depth information of the obstacle based on the first image information, the second image information, and the baseline distance.
A method of implementing stereo vision using multiple UAVs.

8. The method of claim 7,
Wherein the step of calculating the baseline distance comprises:
Comparing the first marker information with previously stored marker information to calculate a first coordinate of the first UAV on a virtual coordinate system having the marker as an origin;
Comparing the second marker information with the previously stored marker information to calculate a second coordinate of the second UAV on a virtual coordinate system having the marker as an origin; And
And calculating a distance between the first coordinate and the second coordinate as the baseline distance.
A method of implementing stereo vision using multiple UAVs.