KR101634878B1 - Apparatus and method for matching aviation image using swarm filght of unmanned vehicle - Google Patents

Apparatus and method for matching aviation image using swarm filght of unmanned vehicle Download PDF

Info

Publication number
KR101634878B1
KR101634878B1 KR1020140177224A KR20140177224A KR101634878B1 KR 101634878 B1 KR101634878 B1 KR 101634878B1 KR 1020140177224 A KR1020140177224 A KR 1020140177224A KR 20140177224 A KR20140177224 A KR 20140177224A KR 101634878 B1 KR101634878 B1 KR 101634878B1
Authority
KR
South Korea
Prior art keywords
image
aerial
unmanned aerial
vehicles
matching
Prior art date
Application number
KR1020140177224A
Other languages
Korean (ko)
Other versions
KR20160070375A (en
Inventor
문성태
김민지
장종태
한상혁
엄위섭
공현철
황인희
Original Assignee
한국항공우주연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공우주연구원 filed Critical 한국항공우주연구원
Priority to KR1020140177224A priority Critical patent/KR101634878B1/en
Publication of KR20160070375A publication Critical patent/KR20160070375A/en
Application granted granted Critical
Publication of KR101634878B1 publication Critical patent/KR101634878B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

무인 비행체의 군집 비행을 이용한 항공 영상 정합 장치 및 방법이 개시된다.
항공 영상 정합 장치는 군집 비행(Swarm Flight)하는 복수의 무인 비행체들이 각각 촬영한 항공 영상들을 수신하는 단계; 상기 무인 비행체들의 위치 정보를 식별하는 단계; 및 상기 무인 비행체들의 위치 정보를 기초로 상기 항공 영상들을 정합하여 정합 영상을 생성하는 단계를 포함할 수 있다.Disclosed is an apparatus and method for matching an aviation image using a cluster flight of an unmanned aerial vehicle.
The aviation image matching apparatus includes: a step of receiving aerial images taken by a plurality of unmanned aerial vehicles swarming in a swarm flight; Identifying location information of the unmanned aerial vehicles; And generating the matching image by matching the aerial images based on the position information of the unmanned aerial vehicles.

Figure R1020140177224
Figure R1020140177224

Description

무인 비행체의 군집 비행을 이용한 항공 영상 정합 장치 및 방법{APPARATUS AND METHOD FOR MATCHING AVIATION IMAGE USING SWARM FILGHT OF UNMANNED VEHICLE}[0001] APPARATUS AND METHOD FOR MATCHING AVIATION IMAGE USING SWARM FILGHT OF UNMANNED VEHICLE [0002]

본 발명은 항공 영상 정합 장치 및 방법에 관한 것으로, 보다 상세하게는 복수의 무인 비행체들이 촬영한 항공 영상을 정합하는 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for matching an aviation image, and more particularly, to an apparatus and method for matching aerial images captured by a plurality of unmanned aerial vehicles.

최근 들어 무인 비행체를 이용하여 지상을 촬영한 항공 영상을 제공하는 기술이 개발되고 있다.In recent years, technologies for providing aerial images of the ground using an unmanned aerial vehicle have been developed.

무인 비행체를 이용한 항공 영상은 종래의 비행기 또는 헬기를 이용한 항공 영상보다 비용이 저렴하므로, 방송이나 지도 제작, 또는 특정 객체 추적에 사용되고 있다. 이때, 무인 비행체가 촬영할 수 있는 범위에는 한계가 있다. 따라서, 마라톤 대회와 같이 넓은 지역에서 수행되는 행사의 경우, 복수의 무인 비행체를 이용하여 지상을 촬영한다. Aerial images using unmanned aerial vehicles are lower in cost than aerial images using conventional airplanes or helicopters, and thus are used for broadcasting, mapping, or tracking specific objects. At this time, there is a limit to the range that the unmanned aerial vehicle can shoot. Therefore, in the case of an event held in a large area such as a marathon, the ground is photographed using plural unmanned aerial vehicles.

그러나, 무인 비행체들이 각각 촬영하는 영상이 중복되는 경우, 추적하는 대상의 숫자가 위치가 혼동될 수 있다. 또한, 무인 비행체들이 일정 거리 이상 간격을 유지하며 영상을 촬영하는 경우, 촬영하는 영상들 사이에 촬영이 안 되는 영역이 존재할 수 있다. However, if images taken by unmanned aerial vehicles overlap each other, the number of tracked objects may be confused with the location. Also, when an unmanned aerial vehicle captures an image while maintaining an interval of a predetermined distance or more, there may be an area where shooting can not be performed between images.

따라서, 무인 비행체들이 촬영하는 영상을 정합하여 중복이나 촬영이 안 되는 영역 없는 영상을 생성, 및 제공하는 방법이 요청되고 있다.Accordingly, there is a demand for a method of generating and providing an image without overlapping regions or images that are not photographed by matching images captured by unmanned aerial vehicles.

본 발명은 복수의 무인 비행체들이 각각 촬영한 항공 영상을 정합하여 정합 영상을 생성함으로써, 무인 비행체들이 각각 촬영할 수 있는 영역보다 넓거나 긴 영역이 포함된 영상을 생성하는 장치 및 방법을 제공할 수 있다.The present invention can provide an apparatus and method for generating an image including a region that is wider or longer than an area that each of the unmanned aerial vehicles can photograph, by generating a matching image by matching the aerial images photographed by the plurality of unmanned aerial vehicles .

또한, 본 발명은 무인 비행체들이 각각 촬영하는 영역에서 중복되는 영역을 추출하고, 추출한 영역에서 중복에 의한 이상점을 검색함으로써, 이상점 검색 속도를 향상시키는 장치 및 방법을 제공할 수 있다.In addition, the present invention can provide an apparatus and method for improving an abnormal point retrieval speed by extracting overlapping regions in an area taken by each of the unmanned aerial vehicles and searching for an abnormal point due to redundancy in the extracted region.

본 발명의 일실시예에 따른 항공 영상 정합 방법은 군집 비행(Swarm Flight)하는 복수의 무인 비행체들이 각각 촬영한 항공 영상들을 수신하는 단계; 상기 무인 비행체들의 위치 정보를 식별하는 단계; 및 상기 무인 비행체들의 위치 정보를 기초로 상기 항공 영상들을 정합하여 정합 영상을 생성하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided an aviation image matching method comprising: receiving aviation images taken by a plurality of swarm-flying unmanned aerial vehicles; Identifying location information of the unmanned aerial vehicles; And generating the matching image by matching the aerial images based on the position information of the unmanned aerial vehicles.

본 발명의 일실시예에 따른 항공 영상 정합 방법의 정합 영상을 생성하는 단계는, 서로 다른 무인 비행체들로부터 수신한 항공 영상들과 서로 다른 무인 비행체들의 위치 정보를 이용하여 상기 항공 영상들에서 중복되는 중복 영역을 추출하는 단계; 및 상기 중복 영역을 처리하여 상기 항공 영상들을 정합하는 단계를 포함할 수 있다.The step of generating the matching image of the aviation image matching method according to an embodiment of the present invention may include a step of generating a matching image by using the position information of the aviation images received from the different unmanned aerial vehicles and the different unmanned aerial vehicles Extracting redundant regions; And matching the aerial images by processing the overlapping area.

본 발명의 일실시예에 따른 항공 영상 정합 방법의 중복 영역을 추출하는 단계는, 상기 무인 비행체들의 고도와 상기 무인 비행체들이 항공 영상을 촬영한 카메라의 화각(angle of view)을 기초로 항공 영상에 포함된 영역의 넓이를 식별하는 단계; 상기 무인 비행체들의 위치 정보에 상기 식별한 영역의 넓이를 적용하여 상기 항공 영상에 포함된 영역의 위치를 식별하는 단계; 및 서로 다른 무인 비행체들로부터 수신한 항공 영상들에 포함된 영역의 위치들을 비교하여 복수의 항공 영상에서 중복 영역을 추출하는 단계를 포함할 수 있다.The step of extracting the overlapping area of the aviation image matching method according to an embodiment of the present invention may include extracting an overlap area of the aviation image based on the altitude of the unmanned air vehicles and the angle of view of the camera Identifying an area of the included area; Identifying a location of an area included in the aerial image by applying an area of the identified area to the location information of the unmanned aerial vehicles; And comparing the positions of the regions included in the aerial images received from the different unmanned aerial vehicles to extract the overlapped region from the plurality of aerial images.

본 발명의 일실시예에 따른 항공 영상 정합 방법의 위치 정보를 식별하는 단계는, RTK(Real-Time Kinematic) GPS를 이용하여 상기 무인 비행체들의 수평 위치를 식별하는 단계; 및 상기 무인 비행체들의 고도계, 또는 RTK를 이용하여 상기 무인 비행체들의 고도를 식별하는 단계를 포함할 수 있다.The step of identifying the location information of the aviation image matching method according to an embodiment of the present invention includes: identifying a horizontal position of the unmanned air vehicles using RTK (Real-Time Kinematic) GPS; And identifying altitudes of the unmanned aerial vehicles using altimeters or RTKs of the unmanned aerial vehicles.

본 발명의 일실시예에 따른 항공 영상 정합 방법의 무인 비행체들은 카메라를 이용하여 촬영한 영상에서 특징점을 추출하고, 카메라를 이용하여 촬영한 영상의 사이즈를 최소화하여 항공 영상을 생성하며, 항공 영상과 특징점을 전송할 수 있다.According to an embodiment of the present invention, the unmanned aerial vehicle of the present invention extracts feature points from an image captured by a camera, generates an aerial image by minimizing the size of the captured image using the camera, Feature points can be transmitted.

본 발명의 일실시예에 따른 항공 영상 정합 방법의 무인 비행체들은 기 설정된 고도를 비행하며, 카메라로 지상을 촬영하여 항공 영상을 생성할 수 있다.According to an embodiment of the present invention, the unmanned aerial vehicles of the airborne image matching method can fly at predetermined altitudes, and can photograph aerial images by photographing the ground with a camera.

본 발명의 일실시예에 따른 항공 영상 정합 방법은 네트워크의 대역 폭에 따라 상기 정합 영상의 사이즈를 변경하여 사용자 단말기에게 전송하는 단계를 더 포함할 수 있다.The aerial image matching method according to an embodiment of the present invention may further include changing the size of the matching image according to the bandwidth of the network and transmitting the size of the matching image to the user terminal.

본 발명의 일실시예에 따른 항공 영상 정합 방법은 상기 사용자 단말기로부터 정합 영상의 특정 영역의 확대 요청을 수신하는 경우, 특정 영역에 대응하는 무인 비행체를 식별하는 단계; 상기 특정 영역에 대응하는 무인 비행체에 사이즈가 증가된 확대 영상을 요청하는 단계; 상기 특정 영역에 대응하는 무인 비행체로부터 확대 영상을 수신하는 단계; 및 상기 확대 영상을 사용자 단말기에게 전송하는 단계를 더 포함할 수 있다.According to another aspect of the present invention, there is provided an aviation image matching method including the steps of: identifying an unmanned aerial vehicle corresponding to a specific area when receiving an enlargement request of a specific area of the matching image from the user terminal; Requesting an enlarged image having an increased size to an unmanned aerial vehicle corresponding to the specific area; Receiving an enlarged image from an unmanned aerial vehicle corresponding to the specific area; And transmitting the enlarged image to the user terminal.

본 발명의 일실시예에 따른 정합 영상 전송 방법은 군집 비행하는 복수의 무인 비행체들이 각각 촬영한 항공 영상들을 수신하는 단계; 상기 무인 비행체들의 위치 정보를 기초로 상기 항공 영상들을 정합하여 정합 영상을 생성하는 단계; 및 네트워크의 대역 폭에 따라 상기 정합 영상의 사이즈를 변경하여 사용자 단말기에게 전송하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of transmitting a registered image, the method comprising: receiving aerial images taken by a plurality of unmanned aerial vehicles; Generating a matching image by matching the aerial images based on the position information of the unmanned aerial vehicles; And changing the size of the matching image according to the bandwidth of the network and transmitting the size of the matching image to the user terminal.

본 발명의 일실시예에 따른 정합 영상 전송 방법의 정합 영상을 생성하는 단계는, 서로 다른 무인 비행체들로부터 수신한 항공 영상들과 서로 다른 무인 비행체들의 위치 정보를 이용하여 상기 항공 영상들에서 중복되는 중복 영역을 추출하는 단계; 및 상기 중복 영역을 처리하여 상기 항공 영상들을 정합하는 단계를 포함할 수 있다.The step of generating the matching image of the matching image transmission method according to an embodiment of the present invention may include a step of generating a matching image by using the position information of the unmanned aerial vehicles and the aerial images received from the different unmanned aerial vehicles, Extracting redundant regions; And matching the aerial images by processing the overlapping area.

본 발명의 일실시예에 따른 정합 영상 전송 방법의 무인 비행체들은, 카메라를 이용하여 촬영한 영상에서 특징점을 추출하고, 카메라를 이용하여 촬영한 영상의 사이즈를 최소화하여 항공 영상을 생성하며, 항공 영상과 특징점을 전송할 수 있다.According to an embodiment of the present invention, the unmanned aerial vehicles of the matching image transmission method extract feature points from an image captured by a camera, generate an aerial image by minimizing the size of the captured image using the camera, And feature points can be transmitted.

본 발명의 일실시예에 따른 정합 영상 전송 방법의 무인 비행체들은 기 설정된 고도를 비행하며, 카메라로 지상을 촬영하여 항공 영상을 생성할 수 있다.According to an embodiment of the present invention, the unmanned aerial vehicles of the matching image transmission method can fly at predetermined altitudes, and can photograph aerial images by photographing the ground with a camera.

본 발명의 일실시예에 따른 정합 영상 전송 방법은 상기 사용자 단말기로부터 정합 영상의 특정 영역의 확대 요청을 수신하는 경우, 특정 영역에 대응하는 무인 비행체를 식별하는 단계; 상기 특정 영역에 대응하는 무인 비행체에 사이즈가 증가된 확대 영상을 요청하는 단계; 상기 특정 영역에 대응하는 무인 비행체로부터 확대 영상을 수신하는 단계; 및 상기 확대 영상을 사용자 단말기에게 전송하는 단계를 더 포함할 수 있다.According to another aspect of the present invention, there is provided a method of transmitting a registered image, the method comprising: identifying an unmanned aerial vehicle corresponding to a specific area when receiving a request for enlarging a specific area of the matching image from the user terminal; Requesting an enlarged image having an increased size to an unmanned aerial vehicle corresponding to the specific area; Receiving an enlarged image from an unmanned aerial vehicle corresponding to the specific area; And transmitting the enlarged image to the user terminal.

본 발명의 일실시예에 따른 항공 영상 정합 장치는 군집 비행하는 복수의 무인 비행체들이 각각 촬영한 항공 영상들을 수신하는 수신기; 및 상기 무인 비행체들의 위치 정보를 기초로 상기 항공 영상들을 정합하여 정합 영상을 생성하는 프로세서를 포함할 수 있다.According to another aspect of the present invention, there is provided an aircraft image matching apparatus including: a receiver for receiving aerial images taken by a plurality of unmanned aerial vehicles; And a processor for matching the aerial images based on the position information of the unmanned aerial vehicles to generate a matching image.

본 발명의 일실시예에 따른 항공 영상 정합 장치의 프로세서는, 서로 다른 무인 비행체들로부터 수신한 항공 영상들과 서로 다른 무인 비행체들의 위치 정보를 이용하여 상기 항공 영상들에서 중복되는 중복 영역을 추출하고, 상기 중복 영역을 처리하여 상기 항공 영상들을 정합할 수 있다.The processor of the aviation image matching apparatus according to an embodiment of the present invention extracts overlapping overlapping regions in the aerial images using the aerial images received from different unmanned aerial vehicles and the location information of different unmanned aerial vehicles , And the overlapping region may be processed to match the aerial images.

본 발명의 일실시예에 따른 항공 영상 정합 장치의 프로세서는, 상기 무인 비행체들의 고도와 상기 무인 비행체들이 항공 영상을 촬영한 카메라의 화각을 기초로 항공 영상에 포함된 영역의 넓이를 식별하고, 상기 무인 비행체들의 위치 정보에 상기 식별한 영역의 넓이를 적용하여 상기 항공 영상에 포함된 영역의 위치를 식별하며, 서로 다른 무인 비행체들로부터 수신한 항공 영상들에 포함된 영역의 위치들을 비교하여 복수의 항공 영상에서 중복 영역을 추출할 수 있다.The processor of the aviation image matching apparatus according to an embodiment of the present invention identifies the area of the area included in the aerial image on the basis of the altitude of the unmanned aerial vehicles and the angle of view of the camera, The position of the area included in the aerial image is identified by applying the width of the identified area to the position information of the unmanned aerial vehicle, the positions of the areas included in the aerial images received from the different unmanned aerial vehicles are compared, It is possible to extract redundant regions from the aerial image.

본 발명의 일실시예에 따른 항공 영상 정합 장치의 프로세서는, RTK GPS를 이용하여 상기 무인 비행체들의 수평 위치를 식별하고, 상기 무인 비행체들의 고도계, 또는 RTK를 이용하여 상기 무인 비행체들의 고도를 식별할 수 있다.The processor of the aviation image matching apparatus according to an embodiment of the present invention identifies the horizontal position of the unmanned aerial vehicles using the RTK GPS and identifies the altitude of the unmanned aerial vehicles using the altimeter or the RTK of the unmanned aerial vehicles .

본 발명의 일실시예에 따른 항공 영상 정합 장치의 무인 비행체들은 카메라를 이용하여 촬영한 영상에서 특징점을 추출하고, 카메라를 이용하여 촬영한 영상의 사이즈를 최소화하여 항공 영상을 생성하며, 항공 영상과 특징점을 전송할 수 있다.The unmanned aerial vehicles of the aviation image matching device according to the embodiment of the present invention extracts feature points from the images taken using the cameras, generates the aerial images by minimizing the sizes of the images taken using the cameras, Feature points can be transmitted.

본 발명의 일실시예에 따른 항공 영상 정합 장치의 무인 비행체들은, 기 설정된 고도를 비행하며, 카메라로 지상을 촬영하여 항공 영상을 생성할 수 있다.The unmanned aerial vehicles of the aviation image matching apparatus according to the embodiment of the present invention can fly the predetermined altitude and shoot the ground with the camera to generate the aerial image.

본 발명의 일실시예에 따른 항공 영상 정합 장치의 프로세서는,The processor of the aviation image matching apparatus according to an embodiment of the present invention includes:

본 발명의 일실시예에 따른 항공 영상 정합 장치는, 네트워크의 대역 폭에 따라 상기 정합 영상의 사이즈를 변경하여 사용자 단말기에게 전송하는 전송기를 더 포함할 수 있다.The aviation image matching apparatus according to an embodiment of the present invention may further include a transmitter for changing the size of the matching image according to the bandwidth of the network and transmitting the size of the matching image to the user terminal.

본 발명의 일실시예에 따른 항공 영상 정합 장치의 전송기는 상기 수신기가 상기 사용자 단말기로부터 정합 영상의 특정 영역의 확대 요청을 수신하는 경우, 특정 영역에 대응하는 무인 비행체에 사이즈가 증가된 확대 영상을 요청하고, 상기 특정 영역에 대응하는 무인 비행체로부터 수신한 확대 영상을 사용자 단말기에게 전송할 수 있다.The transmitter of the aviation image matching apparatus according to an exemplary embodiment of the present invention transmits an enlarged image having an increased size to an unmanned aerial vehicle corresponding to a specific area when the receiver receives a request for enlarging a specific area of the matching image from the user terminal And may transmit an enlarged image received from the unmanned aerial vehicle corresponding to the specific area to the user terminal.

본 발명의 일실시예에 따른 항공 영상 정합 장치는 군집 비행하는 복수의 무인 비행체들이 각각 촬영한 항공 영상들을 수신하는 수신기; 상기 무인 비행체들의 위치 정보를 기초로 상기 항공 영상들을 정합하여 정합 영상을 생성하는 프로세서; 및 네트워크의 대역 폭에 따라 상기 정합 영상의 사이즈를 변경하여 사용자 단말기에게 전송하는 전송기를 포함할 수 있다.According to another aspect of the present invention, there is provided an aircraft image matching apparatus including: a receiver for receiving aerial images taken by a plurality of unmanned aerial vehicles; A processor for matching the aerial images based on position information of the unmanned aerial vehicles to generate a matching image; And a transmitter for changing the size of the matching image according to the bandwidth of the network and transmitting the size of the matching image to the user terminal.

본 발명의 일실시예에 의하면, 복수의 무인 비행체들이 각각 촬영한 항공 영상을 정합하여 정합 영상을 생성함으로써, 무인 비행체들이 각각 촬영할 수 있는 영역보다 넓거나 긴 영역이 포함된 영상을 생성할 수 있다.According to an embodiment of the present invention, the plurality of unmanned aerial vehicles can generate an image including a region that is wider or longer than an area that each of the unmanned aerial vehicles can shoot by matching the aerial images respectively captured by the plurality of unmanned aerial vehicles .

또한, 본 발명의 일실시예에 의하면, 무인 비행체들이 각각 촬영하는 영역에서 중복되는 영역을 추출하고, 추출한 영역에서 중복에 의한 이상점을 검색함으로써, 이상점 검색 속도를 향상시킬 수 있다.In addition, according to an embodiment of the present invention, it is possible to improve an abnormal point searching speed by extracting overlapping regions in an area to be photographed by the unmanned aerial vehicles and searching for abnormal points due to overlapping in the extracted area.

도 1은 본 발명의 일실시예에 따른 항공 영상 정합 장치와 무인 비행체 간의 관계를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 항공 영상 정합 장치를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 항공 영상 정합 장치가 중복 영역을 추출하는 과정의 일례이다.
도 4는 본 발명의 일실시예에 따른 항공 영상 정합 장치가 중복 영역을 처리하는 과정의 일례이다.
도 5는 본 발명의 일실시예에 따른 정합 영상 전송 방법을 도시한 플로우차트이다.
도 6은 본 발명의 일실시예에 따른 항공 영상 정합 방법을 도시한 플로우차트이다.
도 7은 본 발명의 일실시예에 따른 항공 영상 정합 방법의 위치 정보 식별 과정을 도시한 플로우차트이다.
도 8은 본 발명의 일실시예에 따른 항공 영상 정합 방법의 정합 영상 생성 과정을 도시한 플로우차트이다.1 is a view showing a relationship between an aviation image matching device and an unmanned aerial vehicle according to an embodiment of the present invention.
2 is a view showing an aerial image matching apparatus according to an embodiment of the present invention.
FIG. 3 is an example of a process of extracting overlapping regions by the aviation image matching apparatus according to an embodiment of the present invention.
FIG. 4 is an example of a process of processing an overlapping area by the aviation image matching apparatus according to an embodiment of the present invention.
5 is a flowchart illustrating a method of transmitting a registered image according to an exemplary embodiment of the present invention.
6 is a flowchart showing an aerial image matching method according to an embodiment of the present invention.
FIG. 7 is a flowchart illustrating a process of identifying a location information of an aerial image matching method according to an exemplary embodiment of the present invention.
FIG. 8 is a flowchart illustrating a matching image generation process of the aerial image matching method according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 항공 영상 정합 방법은 항공 영상 정합 장치에 의해 수행될 수 있다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. An aerial image matching method according to an embodiment of the present invention may be performed by an aerial image matching apparatus.

도 1은 본 발명의 일실시예에 따른 항공 영상 정합 장치와 무인 비행체 간의 관계를 나타내는 도면이다. 1 is a view showing a relationship between an aviation image matching device and an unmanned aerial vehicle according to an embodiment of the present invention.

본 발명의 일실시예에 따른 복수의 무인 비행체(unmanned vehicle)(110)들은 도 1에 도시된 바와 같이 군집 비행(Swarm Flight)하며 지상(100)을 촬영할 수 있다. 그리고, 무인 비행체(110)들은 각각 지상(100)을 촬영한 영상을 기초로 항공 영상을 생성하여 지상국(121)로 전송할 수 있다. 예를 들어, 무인 비행체(110)들은 무인비행체(UAV: Unmanned Aerial Vehicle), 또는 드론(drone)일 수 있다.A plurality of unmanned vehicles 110 according to an embodiment of the present invention can photograph the ground 100 in a swarm flight manner as shown in FIG. The unmanned air vehicles 110 may generate an aerial image based on the image of the ground 100 and transmit the aerial image to the ground station 121, respectively. For example, the unmanned aerial vehicle 110 may be an unmanned aerial vehicle (UAV), or a drone.

이때, 무인 비행체(110)들은 하부에 지상(100)을 촬영하기 위한 카메라와, 항공 영상을 지상국(121)로 전송하기 위한 송신기 및 무인 비행체(110)의 위치를 식별하기 위한 GPS를 포함할 수 있다. 그리고, 무인 비행체(110)들은 관성 측정 장치(IMU: inertial measurement unit)의 정보를 이용하여 수평 상태를 유지하며, 카메라로 지상(100)을 촬영하여 항공 영상을 생성할 수 있다. 이때, 무인 비행체(110)들은, 기 설정된 고도를 비행할 수 있다. 구체적으로, 무인 비행체(110)들은 각각 고도계를 이용하여 자신들의 고도를 측정할 수 있다. 그리고, 무인 비행체(110)들은 각각 측정한 고도에 따라 비행 고도를 변경함으로써, 무인 비행체(110)들이 비행하는 고도를 일정하게 유지할 수 있다. 그리고, 기 설정된 고도는 모든 무인 비행체(110)들에 동일하게 적용함으로써, 무인 비행체(110)들이 동일한 고도에서 지면(100)을 촬영하도록 할 수 있다.At this time, the unmanned air vehicles 110 may include a camera for photographing the ground 100 at the bottom, a transmitter for transmitting an aerial image to the ground station 121, and a GPS for identifying the location of the unmanned air vehicle 110 have. The unmanned aerial vehicles 110 maintain the horizontal state using the information of the inertial measurement unit (IMU), and can shoot aerial images by photographing the ground 100 with a camera. At this time, the unmanned air vehicles 110 can fly at predetermined altitudes. Specifically, the unmanned aerial vehicles 110 can measure their altitudes using altimeters, respectively. And, the unmanned air vehicles 110 can maintain the altitude of the unmanned air vehicles 110 constantly by changing the flight altitude according to the measured altitudes. The predetermined altitude is applied to all the unmanned aerial vehicles 110 in the same manner, thereby allowing the unmanned aerial vehicles 110 to photograph the ground 100 at the same altitude.

또한, 무인 비행체(110)들은 카메라를 이용하여 지상(110)을 촬영한 영상에서 특징점을 추출하고, 카메라를 이용하여 촬영한 영상의 사이즈를 최소화하여 항공 영상을 생성하며, 지상국(121)의 항공 영상 정합 장치(120)에 항공 영상과 특징점을 전송할 수 있다.In addition, the unmanned air vehicle 110 extracts feature points from the image of the ground 110 using a camera, generates an aerial image by minimizing the size of the image taken by the camera, The aerial image and the minutiae point can be transmitted to the image matching apparatus 120. [

지상국(121)에 포함된 항공 영상 정합 장치(120)는 무인 비행체(110)들로부터 수신한 항공 영상들을 정합하여 정합 영상을 생성할 수 있다. The aerial image matching apparatus 120 included in the ground station 121 can generate a matching image by matching the aerial images received from the unmanned aerial vehicles 110.

예를 들어, 제1 무인 비행체(111)는 지상(100)의 영역(112)를 촬영하여 제1 항공 영상을 생성할 수 있다. 또한, 제2 무인 비행체(113)는 지상(100)의 영역(114)를 촬영하여 제2 항공 영상을 생성할 수 있다. 이때, 제1 항공 영상과 제2 항공 영상은 영역(115)가 중복될 수 있다. 따라서, 항공 영상 정합 장치(120)는 제1 항공 영상과 제2 항공 영상을 정합하여 영역(115)를 처리함으로써, 영역(112)와 영역(114)를 포함하는 정합 영상을 생성할 수 있다.For example, the first unmanned aerial vehicle 111 can photograph the area 112 of the ground 100 to generate a first aerial image. In addition, the second UAV 113 can photograph the area 114 of the ground 100 to generate a second aerial image. At this time, the first and second aerial images 115 and 115 may overlap. Accordingly, the aviation image matching apparatus 120 can generate the matching image including the region 112 and the region 114 by processing the region 115 by matching the first and second aerial images.

이때, 정합 영상은 항공 영상보다 넓은 영역을 포함하고 있으므로, 정합 영상에서 각각의 영역이 표시되는 크기는 작을 수 있다. 즉, 항공 영상의 사이즈가 작아도 항공 영상을 정합하여 생성한 정합 영상의 크기는 작지 않을 수 있다. 그리고, 무인 비행체(110)들이 동시에 항공 영상을 항공 영상 정합 장치(120)로 전송하는 경우, 높은 대역폭이 필요할 수 있다. 따라서, 무인 비행체(110)들은 지상을 촬영한 영상의 사이즈를 최소화한 항공 영상을 항공 영상 정합 장치(120)로 전송함으로써, 항공 영상 전송에 필요한 대역폭을 최소화할 수 있다. At this time, since the matching image includes a larger area than the aerial image, the size of each area displayed in the matching image may be small. That is, although the size of the aerial image is small, the size of the matched image generated by matching the aerial image may not be small. When the unmanned air vehicles 110 simultaneously transmit the aviation image to the aviation image matching apparatus 120, a high bandwidth may be required. Accordingly, the unmanned aerial vehicle 110 can minimize the bandwidth required for the aerial image transmission by transmitting the aerial image having the minimized size of the image taken on the ground to the aviation image matching device 120. [

또한, 정합 영상을 제공받은 사용자가 사용자 단말기를 통하여 정합 영상에서 특정 영역의 확대를 요청할 수 있다. 이때, 항공 영상 정합 장치(120)는 특정 영역에 대응하는 적어도 하나의 무인 비행체(110)에게 사이즈가 증가된 확대 영상을 요청할 수 있다. 그리고, 항공 영상 정합 장치(120)의 요청을 수신한 무인 비행체(110)는 지상을 촬영한 영상을 사이즈 최소화하지 않고, 확대 영상으로 항공 영상 정합 장치(120)에 전송할 수 있다. 또한, 항공 영상 정합 장치(120)가 요청하는 확대 영상의 사이즈가 지상을 촬영한 영상보다 큰 경우, 무인 비행체(110)는 지상을 촬영한 영상을 확대하거나, 카메라의 줌 기능을 이용하여 지상을 촬영한 영상을 확대 영상으로 항공 영상 정합 장치(120)에 전송할 수 있다.In addition, a user who is provided with the matching image can request enlargement of a specific region in the matching image through the user terminal. At this time, the aviation image matching apparatus 120 can request an enlarged image of an increased size to the at least one unmanned aerial vehicle 110 corresponding to a specific area. The unmanned aerial vehicle 110 receiving the request from the aviation image matching device 120 can transmit the grounded image to the aviation image matching device 120 as an enlarged image without minimizing the size of the image. When the size of the enlarged image requested by the aviation image matching device 120 is larger than that of the ground, the unmanned aerial vehicle 110 enlarges the image of the ground or enlarges the ground using the zoom function of the camera. And transmits the photographed image to the aviation image matching apparatus 120 as an enlarged image.

다음으로, 항공 영상 정합 장치(120)는 무인 비행체(110)로부터 수신한 영상을 사용자 단말기에게 제공함으로써, 정합 영상에서 특정 영역이 확대된 영상을 사용자에게 제공할 수 있다.Next, the aviation image matching device 120 may provide the user with an image enlarged in a specific region in the matching image by providing the user terminal with the image received from the unmanned air vehicle 110. [

그리고, 항공 영상 정합 장치(120)는 지상국(121)과 사용자 단말기 간의 네트워크의 대역 폭에 따라 정합 영상의 사이즈를 변경하여 사용자 단말기로 전송할 수 있다.The aviation image matching device 120 may change the size of the matching image according to the bandwidth of the network between the ground station 121 and the user terminal and transmit the same to the user terminal.

항공 영상 정합 장치(120)는 복수의 무인 비행체(110)들이 각각 촬영한 항공 영상을 정합하여 정합 영상을 생성함으로써, 무인 비행체(110)들이 각각 촬영할 수 있는 영역보다 넓은 영역이 포함된 영상을 생성할 수 있다.The aviation image matching device 120 generates a matching image by matching the aerial images photographed by the plurality of the unmanned air vehicles 110 to thereby generate an image including a region wider than the area that each of the unmanned air vehicles 110 can photograph can do.

도 2는 본 발명의 일실시예에 따른 항공 영상 정합 장치를 나타내는 도면이다. 2 is a view showing an aerial image matching apparatus according to an embodiment of the present invention.

도 2를 참고하면, 본 발명의 일실시예에 따른 항공 영상 정합 장치(100)는 수신기(210), 프로세서(220), 및 전송기(230)를 포함할 수 있다.Referring to FIG. 2, an aerial image matching apparatus 100 according to an exemplary embodiment of the present invention may include a receiver 210, a processor 220, and a transmitter 230.

수신기(210)는 무인 비행체(110)들이 각각 촬영한 항공 영상들을 수신할 수 있다.The receiver 210 can receive the aerial images taken by the unmanned aerial vehicles 110 respectively.

프로세서(220)는 무인 비행체(110)들의 위치 정보를 식별하고, 무인 비행체(110)들의 위치 정보를 기초로 수신기(210)가 수신한 항공 영상들을 정합하여 정합 영상을 생성할 수 있다.The processor 220 may identify the position information of the unmanned aerial vehicles 110 and may generate a matching image by matching the aerial images received by the receiver 210 based on the position information of the unmanned air vehicles 110.

구체적으로, 프로세서(220)는 수신기(210)가 서로 다른 무인 비행체들로부터 수신한 항공 영상들과 서로 다른 무인 비행체들의 위치 정보를 이용하여 항공 영상들에서 중복되는 중복 영역을 추출할 수 있다. 그리고, 프로세서(220)는 추출한 중복 영역을 처리하여 항공 영상들을 정합할 수 있다.Specifically, the processor 220 can extract redundant overlapping regions in the aerial images using the aerial images received from the different unmanned aerial vehicles by the receiver 210 and the location information of the different unmanned aerial vehicles. The processor 220 may then process the extracted overlapping regions to match the aerial images.

이때, 프로세서(220)는 무인 비행체(110)들의 고도와 무인 비행체(110)들이 항공 영상을 촬영한 카메라의 화각(angle of view)을 기초로 항공 영상에 포함된 영역의 넓이를 식별할 수 있다. 그리고, 프로세서(220)는 무인 비행체(110)들의 위치 정보에 상기 식별한 영역의 넓이를 적용하여 항공 영상에 포함된 영역의 위치를 식별할 수 있다. 또한, 프로세서(220)는 서로 다른 무인 비행체들로부터 수신한 항공 영상들에 포함된 영역의 위치들을 비교하여 복수의 항공 영상에서 중복 영역을 추출할 수 있다.At this time, the processor 220 can identify the area of the area included in the aerial image based on the altitude of the unmanned air vehicles 110 and the angle of view of the camera where the unmanned aerial vehicles 110 have photographed the aerial image . The processor 220 can identify the location of the area included in the aerial image by applying the width of the identified area to the location information of the unmanned aerial vehicles 110. In addition, the processor 220 can extract the overlapping regions from the plurality of aerial images by comparing the positions of the regions included in the aerial images received from the different unmanned aerial vehicles.

그리고, 프로세서(220)는 RTK(Real-Time Kinematic) GPS를 이용하여 무인 비행체(110)들의 수평 위치를 식별할 수 있다. 또한, 프로세서(220)는 무인 비행체(110)들의 기압계, 무인 비행체(110)들의 고도계, 또는 RTK 중 적어도 하나를 이용하여 무인 비행체(110)들의 고도를 식별할 수 있다.Then, the processor 220 can identify the horizontal position of the unmanned aerial vehicles 110 using RTK (Real-Time Kinematic) GPS. Also, the processor 220 can identify the altitude of the unmanned aerial vehicles 110 using at least one of the barometer of the unmanned aerial vehicles 110, the altimeter of the unmanned aerial vehicles 110, and the RTK.

전송기(230)는 지상국(121)과 사용자 단말기 간의 네트워크의 대역 폭에 따라 프로세서(220)가 생성한 정합 영상의 사이즈를 변경하여 사용자 단말기로 전송할 수 있다. 예를 들어, 전송기(230)는 적응형 스트리밍 전송 용량 변경 기술과 같은 비디오 사이즈 변경 기술을 이용하여 프로세서(220)가 생성한 정합 영상을 사용자의 단말기에 실시간 비디오 스트리밍할 수 있다.The transmitter 230 may change the size of the matching image generated by the processor 220 according to the bandwidth of the network between the ground station 121 and the user terminal, and may transmit the changed size to the user terminal. For example, the transmitter 230 may stream video to the user's terminal in real time using the video resizing technique, such as the adaptive streaming transmission capacity changing technique, to the matching image generated by the processor 220. [

전송기(230)가 사용자 단말기로부터 정합 영상의 특정 영역의 확대 요청을 수신하는 경우, 프로세서(220)는 특정 영역에 대응하는 무인 비행체(110)를 식별할 수 있다. 그리고, 전송기(230)는 특정 영역에 대응하는 무인 비행체(110)에게 사이즈가 증가된 확대 영상을 요청하는 신호를 송신할 수 있다. 이때, 무인 비행체(110)는 요청에 따라 사이즈가 증가된 확대 영상을 전송할 수 있다. When the transmitter 230 receives an enlargement request of a specific area of the matching image from the user terminal, the processor 220 can identify the unmanned air vehicle 110 corresponding to the specific area. Then, the transmitter 230 may transmit a signal requesting an enlarged enlarged image to the unmanned air vehicle 110 corresponding to a specific area. At this time, the unmanned air vehicle 110 may transmit an enlarged image of a larger size as requested.

그리고, 전송기(230)는 수신기(210)가 특정 영역에 대응하는 무인 비행체(110)로부터 수신한 확대 영상을 사용자 단말기로 전송할 수 있다.The transmitter 230 may transmit the enlarged image received by the receiver 210 from the unmanned air vehicle 110 corresponding to the specific area to the user terminal.

도 3은 본 발명의 일실시예에 따른 항공 영상 정합 장치가 중복 영역을 추출하는 과정의 일례이다.FIG. 3 is an example of a process of extracting overlapping regions by the aviation image matching apparatus according to an embodiment of the present invention.

제1 무인 비행체(310)가 촬영할 수 있는 영역(311)은 제1 무인 비행체(310)에 설치된 카메라의 화각 θ 및 제1 무인 비행체(310)의 고도에 따라 결정될 수 있다. 예를 들어, 제1 무인 비행체(310)의 고도가 높아지는 경우, 영역(311)을 나타내는 삼각형의 높이가 높이지고, 각도는 고정되므로, 삼각형의 밑변이 길어질 수 있다. 따라서, 영역(311)이 넓어질 수 있다. 또한, 제1 무인 비행체(310)에 장착된 화각 θ가 넓어지는 경우, 카메라로 촬영할 수 있는 영역(311)이 넓어질 수 있다.The region 311 that the first UAV 310 can capture can be determined according to the angle of view θ of the camera installed on the first UAV 310 and the altitude of the first UAV 310. For example, when the altitude of the first UAV 310 is increased, the height of the triangle representing the region 311 is increased and the angle is fixed, so that the base of the triangle may be longer. Therefore, the region 311 can be widened. Further, when the angle of view? Mounted on the first unmanned aerial vehicle 310 is widened, the region 311 which can be photographed by the camera can be widened.

즉, 항공 영상 정합 장치(120)는 제1 무인 비행체(310)에 설치된 카메라의 화각 θ 및 제1 무인 비행체(310)의 고도에 따라 영역(311)의 넓이를 추정할 수 있다.That is, the aviation image matching apparatus 120 can estimate the area of the area 311 according to the angle of view θ of the camera installed on the first UAV 310 and the altitude of the first UAV 310.

또한, 제2 무인 비행체(320)가 촬영할 수 있는 영역(321)도 제2 무인 비행체(320)에 설치된 카메라의 화각 θ' 및 제2 무인 비행체(320)의 고도에 따라 결정될 수 있다. 이때, 제2 무인 비행체(320)의 고도는 제1 무인 비행체(310)의 고도와 동일하거나, 기 설정된 오차 범위 이하의 차이가 있을 수 있다. 또한, 제2 무인 비행체(320)에 설치된 카메라의 화각 θ'는 제1 무인 비행체(310)에 설치된 카메라의 화각 θ과 동일할 수 있다.The area 321 that the second unmanned aerial vehicle 320 can capture can also be determined according to the angle of view of the camera installed on the second unmanned aerial vehicle 320 and the altitude of the second unmanned aerial vehicle 320. At this time, the altitude of the second unmanned aerial vehicle 320 may be the same as the altitude of the first unmanned aerial vehicle 310, or may be different from a predetermined error range. The angle of view of the camera installed on the second unmanned aerial vehicle 320 may be the same as the angle of view of the camera installed on the first unmanned aerial vehicle 310.

그리고, 항공 영상 정합 장치(120)는 제2 무인 비행체(320)에 설치된 카메라의 화각 θ' 및 제2 무인 비행체(320)의 고도에 따라 영역(321)의 넓이를 추정할 수 있다.The aviation image matching apparatus 120 can estimate the area of the area 321 according to the angle of view of the camera installed on the second unmanned aerial vehicle 320 and the altitude of the second unmanned aerial vehicle 320.

다음으로, 항공 영상 정합 장치(120)는 도 3에 도시된 바와 같이 제1 무인 비행체(310)의 수평 위치와 제2 무인 비행체(320)의 수평 위치를 기준으로 영역(311)과 영역(321)의 위치를 지상에 맵핑함으로써, 영역(311)과 영역(321)에서 중복되는 영역(330)을 추출할 수 있다.3, the aviation image matching apparatus 120 includes a region 311 and a region 321 based on the horizontal position of the first UAV 310 and the horizontal position of the second UAV 320, The region 311 and the region 330 overlapping in the region 321 can be extracted.

도 4는 본 발명의 일실시예에 따른 항공 영상 정합 장치가 중복 영역을 처리하는 과정의 일례이다.FIG. 4 is an example of a process of processing an overlapping area by the aviation image matching apparatus according to an embodiment of the present invention.

제1 무인 비행체(310)가 카메라로 영역(311)을 촬영하여 생성한 제1 항공 영상은 영역(410)을 포함할 수 있다. 또한, 제2 무인 비행체(320)가 카메라로 영역(321)을 촬영하여 생성한 제2 항공 영상은 영역(420)을 포함할 수 있다.The first aerial image generated by the first UAV 310 by photographing the area 311 with the camera may include an area 410. In addition, the second aerial image generated by photographing the area 321 by the second unmanned aerial vehicle 320 with the camera may include the area 420.

이때, 항공 영상 정합 장치(120)는 도 4에 도시된 바와 같이 제1 무인 비행체(310)의 수평 위치를 기준으로 제1 항공 영상에 포함된 영역(410)의 위치를 식별할 수 있다. 또한, 항공 영상 정합 장치(120)는 도 4에 도시된 바와 같이 제2 무인 비행체(320)의 수평 위치를 기준으로 제2 항공 영상에 포함된 영역(420)의 위치를 식별할 수 있다.At this time, the aviation image matching apparatus 120 can identify the position of the area 410 included in the first aerial image based on the horizontal position of the first unmanned aerial vehicle 310, as shown in FIG. 4, the aviation image matching apparatus 120 may identify the position of the area 420 included in the second aerial image based on the horizontal position of the second unmanned aerial vehicle 320.

그리고, 항공 영상 정합 장치(120)는 도 3에서 추출한 중복되는 영역(330)에서 영역(410)과 영역(420)이 겹쳐진 영역(430)을 검색할 수 있다.The aviation image matching apparatus 120 can search the overlapping region 330 extracted in FIG. 3 and the region 430 in which the region 410 and the region 420 are overlapped.

이때, 항공 영상 정합 장치(120)는 검색한 영역(430)을 제1 항공 영상과 제2 항공 영상 간의 중복 영역으로 추출할 수 있다. At this time, the aviation image matching device 120 can extract the searched area 430 as an overlap area between the first and second aerial images.

그리고, 항공 영상 정합 장치(120)는 ICP(Iterative Closest Point) 알고리즘으로 영역(430)을 처리하여 특징점이 잘못 매칭된 이상점(outlier)을 제거함으로써, 영역(410)과 영역(420)을 포함하는 정합 영상을 생성할 수 있다.The aviation image matching apparatus 120 processes the area 430 using an ICP (Iterative Closest Point) algorithm to remove the outliers in which the minutiae are misaligned to include the area 410 and the area 420 The matching image can be generated.

항공 영상 정합 장치(120)는 도 3에 도시된 바와 같이 제1 무인 비행체(310)과 제2 무인 비행체(320)가 촬영하는 영역에서 중복되는 영역(330)을 먼저 추출할 수 있다. 그리고, 항공 영상 정합 장치(120)는 도 4에 도시된 바와 같이 추출한 영역(330)에서 중복에 의한 이상점이 포함된 영역(430)을 검색할 수 있다. 따라서, 항공 영상 정합 장치(120)는 제1 항공 영상에 포함된 영역(410)과 제2 항공 영상에 포함된 영역(420)에서 이상점을 검색하는 종래의 기술보다 이상점 검색 속도를 향상시킬 수 있다.As shown in FIG. 3, the aviation image matching apparatus 120 may first extract an overlapping region 330 in an area photographed by the first and second unmanned aerial vehicles 310 and 320. 4, the aviation image matching apparatus 120 can search the extracted region 330 including the anomaly point due to the duplication. Accordingly, the aviation image matching apparatus 120 can improve the point search speed more than the conventional technique of searching an anomaly point in the area 410 included in the first aerial image and the area 420 included in the second aerial image .

도 5는 본 발명의 일실시예에 따른 정합 영상 전송 방법을 도시한 플로우차트이다.5 is a flowchart illustrating a method of transmitting a registered image according to an exemplary embodiment of the present invention.

단계(510)에서 수신기(210)는 무인 비행체(110)들이 각각 촬영한 항공 영상들을 수신할 수 있다.In step 510, the receiver 210 may receive the aerial images taken by the unmanned aerial vehicles 110 respectively.

단계(520)에서 프로세서(220)는 무인 비행체(110)들의 위치 정보를 식별하고, 무인 비행체(110)들의 위치 정보를 기초로 단계(510)에서 수신한 항공 영상들을 정합하여 정합 영상을 생성할 수 있다.In step 520, the processor 220 identifies the position information of the unmanned aerial vehicles 110 and generates a matching image by matching the aerial images received in step 510 based on the position information of the unmanned air vehicles 110 .

구체적으로, 프로세서(220)는 수신기(210)가 서로 다른 무인 비행체들로부터 수신한 항공 영상들과 서로 다른 무인 비행체들의 위치 정보를 이용하여 항공 영상들에서 중복되는 중복 영역을 추출할 수 있다. 그리고, 프로세서(220)는 추출한 중복 영역을 처리하여 항공 영상들을 정합할 수 있다.Specifically, the processor 220 can extract overlapping overlapping regions in the aerial images using the aerial images received from the different unmanned aerial vehicles by the receiver 210 and the location information of the different unmanned aerial vehicles. The processor 220 may then process the extracted overlapping regions to match the aerial images.

단계(530)에서 전송기(230)는 지상국(121)과 사용자 단말기 간의 네트워크의 대역 폭에 따라 단계(520)에서 생성한 정합 영상의 사이즈를 변경하여 사용자 단말기로 전송할 수 있다.In step 530, the transmitter 230 may change the size of the matching image generated in step 520 according to the bandwidth of the network between the ground station 121 and the user terminal, and transmit the changed size to the user terminal.

단계(540)에서 수신기(210)는 사용자 단말기로부터 정합 영상의 특정 영역의 확대 요청을 수신하였는지 여부를 확인할 수 있다. 사용자 단말기로부터 정합 영상의 특정 영역의 확대 요청을 수신하지 않는 경우, 수신기(210)는 단계(540)을 반복할 수 있다. 또한, 사용자 단말기로부터 정합 영상의 특정 영역의 확대 요청을 수신하는 경우, 수신기(210)는 단계(550)을 수행할 수 있다.In step 540, the receiver 210 may determine whether the request for enlargement of a specific area of the matching image has been received from the user terminal. If the request for enlargement of a particular area of the matching image is not received from the user terminal, the receiver 210 may repeat step 540. [ In addition, when receiving an enlargement request of a specific area of the matching image from the user terminal, the receiver 210 may perform step 550.

단계(550)에서 전송기(230)는 단계(540)에서 수신한 확대 요청에 따라 사이즈가 증가된 확대 영상을 사용자 단말기로 전송할 수 있다. 구체적으로, 프로세서(220)는 단계(540)에서 수신한 특정 영역에 대응하는 무인 비행체를 식별할 수 있다. 그리고, 프로세서(220)는 전송기(230)를 통하여 특정 영역에 대응하는 무인 비행체에 사이즈가 증가된 확대 영상을 요청할 수 있다. 다음으로, 수신기(210)는 특정 영역에 대응하는 무인 비행체로부터 확대 영상을 수신할 수 있다. 마지막으로, 전송기(230)는 수신기(210)가 수신한 확대 영상을 사용자 단말기에게 전송할 수 있다.In step 550, the transmitter 230 may transmit an enlarged image of increased size according to the enlargement request received in step 540 to the user terminal. In particular, the processor 220 may identify the unmanned aerial vehicle corresponding to the particular area received in step 540. The processor 220 can request an enlarged image of an increased size to the unmanned aerial vehicle corresponding to the specific area through the transmitter 230. Next, the receiver 210 may receive an enlarged image from the unmanned aerial vehicle corresponding to the specific area. Finally, the transmitter 230 may transmit the enlarged image received by the receiver 210 to the user terminal.

도 6은 본 발명의 일실시예에 따른 항공 영상 정합 방법을 도시한 플로우차트이다. 이때, 도 6의 단계(620) 및 단계(630)는 도 5의 단계(520)에 포함될 수 있다.6 is a flowchart showing an aerial image matching method according to an embodiment of the present invention. At this time, steps 620 and 630 of FIG. 6 may be included in step 520 of FIG.

단계(610)에서 수신기(210)는 무인 비행체(110)들이 각각 촬영한 항공 영상들을 수신할 수 있다.In step 610, the receiver 210 may receive the aerial images taken by the unmanned aerial vehicles 110 respectively.

단계(620)에서 프로세서(220)는 단계(610)에서 항공 영상들을 전송한 무인 비행체(110)들의 위치 정보를 식별할 수 있다.In step 620, the processor 220 may identify the location information of the unmanned air vehicles 110 that transmitted the aerial images in step 610.

단계(630)에서 프로세서(220)는 단계(620)에서 식별한 무인 비행체(110)들의 위치 정보를 기초로 단계(610)에서 가 수신한 항공 영상들을 정합하여 정합 영상을 생성할 수 있다. 구체적으로, 프로세서(220)는 수신기(210)가 서로 다른 무인 비행체들로부터 수신한 항공 영상들과 서로 다른 무인 비행체들의 위치 정보를 이용하여 항공 영상들에서 중복되는 중복 영역을 추출할 수 있다. 그리고, 프로세서(220)는 추출한 중복 영역을 처리하여 항공 영상들을 정합할 수 있다.In step 630, the processor 220 may generate a matching image by matching the aerial images received in step 610 based on the location information of the unmanned aerial vehicles 110 identified in step 620. [ Specifically, the processor 220 can extract redundant overlapping regions in the aerial images using the aerial images received from the different unmanned aerial vehicles by the receiver 210 and the location information of the different unmanned aerial vehicles. The processor 220 may then process the extracted overlapping regions to match the aerial images.

도 7은 본 발명의 일실시예에 따른 항공 영상 정합 방법의 위치 정보 식별 과정을 도시한 플로우차트이다. 이때, 도 7의 단계(710) 및 단계(720)는 도 6의 단계(620)에 포함될 수 있다.FIG. 7 is a flowchart illustrating a process of identifying a location information of an aerial image matching method according to an exemplary embodiment of the present invention. At this time, steps 710 and 720 of FIG. 7 may be included in step 620 of FIG.

단계(710)에서 프로세서(220)는 RTK(Real-Time Kinematic) GPS를 이용하여 무인 비행체(110)들의 수평 위치를 식별할 수 있다. In step 710, the processor 220 can identify the horizontal position of the unmanned air vehicles 110 using Real-Time Kinematic (RTK) GPS.

단계(720)에서 프로세서(220)는 무인 비행체(110)들의 기압계, 무인 비행체(110)들의 고도계, 또는 RTK 중 적어도 하나를 이용하여 무인 비행체(110)들의 고도를 식별할 수 있다.The processor 220 may identify the altitude of the unmanned aerial vehicles 110 using at least one of the barometer of the unmanned aerial vehicles 110, the altimeter of the unmanned aerial vehicles 110, and the RTK.

이때, 단계(710) 및 단계(720)는 수행 순서가 반대일 수도 있고, 병렬적으로 동시에 수행될 수도 있다.In this case, steps 710 and 720 may be performed in reverse order or simultaneously in parallel.

도 8은 본 발명의 일실시예에 따른 항공 영상 정합 방법의 정합 영상 생성 과정을 도시한 플로우차트이다. 이때, 도 8의 단계(810) 및 단계(840)는 도 6의 단계(630)에 포함될 수 있다.FIG. 8 is a flowchart illustrating a matching image generation process of the aerial image matching method according to an embodiment of the present invention. At this time, steps 810 and 840 of FIG. 8 may be included in step 630 of FIG.

단계(810)에서 프로세서(220)는 무인 비행체(110)들이 항공 영상을 촬영한 카메라의 화각 및 단계(720)에서 식별한 무인 비행체(110)들의 고도를 기초로 단계(610)에서 수신한 항공 영상에 포함된 영역의 넓이를 식별할 수 있다. In step 810, the processor 220 determines whether the unmanned object 110 has received an aviation image in step 610 based on the angle of view of the camera that the unmanned air vehicles 110 have photographed and the altitude of the unmanned air vehicles 110, The width of the area included in the image can be identified.

단계(820)에서 프로세서(220)는 단계(710)에서 식별한 무인 비행체(110)들의 수평 위치 정보에 단계(810)에서 식별한 영역의 넓이를 적용하여 항공 영상에 포함된 영역의 위치를 식별할 수 있다.The processor 220 identifies the position of the area included in the aerial image by applying the width of the area identified in step 810 to the horizontal position information of the unmanned aerial vehicles 110 identified in step 710 can do.

단계(830)에서 프로세서(220)는 단계(610)에서 서로 다른 무인 비행체들로부터 수신한 항공 영상들에 포함된 영역의 위치들을 비교하여 복수의 항공 영상에서 중복 영역을 추출할 수 있다.In step 830, the processor 220 may compare the positions of the areas included in the aerial images received from the different unmanned aerial vehicles in step 610 to extract the overlapping areas from the plurality of aerial images.

단계(840)에서 프로세서(220)는 단계(830)에서 추출한 영역에서 중복에 의한 이상점을 검색할 수 있다. 그리고, 프로세서(220)는 ICP 알고리즘으로 특징점이 잘못 매칭된 이상점(outlier)을 제거함으로써, 항공 영상들을 정합한 정합 영상을 생성할 수 있다.In step 840, the processor 220 may search for an anomaly due to duplication in the area extracted in step 830. [ In addition, the processor 220 can generate a matched image by matching the aerial images by removing outliers in which feature points are mismatched with the ICP algorithm.

본 발명은 복수의 무인 비행체들이 각각 촬영한 항공 영상을 정합하여 정합 영상을 생성함으로써, 무인 비행체들이 각각 촬영할 수 있는 영역보다 넓거나 긴 영역이 포함된 영상을 생성할 수 있다.According to the present invention, the plurality of unmanned aerial vehicles are respectively matched with the aerial images photographed to generate the matched images, so that the images including the areas wider or longer than the areas that the unmanned aerial vehicles can photograph can be generated.

또한, 본 발명은 무인 비행체들이 각각 촬영하는 영역에서 중복되는 영역을 추출하고, 추출한 영역에서 중복에 의한 이상점을 검색함으로써, 이상점 검색 속도를 향상시킬 수 있다.Also, according to the present invention, it is possible to improve an abnormal point retrieval speed by extracting overlapping regions in an area to be photographed by the unmanned aerial vehicles and searching for abnormal points due to overlapping in the extracted region.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

110: 무인 비행체
120: 항공 영상 정합 장치110: unmanned aerial vehicle
120: Aerial image matching device

Claims (22)

군집 비행(Swarm Flight)하는 복수의 무인 비행체들이 각각 촬영한 항공 영상들을 수신하는 단계;
상기 무인 비행체들의 위치 정보를 식별하는 단계;
상기 무인 비행체들의 고도와 상기 무인 비행체들이 항공 영상을 촬영한 카메라의 화각(angle of view)을 기초로 항공 영상에 포함된 영역의 넓이를 식별하는 단계;
상기 무인 비행체들의 위치 정보에 상기 식별한 영역의 넓이를 적용하여 상기 항공 영상에 포함된 영역의 위치를 식별하는 단계;
서로 다른 무인 비행체들로부터 수신한 항공 영상들에 포함된 영역의 위치들을 비교하여 복수의 항공 영상에서 중복 영역을 추출하는 단계; 및
상기 중복 영역을 처리하여 상기 항공 영상들을 정합하는 단계
를 포함하는 항공 영상 정합 방법.Receiving aerial images taken by a plurality of unmanned aerial vehicles swarming each other;
Identifying location information of the unmanned aerial vehicles;
Identifying the area of the area included in the aerial image based on the altitude of the unmanned aerial vehicles and the angle of view of the camera of the aerial images of the unmanned aerial vehicles;
Identifying a location of an area included in the aerial image by applying an area of the identified area to the location information of the unmanned aerial vehicles;
Extracting redundant regions from a plurality of aerial images by comparing positions of the regions included in aerial images received from different unmanned aerial vehicles; And
Processing the overlapping region to match the aerial images
And an aerial image matching method. 삭제delete 삭제delete 제1항에 있어서,
상기 위치 정보를 식별하는 단계는,
RTK(Real-Time Kinematic) GPS를 이용하여 상기 무인 비행체들의 수평 위치를 식별하는 단계; 및
상기 무인 비행체들의 고도계, 또는 RTK를 이용하여 상기 무인 비행체들의 고도를 식별하는 단계
를 포함하는 항공 영상 정합 방법.The method according to claim 1,
Wherein identifying the location information comprises:
Identifying a horizontal position of the unmanned aerial vehicle using RTK (Real-Time Kinematic) GPS; And
Identifying altitudes of the unmanned aerial vehicles using altimeters or RTKs of the unmanned aerial vehicles
And an aerial image matching method. 제1항에 있어서,
상기 무인 비행체들은,
카메라를 이용하여 촬영한 영상에서 특징점을 추출하고, 카메라를 이용하여 촬영한 영상의 사이즈를 최소화하여 항공 영상을 생성하며, 항공 영상과 특징점을 전송하는 항공 영상 정합 방법.The method according to claim 1,
The unmanned air vehicles,
An aerial image matching method for extracting feature points from a video image captured by a camera, generating an aerial image by minimizing the size of the captured image using the camera, and transmitting the aerial image and the feature point. 제1항에 있어서,
상기 무인 비행체들은,
기 설정된 고도를 비행하며, 카메라로 지상을 촬영하여 항공 영상을 생성하는 항공 영상 정합 방법.The method according to claim 1,
The unmanned air vehicles,
A method of aerial image matching that creates an aerial image by photographing the ground with a camera by flying a predetermined altitude. 제1항에 있어서,
상기 항공 영상들을 정합하여 생성된 정합 영상의 사이즈를 네트워크의 대역 폭에 따라 변경하여 사용자 단말기에게 전송하는 단계
를 더 포함하는 항공 영상 정합 방법.The method according to claim 1,
Changing the size of the registered image generated by matching the aerial images according to the bandwidth of the network and transmitting the changed size to the user terminal
Further comprising the steps of: 제7항에 있어서,
상기 사용자 단말기로부터 정합 영상의 특정 영역의 확대 요청을 수신하는 경우, 특정 영역에 대응하는 무인 비행체를 식별하는 단계;
상기 특정 영역에 대응하는 무인 비행체에 사이즈가 증가된 확대 영상을 요청하는 단계;
상기 특정 영역에 대응하는 무인 비행체로부터 확대 영상을 수신하는 단계; 및
상기 확대 영상을 사용자 단말기에게 전송하는 단계
를 더 포함하는 항공 영상 정합 방법.8. The method of claim 7,
Identifying an unmanned aerial vehicle corresponding to a specific area when receiving an enlargement request of a specific area of the matching image from the user terminal;
Requesting an enlarged image having an increased size to an unmanned aerial vehicle corresponding to the specific area;
Receiving an enlarged image from an unmanned aerial vehicle corresponding to the specific area; And
Transmitting the enlarged image to the user terminal
Further comprising the steps of: 군집 비행하는 복수의 무인 비행체들이 각각 촬영한 항공 영상들을 수신하는 단계;
상기 무인 비행체들의 고도와 상기 무인 비행체들이 항공 영상을 촬영한 카메라의 화각(angle of view)을 기초로 항공 영상에 포함된 영역의 넓이를 식별하는 단계;
상기 무인 비행체들의 위치 정보에 상기 식별한 영역의 넓이를 적용하여 상기 항공 영상에 포함된 영역의 위치를 식별하는 단계;
서로 다른 무인 비행체들로부터 수신한 항공 영상들에 포함된 영역의 위치들을 비교하여 복수의 항공 영상에서 중복 영역을 추출하는 단계; 및
상기 중복 영역을 처리하여 상기 항공 영상들이 정합된 정합 영상을 생성하는 단계; 및
네트워크의 대역 폭에 따라 상기 정합 영상의 사이즈를 변경하여 사용자 단말기에게 전송하는 단계
를 포함하는 항공 영상 정합 방법.Receiving aerial images captured by a plurality of unmanned aerial vehicles in a cluster;
Identifying the area of the area included in the aerial image based on the altitude of the unmanned aerial vehicles and the angle of view of the camera of the aerial images of the unmanned aerial vehicles;
Identifying a location of an area included in the aerial image by applying an area of the identified area to the location information of the unmanned aerial vehicles;
Extracting redundant regions from a plurality of aerial images by comparing positions of the regions included in aerial images received from different unmanned aerial vehicles; And
Processing the overlapping region to generate a matched matching image of the aerial images; And
Changing the size of the matching image according to the bandwidth of the network and transmitting the size of the matching image to the user terminal
And an aerial image matching method. 삭제delete 제9항에 있어서,
상기 무인 비행체들은,
카메라를 이용하여 촬영한 영상에서 특징점을 추출하고, 카메라를 이용하여 촬영한 영상의 사이즈를 최소화하여 항공 영상을 생성하며, 항공 영상과 특징점을 전송하는 항공 영상 정합 방법.10. The method of claim 9,
The unmanned air vehicles,
An aerial image matching method for extracting feature points from a video image captured by a camera, generating an aerial image by minimizing the size of the captured image using the camera, and transmitting the aerial image and the feature point. 제9항에 있어서,
상기 무인 비행체들은,
기 설정된 고도를 비행하며, 카메라로 지상을 촬영하여 항공 영상을 생성하는 항공 영상 정합 방법.10. The method of claim 9,
The unmanned air vehicles,
A method of aerial image matching that creates an aerial image by photographing the ground with a camera by flying a predetermined altitude. 제9항에 있어서,
상기 사용자 단말기로부터 정합 영상의 특정 영역의 확대 요청을 수신하는 경우, 특정 영역에 대응하는 무인 비행체를 식별하는 단계;
상기 특정 영역에 대응하는 무인 비행체에 사이즈가 증가된 확대 영상을 요청하는 단계;
상기 특정 영역에 대응하는 무인 비행체로부터 확대 영상을 수신하는 단계; 및
상기 확대 영상을 사용자 단말기에게 전송하는 단계
를 더 포함하는 항공 영상 정합 방법.10. The method of claim 9,
Identifying an unmanned aerial vehicle corresponding to a specific area when receiving an enlargement request of a specific area of the matching image from the user terminal;
Requesting an enlarged image having an increased size to an unmanned aerial vehicle corresponding to the specific area;
Receiving an enlarged image from an unmanned aerial vehicle corresponding to the specific area; And
Transmitting the enlarged image to the user terminal
Further comprising the steps of: 군집 비행하는 복수의 무인 비행체들이 각각 촬영한 항공 영상들을 수신하는 수신기; 및
상기 무인 비행체들의 고도와 상기 무인 비행체들이 항공 영상을 촬영한 카메라의 화각을 기초로 항공 영상에 포함된 영역의 넓이를 식별하고, 상기 무인 비행체들의 위치 정보에 상기 식별한 영역의 넓이를 적용하여 상기 항공 영상에 포함된 영역의 위치를 식별하며, 서로 다른 무인 비행체들로부터 수신한 항공 영상들에 포함된 영역의 위치들을 비교하여 복수의 항공 영상에서 중복 영역을 추출하고, 상기 중복 영역을 처리하여 상기 항공 영상들을 정합하는 프로세서
를 포함하는 항공 영상 정합 장치.A receiver for receiving aerial images captured by a plurality of unmanned aerial vehicles in a cluster; And
Wherein the controller identifies the area of the area included in the aerial image based on the altitude of the unmanned aerial vehicles and the angle of view of the camera of the aerial image taken by the unmanned aerial vehicles, A method for identifying a location of an area included in an aerial image, extracting overlapping areas from a plurality of aerial images by comparing positions of the areas included in the aerial images received from different unmanned aerial vehicles, A processor that matches aerial images
And an aerial image registration device. 삭제delete 삭제delete 제14항에 있어서,
상기 프로세서는,
RTK GPS를 이용하여 상기 무인 비행체들의 수평 위치를 식별하고, 상기 무인 비행체들의 고도계, 또는 RTK를 이용하여 상기 무인 비행체들의 고도를 식별하는 항공 영상 정합 장치.15. The method of claim 14,
The processor comprising:
The aerial image registration device identifies the horizontal position of the unmanned aerial vehicles using the RTK GPS and identifies the altitude of the unmanned aerial vehicles using the altimeter of the unmanned aerial vehicles or the RTK. 제14항에 있어서,
상기 무인 비행체들은,
카메라를 이용하여 촬영한 영상에서 특징점을 추출하고, 카메라를 이용하여 촬영한 영상의 사이즈를 최소화하여 항공 영상을 생성하며, 항공 영상과 특징점을 전송하는 항공 영상 정합 장치.15. The method of claim 14,
The unmanned air vehicles,
An airborne image registration device for extracting feature points from a video image captured by a camera, generating an aerial image by minimizing the size of the captured image using the camera, and transmitting the aerial image and the feature point. 제14항에 있어서,
상기 무인 비행체들은,
기 설정된 고도를 비행하며, 카메라로 지상을 촬영하여 항공 영상을 생성하는 항공 영상 정합 장치.15. The method of claim 14,
The unmanned air vehicles,
An aerial image registration device that creates an aerial image by photographing the ground with a camera by flying a predetermined altitude. 제14항에 있어서,
상기 항공 영상들을 정합하여 생성된 정합 영상의 사이즈를 네트워크의 대역 폭에 따라 변경하여 사용자 단말기에게 전송하는 전송기
를 더 포함하는 항공 영상 정합 장치.15. The method of claim 14,
A transmitter for changing the size of the registered image generated by matching the aerial images according to the bandwidth of the network,
Further comprising: 제20항에 있어서,
상기 전송기는,
상기 수신기가 상기 사용자 단말기로부터 정합 영상의 특정 영역의 확대 요청을 수신하는 경우, 특정 영역에 대응하는 무인 비행체에 사이즈가 증가된 확대 영상을 요청하고, 상기 특정 영역에 대응하는 무인 비행체로부터 수신한 확대 영상을 사용자 단말기에게 전송하는 항공 영상 정합 장치.21. The method of claim 20,
The transmitter comprises:
Wherein when the receiver receives an enlargement request of a specific region of the matching image from the user terminal, the receiver requests an enlarged image of an increased size to the unmanned aerial vehicle corresponding to the specific region, And transmits the image to the user terminal. 군집 비행하는 복수의 무인 비행체들이 각각 촬영한 항공 영상들을 수신하는 수신기;
상기 무인 비행체들의 고도와 상기 무인 비행체들이 항공 영상을 촬영한 카메라의 화각을 기초로 항공 영상에 포함된 영역의 넓이를 식별하고, 상기 무인 비행체들의 위치 정보에 상기 식별한 영역의 넓이를 적용하여 상기 항공 영상에 포함된 영역의 위치를 식별하며, 서로 다른 무인 비행체들로부터 수신한 항공 영상들에 포함된 영역의 위치들을 비교하여 복수의 항공 영상에서 중복 영역을 추출하고, 상기 중복 영역을 처리하여 상기 항공 영상들이 정합된 정합 영상을 생성하는 프로세서; 및
네트워크의 대역 폭에 따라 상기 정합 영상의 사이즈를 변경하여 사용자 단말기에게 전송하는 전송기
를 포함하는 항공 영상 정합 장치.A receiver for receiving aerial images captured by a plurality of unmanned aerial vehicles in a cluster;
Wherein the controller identifies the area of the area included in the aerial image based on the altitude of the unmanned aerial vehicles and the angle of view of the camera of the aerial image taken by the unmanned aerial vehicles, A method for identifying a location of an area included in an aerial image, extracting overlapping areas from a plurality of aerial images by comparing positions of the areas included in the aerial images received from different unmanned aerial vehicles, A processor for generating aerial images with matched matching images; And
A transmitter for changing the size of the matched image according to the bandwidth of the network and transmitting the size of the matched image to the user terminal
And an aerial image registration device.
KR1020140177224A 2014-12-10 2014-12-10 Apparatus and method for matching aviation image using swarm filght of unmanned vehicle KR101634878B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140177224A KR101634878B1 (en) 2014-12-10 2014-12-10 Apparatus and method for matching aviation image using swarm filght of unmanned vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140177224A KR101634878B1 (en) 2014-12-10 2014-12-10 Apparatus and method for matching aviation image using swarm filght of unmanned vehicle

Publications (2)

Publication Number Publication Date
KR20160070375A KR20160070375A (en) 2016-06-20
KR101634878B1 true KR101634878B1 (en) 2016-06-29

Family

ID=56354229

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140177224A KR101634878B1 (en) 2014-12-10 2014-12-10 Apparatus and method for matching aviation image using swarm filght of unmanned vehicle

Country Status (1)

Country Link
KR (1) KR101634878B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200063136A (en) * 2018-11-21 2020-06-04 광저우 엑스에어크래프트 테크놀로지 씨오 엘티디 Planning methods for mapping sample points, devices, control terminals and storage media

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107439004B (en) * 2016-08-11 2020-04-10 深圳市道通智能航空技术有限公司 Tracking and identifying method, system and aircraft
WO2018083698A1 (en) * 2016-11-03 2018-05-11 Datumate Ltd. System and method for automatically acquiring two-dimensional images and three-dimensional point cloud data of a field to be surveyed
KR102450140B1 (en) * 2017-12-14 2022-10-05 한국전자통신연구원 Apparatus and method for generating multi-layer monitoring information on monitoring area
KR101945019B1 (en) * 2018-06-22 2019-02-01 전북대학교 산학협력단 System for swarm flight of unmanned aerial vehicles for acquiring images of crop growing distribution and method thereof
KR101963826B1 (en) * 2018-06-22 2019-03-29 전북대학교 산학협력단 System for flying safety and fault recovery in swarm flight of unmanned aerial vehicles and method thereof
KR102399879B1 (en) * 2018-12-24 2022-05-19 농업회사법인 렛츠팜 주식회사 Planting Status and Vegetation Index Analysis System using Clustered Drones Platform
KR102195179B1 (en) * 2019-03-05 2020-12-24 경북대학교 산학협력단 Orthophoto building methods using aerial photographs
KR102191852B1 (en) 2019-07-25 2020-12-17 엘아이지넥스원(주) System for separating swarm flight of unmanned aerial vehicle
KR102267764B1 (en) * 2019-12-26 2021-06-23 한국항공우주연구원 Group drone based broadband reconnaissance and surveillance system, broadband reconnaissance and surveillance method
WO2021206204A1 (en) * 2020-04-10 2021-10-14 (주)아르고스다인 Monitoring method and system using plurality of drones

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004256020A (en) * 2003-02-26 2004-09-16 Kenzo Nonami Autonomous control device and program for small size unmanned helicopter
JP2007248364A (en) * 2006-03-17 2007-09-27 Pasuko:Kk Building shape change detection method and building shape change detection system
JP2014089160A (en) * 2012-10-31 2014-05-15 Topcon Corp Aviation photographic measurement method, and aviation photographic measurement system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100031217A (en) * 2008-09-12 2010-03-22 (주)아이디스 Apparatus and method for adjusting of compression rate of image data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004256020A (en) * 2003-02-26 2004-09-16 Kenzo Nonami Autonomous control device and program for small size unmanned helicopter
JP2007248364A (en) * 2006-03-17 2007-09-27 Pasuko:Kk Building shape change detection method and building shape change detection system
JP2014089160A (en) * 2012-10-31 2014-05-15 Topcon Corp Aviation photographic measurement method, and aviation photographic measurement system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200063136A (en) * 2018-11-21 2020-06-04 광저우 엑스에어크래프트 테크놀로지 씨오 엘티디 Planning methods for mapping sample points, devices, control terminals and storage media
KR102382868B1 (en) 2018-11-21 2022-04-04 광저우 엑스에어크래프트 테크놀로지 씨오 엘티디 Planning method, apparatus, control terminal and storage medium for mapping sample points

Also Published As

Publication number Publication date
KR20160070375A (en) 2016-06-20

Similar Documents

Publication Publication Date Title
KR101634878B1 (en) Apparatus and method for matching aviation image using swarm filght of unmanned vehicle
CN109765930B (en) Unmanned aerial vehicle vision navigation
US9617011B2 (en) Probabilistic safe landing area determination
US10754354B2 (en) Hover control
JP2020030204A (en) Distance measurement method, program, distance measurement system and movable object
EP1998139A1 (en) Building shape change detecting method, and building shape change detecting system
WO2019015158A1 (en) Obstacle avoidance method for unmanned aerial vehicle, and unmanned aerial vehicle
KR101600862B1 (en) stereo vision system using a plurality of uav
EP2977976A2 (en) Context-aware landing zone classification
CN107783555B (en) Target positioning method, device and system based on unmanned aerial vehicle
JP2016224953A (en) Cross spectral feature correlation for navigational adjustment
KR101771492B1 (en) Method and system for mapping using UAV and multi-sensor
JP6652979B2 (en) Image processing device, flying object and program
JP6364101B1 (en) Air monitoring device, air monitoring method and program
JP2019144804A5 (en)
EP3005238B1 (en) Method and system for coordinating between image sensors
WO2018152273A1 (en) Probabilistic landmark navigation (pln) system
KR101807771B1 (en) Apparatus for acquiring image using formation flying unmanned aerial vehicle
WO2024067133A1 (en) 3d-map-based flight control method and system for unmanned aircraft, and medium
CN110906922A (en) Unmanned aerial vehicle pose information determining method and device, storage medium and terminal
JP7437930B2 (en) Mobile objects and imaging systems
KR101948792B1 (en) Method and apparatus for employing unmanned aerial vehicle based on augmented reality
US10551187B2 (en) Method and device for determining the leading edges of two overlapping image captures of a surface
JP7028247B2 (en) Aircraft, air vehicle control device, air vehicle control method and air vehicle control program
US20190180422A1 (en) Method and apparatus for performing geometric correction on images obtained by multiple cameras

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190326

Year of fee payment: 4