KR101854181B1 - Target search system using an unmanned aerial vehicle - Google Patents
Target search system using an unmanned aerial vehicle Download PDFInfo
- Publication number
- KR101854181B1 KR101854181B1 KR1020170136314A KR20170136314A KR101854181B1 KR 101854181 B1 KR101854181 B1 KR 101854181B1 KR 1020170136314 A KR1020170136314 A KR 1020170136314A KR 20170136314 A KR20170136314 A KR 20170136314A KR 101854181 B1 KR101854181 B1 KR 101854181B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- target
- module
- photographed
- aerial vehicle
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims abstract description 7
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000008033 biological extinction Effects 0.000 claims 1
- 238000001931 thermography Methods 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/14—Receivers specially adapted for specific applications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H04N5/2257—
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
본 발명은 무인항공기를 이용한 탐식 기술에 관한 것으로, 좀 더 상세하게는 공중에서 다수의 타겟을 동시에 탐색하면서도 구간에 구분 없이 상기 타겟의 위치와 이동성을 추적 및 모니터링 해서 대상 타겟에 대한 개체별 정보를 정확하게 수집할 수 있는 무인항공기를 이용한 타겟 탐색 시스템에 관한 것이다.More particularly, the present invention relates to a technique of tracking a plurality of targets simultaneously in the air while tracking and monitoring the position and the mobility of the target, And more particularly to a target search system using an unmanned aerial vehicle capable of accurately collecting information.
육상 또는 해상에서 조난자를 수색하거나 특정 지역에 분포하며 서식하는 각종 동물 등의 서식환경과 개체 등을 탐색하기 위해서는, 작업자가 현장에 직접 방문해 상기 현장을 수색하거나 탐색해야 했다. 또한 상기 현장을 비행하는 유인항공기 또는 무인항공기 등을 활용하여 공중에서 현장을 모니터링해서 타겟을 수색하고 추적했다.In order to search for the victims on land or sea, or to search the habitat environment and objects such as various animals living in a specific area, the operator had to visit the site to search or search the site. In addition, manned airplanes or unmanned airplanes that fly the above-mentioned sites were used to monitor the sites in the air to search for and track targets.
근래에는 드론(Drone) 등의 무인항공 기술이 발전하면서 모니터링의 효율성과 지속성과 반복성 등을 높이기 위해 무인항공기를 이용한 모니터링 기술 등에 연구가 집중되었고, 이를 통해 다양한 종류의 무인항공기가 개발되었다.In recent years, drone and other unmanned aviation technologies have been developed, and monitoring techniques using unmanned aerial vehicles have been studied to improve the efficiency, persistence and repeatability of monitoring, and various types of unmanned aerial vehicles have been developed.
그런데 무인항공기를 이용한 종래 탐색 기술은 무인항공기를 현장에 투입해서 카메라 등을 이용해 육상 또는 해상 등을 단순 촬영하며 스캐닝하는 것에 불과하므로, 주행 중인 무인항공기가 타겟이 위치하는 구간을 벗어나면 상기 타겟에 대한 탐색이 종료되는 한계가 있었다. 물론 상기 타겟을 재탐색하기 위해서는 무인항공기가 상기 타겟을 따라 해당 위치로 회항 또는 선회하거나, 상기 타겟을 지속해서 쫓을 수 밖에 없었고, 종래 모니터링 기술은 동일 현장이라도 무인항공기가 탐색 범위를 벗어나면 해당 탐색 범위 내에 위치하는 타겟은 탐색할 수 없었다.However, since the conventional navigation technology using the UAV is merely a simple shooting and scanning of the land or sea using a camera or the like by putting the UAV into the field, if the UAV is out of the zone where the target is located, There was a limit to the search termination. Of course, in order to rediscover the target, the unmanned airplane has to return or turn to the corresponding position along the target or to follow the target continuously. Conventional monitoring technology, however, Targets within range could not be traversed.
결국, 종래 모니터링 기술은 무인항공기가 구간에 상관없이 지속적인 추적성을 유지할 수 있는 특정 타겟으로만 모니터링의 범위를 제한하거나, 타겟과는 무관하게 현장만을 단순히 모니터링하는 분야로만 활용이 제한되었다.As a result, the conventional monitoring technology has been limited to the field of monitoring only the field regardless of the target, or limiting the range of the monitoring only to a specific target in which the unmanned airplane can maintain the constant tracking regardless of the section.
선행기술문헌 1. 특허공개번호 제10-2003-0068871호(2003.08.25 공개)Prior Art Document 1. Patent Publication No. 10-2003-0068871 (published Aug. 25, 2003)
이에 본 발명은 상기의 문제를 해소하기 위해 발명된 것으로, 다수의 타겟을 동시에 탐색하면서도 타겟별 이동성과 이동경로 등을 구체적으로 파악할 수 있고, 광대한 현장에서도 타겟에 대한 지속적인 탐색 작업을 수행할 수 있는 무인항공기를 이용한 타겟 탐색 시스템의 제공을 해결하고자 하는 과제로 한다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the above-mentioned problems, and it is an object of the present invention to provide a navigation system capable of specifically grasping mobility and a moving route for each target while simultaneously searching for a plurality of targets, A target searching system using an unmanned aerial vehicle (AT).
상기의 과제를 달성하기 위하여 본 발명은,According to an aspect of the present invention,
항공기의 직하방을 촬영하는 메인카메라; 항공기의 좌,우측 하방을 각각 촬영하는 제1,2서브카메라; GPS좌표를 확인하는 GPS모듈; 상기 메인카메라와 제1,2서브카메라가 각각 촬영한 촬영영상을 분석해서 동작성을 갖는 타겟이미지를 탐색하고, 촬영 지역의 GPS좌표를 해당 촬영영상에 입력한 화상정보를 생성해서 통신모듈을 통해 컨트롤러로 전송하는 화상탐색모듈; 상기 항공기의 비행항로 정보를 저장하며, 상기 GPS로부터 확인된 현재 GPS좌표에 따라 비행값을 생성하는 운항제어모듈;을 구비한 탐색기, 및A main camera for photographing a direct underneath room of the aircraft; First and second sub-cameras respectively photographing left and right sides of the aircraft; A GPS module for confirming GPS coordinates; The main camera and the first and second sub cameras respectively analyze the photographed images to search for a target image having the same composition, generate image information in which the GPS coordinates of the photographed area are input to the photographed images, An image search module for transmitting to the controller; And a navigation control module for storing the flight route information of the aircraft and generating a flight value according to the current GPS coordinates confirmed from the GPS,
상기 비행항로 정보에 해당하는 지역을 섹터 단위로 분할하여 식별코드가 설정된 섹터 레이어를 상기 지역의 지도이미지 레이어에 합성하여 출력시키는 섹터분할모듈; 상기 화상정보를 수신해서 상기 촬영영상을 해당 GPS좌표에 맞춰 상기 섹터 레이어의 해당 섹터에 출력시키는 화상처리모듈;을 구비한 컨트롤러A sector division module for dividing an area corresponding to the flight route information into sector units to synthesize a sector layer in which an identification code is set to a map image layer of the area and output it; And an image processing module for receiving the image information and outputting the photographed image to a corresponding sector of the sector layer in accordance with the GPS coordinates
를 포함하는 무인항공기를 이용한 타겟 탐색 시스템이다.A target search system using an unmanned aerial vehicle.
상기의 본 발명은, 다수의 타겟을 동시에 탐색하면서도 타겟별 이동성과 이동경로 등을 구체적으로 파악할 수 있고, 광대한 현장에서도 타겟에 대한 지속적인 탐색 작업을 수행할 수 있는 효과가 있다.While the present invention has been described in connection with the exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the present invention.
도 1은 본 발명에 따른 타겟 탐색 시스템의 탐색기가 설치된 무인항공기의 모습을 보인 이미지이고,
도 2는 본 발명에 따른 타겟 탐색 시스템의 탐색기의 구성을 도시한 블록도이고,
도 3은 본 발명에 따른 타겟 탐색 시스템의 메인카메라와 제1,2서브카메라가 이 항공기에서 촬영 지역을 촬영하는 정면 모습을 도시한 도면이고,
도 4는 메인카메라와 제1,2서브카메라가 각각 촬영하여 수집한 촬영영상에 GPS좌표가 적용된 모습을 도시한 도면이고,
도 5는 본 발명에 따른 타겟 탐색 시스템의 컨트롤러의 구성을 도시한 블록도이고,
도 6은 본 발명에 따른 타겟 탐색 시스템에 설정된 비행항로의 설정모습을 순차로 보인 이미지이고,
도 7은 본 발명에 따른 타겟 탐색 시스템의 비행항로가 섹터별로 분할된 모습을 보인 이미지이고,
도 8은 본 발명에 따른 타겟 탐색 시스템의 탐색기가 비행항로 내에 지상 또는 해상의 촬영 범위를 도시한 도면이고,
도 9는 본 발명에 따른 타겟 탐색 시스템이 타겟이미지의 ID를 통일시키는 모습을 도시한 도면이다.1 is an image showing a state of an unmanned air vehicle equipped with a navigator of a target search system according to the present invention,
2 is a block diagram showing the configuration of a searcher of a target search system according to the present invention,
3 is a front view of the main camera and the first and second sub cameras of the target search system according to the present invention,
4 is a view showing a state in which GPS coordinates are applied to an image taken by the main camera and the first and second sub cameras respectively,
5 is a block diagram showing the configuration of a controller of the target search system according to the present invention,
FIG. 6 is an image showing the setting of the flight path set in the target search system according to the present invention,
7 is an image showing a flight path of the target search system according to the present invention divided into sectors,
FIG. 8 is a view showing a photographing range of the ground or sea in the flight path of the navigator of the target search system according to the present invention,
FIG. 9 is a view showing a state in which the target search system according to the present invention unifies the IDs of the target images.
상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings, There will be. The present invention is capable of various modifications and various forms, and specific embodiments are illustrated in the drawings and described in detail in the text. It is to be understood, however, that the invention is not intended to be limited to the particular forms disclosed, but on the contrary, is intended to cover all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention.
이하, 본 발명을 구체적인 내용이 첨부된 도면에 의거하여 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 타겟 탐색 시스템의 탐색기가 설치된 무인항공기의 모습을 보인 이미지이고, 도 2는 본 발명에 따른 타겟 탐색 시스템의 탐색기의 구성을 도시한 블록도이고, 도 3은 본 발명에 따른 타겟 탐색 시스템의 메인카메라와 제1,2서브카메라가 이 항공기에서 촬영 지역을 촬영하는 정면 모습을 도시한 도면이고, 도 4는 메인카메라와 제1,2서브카메라가 각각 촬영하여 수집한 촬영영상에 GPS좌표가 적용된 모습을 도시한 도면이다.FIG. 2 is a block diagram illustrating the configuration of a searcher of a target search system according to the present invention. FIG. 3 is a block diagram of a search system of a target search system according to an embodiment of the present invention. FIG. 4 is a view showing a front view of the main camera and the first and second sub cameras of the target search system according to the first embodiment of the present invention, And the GPS coordinate is applied to the image.
항공기(100)는 유인 또는 무인 항공기일 수 있으며, 본 실시의 항공기(100)는 무인 항공기이다.The
본 실시의 타겟 탐색 시스템은 항공기(100)에 설치되는 탐색기(200)와, 탐색기(200)로부터 전송된 화상정보를 출력시키고 항공기(100)의 운항을 제어하는 컨트롤러(300)를 포함한다. The target search system of the present embodiment includes a
본 실시의 탐색기(200)는, 항공기(100)의 직하방을 촬영하는 메인카메라(230); 항공기(100)의 좌,우측 하방을 각각 촬영하는 제1,2서브카메라(230', 230");를 포함한다. 여기서 메인 카메라(230)는 중앙에서 직하방 촬영을 위해 항공기(100)의 본체(110)에 설치되고, 제1,2서브카메라(230', 230")는 항공기(100)의 좌,우측 하방 촬영을 위해 항공기(100)의 날개(120, 120')에 각각 설치된다. 따라서 메인카메라(230)는 항공기(100)가 운항 중에 직하방을 바로 촬영하고, 제1,2서브카메라(230', 230")는 항공기(100)의 운항 중에 좌,우측 하방을 각각 촬영하되, 메인카메라(230)의 촬영영상과 제1,2서브카메라(230', 230")의 촬영영상은 파노라마 형태로 일렬을 이루며 연결되도록 메인카메라(230)와 제1,2서브카메라(230', 230")는 일렬로 배치된다.The
계속해서, 본 실시의 탐색기(200)는, GPS좌표를 확인하는 GPS모듈(250); 메인카메라(230)와 제1,2서브카메라(230', 230")가 각각 촬영한 촬영영상을 분석해서 동작성을 갖는 타겟이미지를 탐색하고, 촬영 지역의 GPS좌표를 해당 촬영영상에 입력한 화상정보를 생성해서 통신모듈(200a)을 통해 컨트롤러로 전송하는 화상탐색모듈(260); 항공기의 비행항로 정보를 저장하며, 상기 GPS모듈(250)로부터 확인된 현재 GPS좌표에 따라 비행값을 생성하는 운항제어모듈(240);을 포함한다. 여기서 운항제어모듈(240)은 컨트롤러(300)의 제어신호에 따라 항공기(100)의 운항을 비행모듈(290)을 통해 제어하며, 비행모듈(290)은 탐색기(200)와 기존 항공기(100)의 호환을 위한 어댑터 기능을 수행한다.Subsequently, the
또한 본 실시의 탐색기(200)는, 화상탐색모듈(260)이 생성한 화상정보를 저장하는 로그모듈(280)과, 컨트롤러(300)와의 통신을 중계하는 통신모듈(200a)을 더 포함한다.The
화상탐색모듈(260)을 좀 더 구체적으로 설명하면, 메인카메라(230)와 제1,2서브카메라(230', 230")가 촬영해 수집한 촬영영상의 이미지를 분석해서 정형화된 형상과 색상을 확인하고, 이렇게 확인된 이미지형상에서 동작성을 갖는 타겟이미지를 탐색한다. 여기서 상기 동작성은 고착된 정형화 형상에서 위치에 변화가 있는 형상을 추출해 확인하는 것으로, 화상탐색모듈(260)은 상기 동작성을 갖는 형상을 타겟이미지로 설정한다.The image search module 260 will be described in more detail. The
또한 화상탐색모듈(260)은 상기 촬영영상에 출현한 상기 타겟이미지별로 ID를 설정해서 타겟이미지별로 식별할 수 있게 한다.In addition, the image search module 260 sets an ID for each of the target images appearing in the photographed image so as to identify the target image.
또한 화상탐색모듈(260)은 상기 촬영영상에 구성된 촬영 지역별로 해당하는 GPS좌표를 합성하여 입력하는데, 도 4의 (a)도면에서와 같이 메인카메라(230)가 촬영한 촬영영상에는 항공기(100)가 위치한 GPS좌표를 기준으로 일정한 간격의 좌표계 레이어를 생성시켜 합성하고, 제1,2서브카메라(230', 230")가 촬영한 촬영영상에는 도 4의 (b)도면에서와 같이 메인카메라(230)의 좌표계 레이어를 기준으로 해당 좌표축이 원근에 따라 좁아는 좌표계 레이어를 생성시켜 합성한다. 참고로, 항공기(100)의 촬영 고도를 일정하게 유지하고, 상기 제1,2서브카메라(230', 230")는 일정 각도로 측방을 촬영하므로, 화상탐색모듈(260)은 상기 촬영 고도와 측방 촬영 각도 등을 기초로 메인카메라(230) 및 제1,2서브카메라(230', 230")의 촬영영상에 촬영된 지역의 범위와 GPS좌표를 연산하고 해당 좌표계 레이어를 합성할 수 있다. 제1,2서브카메라(230', 230")의 촬영영상은 특정 지역을 향한 측방 이미지이므로, 원근감에 의해 항공기(100)로부터 멀어질수록 GPS좌표의 간격이 좁아진다. 따라서 제1,2서브카메라(230', 230")의 촬영영상에서 일정 범위만이 유효구역으로 한정고, 화상탐색모듈(260)은 상기 유효구역의 촬영영상으로 화상정보를 생성한다. Also, the image search module 260 synthesizes and inputs the corresponding GPS coordinates according to the photographing area configured in the photographing image. As shown in FIG. 4 (a), the photographing image taken by the
탐색기(200)는, 상기 타겟이미지의 이동방향과 이동속도를 분석하고 추적해서 촬영영상에 출현한 타겟이미지와 소멸한 타겟이미지의 동일성 여부를 추정하고, 동일성이 확인된 타겟이미지의 ID를 통일시키는 트래킹 모듈(270)을 더 포함한다. The
본 실시의 타겟 탐색 시스템은 항공기(100)가 운항하면서 대상 지역을 촬영하므로, 타겟이미지가 메인카메라(230) 및 제1,2서브카메라(230', 230")의 촬영범위에서 소멸할 수 있다. 그런데 동일한 타겟이미지가 메인카메라(230)의 촬영범위에서 소멸하여 제1,2서브카메라(230', 230")에 출현하면, 화상탐색모듈(260)은 새로운 ID를 설정하므로 타겟이미지 식별에 혼란을 일으키고 시스템에 부담을 줄 수 있다. 따라서 트래킹 모듈(270)은 항공기(100)가 비행하면서 대상 지역을 촬영할 때 확인된 타겟이미지의 이동방향과 이동속도 등을 수집해서 촬영영상에 출현한 타겟이미지의 동일성 여부를 파악한다.The target search system of the present embodiment shoots the target area while the
참고로, 컨트롤러(300)의 화상처리모듈(320)은 동일한 ID의 타겟이미지에 표시이미지를 합성해서 출력시키며, 이에 대한 설명은 아래에서 좀 더 상세히 한다.For reference, the
본 실시의 메인카메라(230)와 제1,2서브카메라(230', 230")는 각각, 줌촬영유닛(231)과 실상촬영유닛(232)과 열화상촬영유닛(233) 중 선택된 하나 이상을 포함한다.The
더 나아가 본 실시의 상기 메인카메라와 제1,2서브카메라는 각각, 상기 줌촬영유닛(231)과 실상촬영유닛(232)과 열화상촬영유닛(233)의 구동을 제어하는 구동유닛(234)을 더 포함한다.The main camera and the first and second sub cameras of the present embodiment further include a
줌촬영유닛(231)은 촬영 지역 또는 특정 타겟을 확대 또는 축소해서 촬영하는 카메라로, 사용자의 구동신호에 따라 동작하고, 화상처리모듈(320)은 별도의 레이어 팝업을 통해 확대 또는 축소된 이미지를 입출력모듈(340)에서 출력시킨다.The
실상촬영유닛(232)은 촬영 지역 또는 특정 타겟을 촬영하는 카메라이다.In fact, the photographing
열화상촬영유닛(233)은 야간 촬영을 하거나 또는 타겟이미지의 생체 여부를 확인하기 위한 카메라로, 촬영 지역 또는 타겟의 열을 감지해서 촬영한다. 또한 별도의 레이어 팝업을 통해 열화상 이미지를 입출력모듈(340)에서 출력시킨다.The thermal
구동유닛(234)은 사용자의 제어신호에 따라 줌촬영유닛(231)과 실상촬영유닛(232)과 열화상촬영유닛(233)의 구동을 제어한다. 또한 구동유닛(234)은 메인카메라(230)와 제1,2서브카메라(230', 230")의 동작을 제어한다.The
도 5는 본 발명에 따른 타겟 탐색 시스템의 컨트롤러의 구성을 도시한 블록도이고, 도 6은 본 발명에 따른 타겟 탐색 시스템에 설정된 비행항로의 설정모습을 순차로 보인 이미지이고, 도 7은 본 발명에 따른 타겟 탐색 시스템의 비행항로가 섹터별로 분할된 모습을 보인 이미지이고, 도 8은 본 발명에 따른 타겟 탐색 시스템의 탐색기가 비행항로 내에 지상 또는 해상의 촬영 범위를 도시한 도면이다.FIG. 5 is a block diagram showing the configuration of a controller of the target search system according to the present invention. FIG. 6 is an image showing the setting of a flight route set in the target search system according to the present invention, FIG. 8 is a view showing a ground or marine shooting range of the navigator of the target search system according to the present invention in the flight route. FIG.
본 실시의 컨트롤러(300)는, 상기 비행항로 정보에 해당하는 지역을 섹터 단위로 분할한 섹터 레이어를 상기 지역의 지도이미지 레이어에 합성하여 출력시키는 섹터분할모듈(310); 상기 화상정보를 수신해서 상기 촬영영상을 해당 GPS좌표에 맞춰 상기 섹터 레이어의 해당 섹터에 출력시키는 화상처리모듈(320);을 포함한다.The
또한 본 실시의 컨트롤러(300)는, 탐색기(200)와의 무선 통신을 위한 통신모듈(300a)과, 탐색기(200)로부터 전송된 화상정보를 저장하는 저장모듈(250)과, 사용자의 조작에 따라 비행값을 생성시켜서 운항제어모듈(240)에 전송시키는 비행제어모듈(330)을 더 포함한다. 여기서 상기 비행항로는 항공기(100)의 지정된 항로 정보일 수 있고, 사용자가 항공기(100)의 비행을 위해 실시간으로 조작해 생성시키는 조작 정보일 수도 있다.The
섹터분할모듈(310)은 비행항로에 속하는 P1 내지 P4 지역의 지도이미지 레이어를 확인하고, 도 6의 (a)도면 내지 (c)도면에서 보인 바와 같이 일정 간격으로 분할된 섹터 레이어를 생성해서 상기 지도이미지 레이어에 합성한다. 따라서 컨트롤러(300)에서 입출력모듈(340)은 섹터분할모듈(310)이 합성해 생성한 이미지를 출력하여 사용자에게 이를 안내한다. 또한 섹터분할모듈(310)은 도 7에서 보인 대로 섹터별 식별코드를 설정한다. 물론 화상탐색모듈(260)이 생성한 촬영영상은 섹터분할모듈(310)이 분할한 섹터 범위에 해당하므로, 화상처리모듈(320)은 촬영영상을 해당 섹터에 정확히 합성할 수 있다.The
화상처리모듈(320)은 상기 식별코드에 해당하는 GPS좌표에 화상정보의 해당 촬영영상을 합성하여 출력시킨다. 이를 좀 더 구체적으로 설명하면, 화상처리모듈(320)은 탐색기(200)로부터 실시간으로 전송된 화상정보를 GPS좌표별로 분류해서 해당하는 섹터 레이어에 출력시킨다. 이때 화상정보의 촬영영상은 항공기(100)의 비행항로를 따라 촬영 지역에 변화가 발생하므로, 화상처리모듈(320)은 섹터 레이어를 기준으로 촬영영상의 출력 위치를 맞춘다. 결국, 현재 촬영영상이 아닌 다른 위치의 섹터 레이어에는 지도이미지 레이어의 지도만이 출력되고, 상기 현재 촬영영상은 해당하는 섹터 레이어에 정확히 출력된다.The
참고로, 도 8의 (a)도면에서 보인 식별코드 'C2'의 섹터에는 화상처리모듈(320)이 메인카메라(230)의 촬영영상을 출력시키고, 'E2와 D2'의 섹터와 'B2와 A2'에는 각각 제1,2서브카메라(230', 230")의 촬영영상을 각각 출력시킨다. 물론 항공기(100)는 비행을 통해 이동하므로, 도 8의 (b)도면에서 보인 식별코드 'C3'의 섹터에는 화상처리모듈(320)이 메인카메라(230)의 촬영영상을 출력시키고, 'E3와 D3'의 섹터와 'B3와 A3'에는 각각 제1,2서브카메라(230', 230")의 촬영영상을 각각 출력시킨다.For reference, in the sector of the identification code 'C2' shown in FIG. 8A, the
도 9은 본 발명에 따른 타겟 탐색 시스템이 타겟이미지의 ID를 통일시키는 모습을 도시한 도면이다.9 is a view showing a state in which the target search system according to the present invention unifies the IDs of the target images.
전술한 바와 같이 메인카메라(230)와 제1,2서브카메라(230', 230")는 각자가 촬영 대상 지역을 개별적으로 촬영하면서 촬영영상을 수집한다. 그런데 메인카메라(230)에서 촬영되던 타겟이미지가 해당 타겟 또는 항공기(100)가 이동하면서 메인카메라(230)의 촬영영상에서 소멸하고 제1서브카메라(230', 230")의 촬영영상에서 새롭게 출현할 수 있다. As described above, the
그런데 화상탐색모듈(260)은 촬영영상별로 타겟이미지의 ID를 생성하므로, 동일한 타겟이미지이면서도 서로 다른 ID가 설정되고, 이를 통해 타겟 탐색 시스템이 수많은 ID를 생성시킬 수 있다. 그런데 타겟 탐색 시스템은 ID별로 타겟이미지를 식별하고 개별적으로 관리하므로, 동일한 타겟이미지의 이동경로를 파악하는데 시스템적인 부담을 초래한다.However, since the image search module 260 generates the IDs of the target images for each of the photographed images, different IDs are set with the same target image, thereby allowing the target search system to generate a large number of IDs. However, since the target search system identifies and manages the target images by ID, systematic burden is imposed on grasping the movement path of the same target image.
이러한 문제를 해소하기 위해서 본 실시의 트래킹 모듈(270)은, 상기 촬영영상에 출현한 타겟이미지와 소멸한 타겟이미지의 동일성 여부 추정을 위해서, 상기 촬영영상에서 소멸한 타겟이미지의 이동속도를 기초로 상기 소멸한 타겟이미지의 이동반경을 확인하고, 상기 이동반경에서 이동방향을 기초로 새로 출현한 타겟이미지와 소멸한 타겟이미지의 동일성을 추정한다.In order to solve this problem, in order to estimate whether or not the target image appearing in the photographed image coincides with the disappearing target image, the tracking module 270 of the present embodiment determines, based on the moving speed of the target image, The moving radius of the disappearing target image is confirmed and the identity of the newly emerging target image and the disappearing target image is estimated based on the moving direction in the moving radius.
즉, 도 9의 (a)도면과 같이 메인카메라(230)의 제1 촬영영상(V1)에 있는 제1 타겟이미지(T1)가 도 9의 (b)도면과 같이 제1 촬영영상(V1)에서 소멸하고 제1서브카메라(230')의 제2 촬영영상(V2)에서 제2 타겟이미지(T2)로 출현하면, 트래킹 모듈(270)은 제1 타겟이미지(T1)의 이동속도를 기초로 제1 타겟이미지(T1)의 이동반경을 확인한다.9A, the first target image T1 in the first captured image V1 of the
또한 트래킹 모듈(270)은 상기 이동반경에서 제1 타겟이미지(T1)의 이동방향을 확인하여, 도 9의 (c)도면과 같이 제2 타겟이미지(T2)가 상기 이동반경 및 이동방향 범위 내에 속하면, 제2 타겟이미지(T1)가 제1 타겟이미지(T1)와 동일한 타겟임을 추정한다. 물론 트래킹 모듈(270)은 제2 타겟이미지(T2)의 ID를 제1 타겟이미지(T1)의 ID에 통일시켜서 해당 타겟의 이동경로를 추적한다.The tracking module 270 also checks the moving direction of the first target image T1 in the moving radius to determine whether the second target image T2 is within the moving radius and moving direction range , It is estimated that the second target image T1 is the same target as the first target image T1. Of course, the tracking module 270 tracks the movement path of the target by unifying the ID of the second target image T2 with the ID of the first target image T1.
참고로, 본 실시의 트래킹 모듈(270)의 상기 이동반경은, 제1 타겟이미지(T1)의 이동속도와 제1,2 촬영영상(V1, V2)의 시간 차 연산을 통해 제1 타겟이미지(T1)의 최대 이동거리를 확인해서, 제1 타겟이미지(T1)를 중심으로 상기 최대 이동거리를 반지름으로 하는 원형의 범위를 추적함으로써 확인한다. The movement radius of the tracking module 270 of the present embodiment is set such that the movement radius of the first target image T1 and the second target image V1 T1 by checking the maximum movement distance of the first target image T1 and tracing the range of the circle having the maximum movement distance as the radius around the first target image T1.
또한 상기 이동방향 범위는, 상기 이동반경 내에서 제1 타겟이미지(T1)의 이동방향을 중심축으로 해서 좌우로 90도 각도 범위 내의 반원 범위를 이동방향 범위로 지정해 추적함으로써 확인한다. Further, the movement direction range is identified by tracking a semicircle range within an angle range of 90 degrees to the left and right as the movement direction of the first target image (T1) in the movement radius as the movement direction range.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조해 설명했지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.
Claims (6)
상기 비행항로 정보에 해당하는 지역을 섹터 단위로 분할하여 식별코드가 설정된 섹터 레이어를 상기 지역의 지도이미지 레이어에 합성하여 출력시키는 섹터분할모듈; 상기 화상정보를 수신해서 상기 촬영영상을 해당 GPS좌표에 맞춰 상기 섹터 레이어의 해당 섹터에 출력시키며, 동일한 ID의 타겟이미지에 표시이미지를 합성해서 출력시키는 화상처리모듈;을 구비한 컨트롤러
를 포함하는 것을 특징으로 하는 무인항공기를 이용한 타겟 탐색 시스템.A main camera for photographing a direct underneath room of the aircraft; First and second sub-cameras respectively photographing left and right sides of the aircraft; A GPS module for confirming GPS coordinates; The main camera and the first and second sub cameras respectively analyze the photographed images, search for the target images having the same motions, set IDs for the detected target images, input GPS coordinates of the photographed areas into the photographed images An image search module for generating image information and transmitting the generated image information to a controller through a communication module; A flight control module for storing flight path information of the aircraft and generating a flight value according to the current GPS coordinates confirmed from the GPS; And a tracking module for analyzing and tracking the moving direction and the moving speed of the target image to estimate whether or not the target image appearing in the photographed image matches the disappearing target image and to unify the IDs of the target images whose identities are confirmed Explorer, and
A sector division module for dividing an area corresponding to the flight route information into sector units to synthesize a sector layer in which an identification code is set to a map image layer of the area and output it; And an image processing module for receiving the image information and outputting the photographed image to the corresponding sector of the sector layer in accordance with the GPS coordinates and synthesizing the display image with a target image of the same ID,
Wherein the target search system comprises:
상기 트래킹 모듈은, 상기 촬영영상에 출현한 타겟이미지와 소멸한 타겟이미지의 동일성 여부 추정을 위해서, 상기 촬영영상에서 소멸한 타겟이미지의 이동속도를 기초로 상기 소멸한 타겟이미지의 이동반경을 확인하고, 상기 이동반경 내에서 상기 소멸한 타겟이미지의 이동방향을 중심축으로 해서 좌우로 90도 각도 범위 내의 반원 범위를 이동방향 범위로 지정해 추적해서 새로 출현한 타겟이미지와 소멸한 타겟이미지의 동일성을 추정하는 것;
을 특징으로 하는 무인항공기를 이용한 타겟 탐색 시스템.The method according to claim 1,
The tracking module checks the moving radius of the extinction target image based on the moving speed of the target image that has been eliminated from the photographed image in order to estimate whether or not the target image appearing in the photographed image matches the disappearing target image , A semicircle range within a 90-degree angle range from left to right with respect to the moving direction of the vanishing target image within the moving radius as a moving direction range is tracked to estimate the identity of the newly emerging target image and the vanished target image To do;
And a target search system using the unmanned aerial vehicle.
상기 이동반경은, 상기 트래킹 모듈이 상기 소멸한 타겟이미지의 이동속도와 상기 출현한 타겟이미지의 촬영 시간 차를 연산해서 상기 소멸한 타겟이미지의 최대 이동거리를 확인하고, 상기 소멸한 타겟이미지를 중심으로 상기 최대 이동거리를 반지름으로 하는 원형의 범위를 추적함으로써 확인되고;
상기 이동방향 범위는, 상기 트래킹 모듈이 상기 이동반경 내에서 상기 소멸한 타겟이미지의 이동방향으로 반원 범위를 추적함으로써 확인되는 것;
을 특징으로 하는 무인항공기를 이용한 타겟 탐색 시스템.3. The method of claim 2,
The moving radius is calculated by calculating the difference between the moving speed of the disappearing target image and the photographing time of the emerging target image to check the maximum moving distance of the disappearing target image, By tracing the range of the circle with the maximum travel distance as radius;
Wherein the moving direction range is identified by the tracking module tracking the semicircle range in the moving direction of the vanishing target image within the moving radius;
And a target search system using the unmanned aerial vehicle.
상기 메인카메라와 제1,2서브카메라는 각각, 줌촬영유닛과 실상촬영유닛과 열화상촬영유닛 중 선택된 하나 이상을 포함하는 것;
을 특징으로 하는 무인항공기를 이용한 타겟 탐색 시스템.The method according to claim 1,
Wherein the main camera and the first and second sub cameras each include at least one selected from a zoom photographing unit, a real image photographing unit, and a thermal image photographing unit;
And a target search system using the unmanned aerial vehicle.
상기 메인카메라와 제1,2서브카메라는 각각, 상기 줌촬영유닛과 실상촬영유닛과 열화상촬영유닛의 구동을 제어하는 구동유닛을 더 포함하는 것;
을 특징으로 하는 무인항공기를 이용한 타겟 탐색 시스템.5. The method of claim 4,
The main camera and the first and second sub-cameras each further include a drive unit for controlling driving of the zoom photographing unit, the actual photographing unit, and the thermal imaging unit;
And a target search system using the unmanned aerial vehicle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170136314A KR101854181B1 (en) | 2017-10-20 | 2017-10-20 | Target search system using an unmanned aerial vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170136314A KR101854181B1 (en) | 2017-10-20 | 2017-10-20 | Target search system using an unmanned aerial vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101854181B1 true KR101854181B1 (en) | 2018-05-04 |
Family
ID=62199531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170136314A KR101854181B1 (en) | 2017-10-20 | 2017-10-20 | Target search system using an unmanned aerial vehicle |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101854181B1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110189411A (en) * | 2019-06-12 | 2019-08-30 | 中国民用航空飞行学院 | Emergency management and rescue Search Area method for visualizing after a kind of accident of aircraft |
KR20200056068A (en) * | 2018-11-14 | 2020-05-22 | 이병섭 | System for tracking an object in unmanned aerial vehicle based on mvs |
KR102120779B1 (en) * | 2019-09-05 | 2020-06-17 | 한국해양과학기술원 | Method and apparatus of monitoring sea surface using UAV |
KR102154950B1 (en) * | 2020-01-30 | 2020-09-10 | 주식회사 디지털커브 | Method and apparatus for matching image captured by unmanned air vehicle with map, cadaster, or satellite image |
CN112394382A (en) * | 2020-10-14 | 2021-02-23 | 中国科学院西安光学精密机械研究所 | Long-time shielding resistant low-slow small target tracking device and method |
CN116033265A (en) * | 2023-01-04 | 2023-04-28 | 浙江吉利控股集团有限公司 | Camera sharing method, system, equipment and computer readable storage medium |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100134614A1 (en) | 2006-09-11 | 2010-06-03 | Aman James A | System and methods for translating sports tracking data into statistics and performance measurements |
US20120050524A1 (en) | 2010-08-25 | 2012-03-01 | Lakeside Labs Gmbh | Apparatus and method for generating an overview image of a plurality of images using an accuracy information |
KR101214582B1 (en) | 2012-08-30 | 2012-12-24 | 에스제이공간정보(주) | Image editing system with increasing understanding of aerial images |
KR101231702B1 (en) | 2012-11-30 | 2013-02-08 | 새한항업(주) | System for taking air photograph with high quality image editing by input code |
KR101236992B1 (en) | 2012-11-05 | 2013-02-26 | 명화지리정보(주) | Picture processing system updating the image installed the data |
WO2013153288A1 (en) | 2012-04-10 | 2013-10-17 | Cassidian Sas | Method allowing the fusion of semantic beliefs |
KR101564410B1 (en) | 2015-07-27 | 2015-11-02 | (주)아세아항측 | Image processing method for correcting the linking information of section in the image |
US20160344980A1 (en) | 2013-01-30 | 2016-11-24 | Insitu, Inc. | Augmented video system providing enhanced situational awareness |
KR101772210B1 (en) | 2017-04-20 | 2017-08-28 | 주식회사 일도엔지니어링 | Golf course sprinkler management system using drone photographing data and GIS analysis methods |
-
2017
- 2017-10-20 KR KR1020170136314A patent/KR101854181B1/en active IP Right Grant
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100134614A1 (en) | 2006-09-11 | 2010-06-03 | Aman James A | System and methods for translating sports tracking data into statistics and performance measurements |
US20120050524A1 (en) | 2010-08-25 | 2012-03-01 | Lakeside Labs Gmbh | Apparatus and method for generating an overview image of a plurality of images using an accuracy information |
WO2013153288A1 (en) | 2012-04-10 | 2013-10-17 | Cassidian Sas | Method allowing the fusion of semantic beliefs |
KR101214582B1 (en) | 2012-08-30 | 2012-12-24 | 에스제이공간정보(주) | Image editing system with increasing understanding of aerial images |
KR101236992B1 (en) | 2012-11-05 | 2013-02-26 | 명화지리정보(주) | Picture processing system updating the image installed the data |
KR101231702B1 (en) | 2012-11-30 | 2013-02-08 | 새한항업(주) | System for taking air photograph with high quality image editing by input code |
US20160344980A1 (en) | 2013-01-30 | 2016-11-24 | Insitu, Inc. | Augmented video system providing enhanced situational awareness |
KR101564410B1 (en) | 2015-07-27 | 2015-11-02 | (주)아세아항측 | Image processing method for correcting the linking information of section in the image |
KR101772210B1 (en) | 2017-04-20 | 2017-08-28 | 주식회사 일도엔지니어링 | Golf course sprinkler management system using drone photographing data and GIS analysis methods |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200056068A (en) * | 2018-11-14 | 2020-05-22 | 이병섭 | System for tracking an object in unmanned aerial vehicle based on mvs |
KR102177655B1 (en) | 2018-11-14 | 2020-11-11 | 이병섭 | System for tracking an object in unmanned aerial vehicle based on mvs |
CN110189411A (en) * | 2019-06-12 | 2019-08-30 | 中国民用航空飞行学院 | Emergency management and rescue Search Area method for visualizing after a kind of accident of aircraft |
KR102120779B1 (en) * | 2019-09-05 | 2020-06-17 | 한국해양과학기술원 | Method and apparatus of monitoring sea surface using UAV |
KR102154950B1 (en) * | 2020-01-30 | 2020-09-10 | 주식회사 디지털커브 | Method and apparatus for matching image captured by unmanned air vehicle with map, cadaster, or satellite image |
CN112394382A (en) * | 2020-10-14 | 2021-02-23 | 中国科学院西安光学精密机械研究所 | Long-time shielding resistant low-slow small target tracking device and method |
CN112394382B (en) * | 2020-10-14 | 2023-12-08 | 中国科学院西安光学精密机械研究所 | Low-speed small target tracking device and method capable of resisting long-term shielding |
CN116033265A (en) * | 2023-01-04 | 2023-04-28 | 浙江吉利控股集团有限公司 | Camera sharing method, system, equipment and computer readable storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101854181B1 (en) | Target search system using an unmanned aerial vehicle | |
US11858628B2 (en) | Image space motion planning of an autonomous vehicle | |
US8718838B2 (en) | System and methods for autonomous tracking and surveillance | |
KR101390141B1 (en) | Autonomous vehicle rapid development testbed systems and methods | |
US20210318696A1 (en) | System and method for perceptive navigation of automated vehicles | |
CN107656545A (en) | A kind of automatic obstacle avoiding searched and rescued towards unmanned plane field and air navigation aid | |
AU2014253606A1 (en) | Landing system for an aircraft | |
KR102177655B1 (en) | System for tracking an object in unmanned aerial vehicle based on mvs | |
CN107643759A (en) | From the autonomous system with target following and positioning of unmanned plane shooting mobile image | |
KR102289752B1 (en) | A drone for performring route flight in gps blocked area and methed therefor | |
US9816786B2 (en) | Method for automatically generating a three-dimensional reference model as terrain information for an imaging device | |
Meshcheryakov et al. | An application of swarm of quadcopters for searching operations | |
CN114115289A (en) | Autonomous unmanned cluster reconnaissance system | |
Urieva et al. | Collision detection and avoidance using optical flow for multicopter UAVs | |
KR102461405B1 (en) | Drone and drone control methods that enable autonomous flight using spatial analysis | |
Martínez-de-Dios et al. | Multi-UAV experiments: application to forest fires | |
Arambel et al. | Multiple-hypothesis tracking of multiple ground targets from aerial video with dynamic sensor control | |
KR101537324B1 (en) | Automatic carrier take-off and landing System based on image processing | |
KR101865835B1 (en) | Monitoring system for a flying object | |
JP2017016395A (en) | Route generation method and system | |
KR102149494B1 (en) | Structure inspection system and method using dron | |
JP7130409B2 (en) | Control device | |
KR102209882B1 (en) | Structure inspection system and method using dron | |
JP2024012827A (en) | Unmanned aircraft coping system and video tracking device | |
Kemsaram et al. | A mean-shift algorithm based autonomous visual tracking for micro aerial vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |