KR20210156506A - 지상관제를 위한 다중 uav 제어 시스템 및 제어 방법 - Google Patents

지상관제를 위한 다중 uav 제어 시스템 및 제어 방법 Download PDF

Info

Publication number
KR20210156506A
KR20210156506A KR1020200074183A KR20200074183A KR20210156506A KR 20210156506 A KR20210156506 A KR 20210156506A KR 1020200074183 A KR1020200074183 A KR 1020200074183A KR 20200074183 A KR20200074183 A KR 20200074183A KR 20210156506 A KR20210156506 A KR 20210156506A
Authority
KR
South Korea
Prior art keywords
image data
control
uav
data
unit
Prior art date
Application number
KR1020200074183A
Other languages
English (en)
Other versions
KR102425372B1 (ko
Inventor
신수용
최연지
김훈희
이영욱
Original Assignee
금오공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 금오공과대학교 산학협력단 filed Critical 금오공과대학교 산학협력단
Priority to KR1020200074183A priority Critical patent/KR102425372B1/ko
Publication of KR20210156506A publication Critical patent/KR20210156506A/ko
Application granted granted Critical
Publication of KR102425372B1 publication Critical patent/KR102425372B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G01S19/15—Aircraft landing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B64C2201/127—
    • B64C2201/146—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Laying Of Electric Cables Or Lines Outside (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 지상관제를 위한 다중 UAV 제어 시스템 및 제어 방법에 관한 것으로 보다 상세하게는, 영상 데이터 및 좌표 데이터를 관제하는 다중 UAV(Unmanned Aerial Vehicle); 상기 다중 UAV(Unmanned Aerial Vehicle)와 통신되어 상기 영상 데이터 및 좌표 데이터를 전달받아 저장하는 객체인식 서버; 상기 객체인식 서버와 통신되어 상기 다중 UAV(Unmanned Aerial Vehicle)를 짐벌 제어하는 웨어러블 디바이스; 상기 객체인식 서버에서 상기 영상 데이터 및 좌표 데이터를 전송받고 실시간으로 디스플레이하는 증강 및 혼합 현실장치;를 포함하되, 상기 객체인식 서버에 저장된 상기 영상 데이터 및 좌표 데이터는 제어부에 의해 제어되고, 상기 제어부는, 상기 영상 데이터 및 좌표 데이터를 영상제어 알고리즘을 이용하여 제어하는 것을 특징으로 한다.

Description

지상관제를 위한 다중 UAV 제어 시스템 및 제어 방법{Multiple UAV control systems and control methods for ground control}
본 발명은 지상관제를 위한 다중 UAV 제어 시스템 및 제어 방법에 관한 것으로, 보다 상세하게는 지상관제를 위하여 다중 UAV를 증강 및 혼합 현실장치를 통해 하나의 영상으로 취합하여 객체 확인이 가능하고, 웨어러블 디바이스를 통해 사용자의 음성이나 동작 모션인식을 통해 다중 UAV를 짐벌 원격 제어하기 위한 지상관제를 위한 다중 UAV 제어 시스템 및 제어 방법에 관한 것이다.
일반적으로, 무인 항공기(Unmanned Aerial Vehicle; UAV)는 원격 조작에 의해 동작하는 사람이 탑승하지 않은 항공기를 의미한다.
최근, 무인 항공기는 군사용뿐만 아니라 다양한 용도로 이용되고 있다. 보다 상세하게는, 무인 항공기는 유인항공기를 대용하여 위험 지역을 비행하고, 원거리에서 주변 이미지를 촬영하는 등, 그 사용이 다양해지고 있다.
또한, 무인 항공기는 드론(drone)이란 명칭으로 널리 알려진 쿼드콥터(quadcopter)로써 그 사용이 점차 증가하고 있다.
이러한 무인 항공기의 이용 용도가 다양해짐에 따라, 무인 항공기를 제어하는 다양한 방법이 등장하고 있다. 특히, 무인 항공기의 활용사업으로서 항공촬영사업에 대한 활용도가 주목받고 있으며, 이를 위하여 지상의 무선조종기를 통하여 무인 항공기의 움직임을 조종하면서 무인 항공기에 장착된 촬영용 카메라로 항공영상 및 객체를 촬영하고 이를 다중으로 제어방법에 대한 개발이 활발히 진행되고 있다.
이러한 종래기술의 일 예로 대한민국 등록특허공보 제10-1707865호에 개시된 기술을 들 수 있다.
그러나, 종래기술은 지상의 무선 조종기에 의해서만 무인 항공기의 움직임 및 비행을 제어하면서 동시에 항공영상 촬영을 위한 카메라의 촬영방향을 제어하도록 구성된다.
따라서, 이러한 종래기술은 하나의 입력 유닛만으로(즉, 조종사의 손을 통해서만 입력신호를 수신하여) 두 가지 제어(즉, 비행 제어 및 촬영 제어)를 실행하도록 구성되어 있어, 무인 비행기를 이용해 항공영상을 다양한 각도로 촬영하지 못하며 다중으로 여러 UAV를 제어하지 못하는 문제점을 가지고 있었다.
대한민국 등록특허공보 제10-1707865호
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 본 발명의 목적은, 지상관제를 위하여 다중 UAV를 증강 및 혼합 현실장치를 통해 하나의 영상으로 취합하여 객체 확인이 가능하고, 웨어러블 디바이스를 통해 사용자의 음성이나 동작 모션인식을 통해 다중 UAV를 짐벌 원격 제어하는 지상관제를 위한 다중 UAV 제어 시스템 및 제어 방법을 제공하는데 있다.
본 발명의 다른 목적은, 5G 통신모듈을 통해 고용량의 영상 데이터 및 좌표 데이터를 신속히 통신할 수 있고, 영상 데이터 및 좌표 데이터를 영상제어 알고리즘을 이용하여 제어함으로서 외란으로 인한 각 데이터 처리오차를 방지하기 위한 지상관제를 위한 다중 UAV 제어 시스템 및 제어 방법을 제공하는데 있다.
본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기한 바와 같은 목적을 달성하기 위한 특징에 따르면, 본 발명인 지상관제를 위한 다중 UAV 제어 시스템은, 영상 데이터 및 좌표 데이터를 관제하는 다중 UAV(Unmanned Aerial Vehicle);
상기 다중 UAV(Unmanned Aerial Vehicle)와 통신되어 상기 영상 데이터 및 좌표 데이터를 전달받아 저장하는 객체인식 서버;
상기 객체인식 서버와 통신되어 상기 다중 UAV(Unmanned Aerial Vehicle)를 짐벌 제어하는 웨어러블 디바이스;
상기 객체인식 서버에서 상기 영상 데이터 및 좌표 데이터를 전송받고 실시간으로 디스플레이하는 증강 및 혼합 현실장치;를 포함하되,
상기 객체인식 서버에 저장된 상기 영상 데이터 및 좌표 데이터는 제어부에 의해 제어되고,
상기 제어부는,
상기 영상 데이터 및 좌표 데이터를 영상제어 알고리즘을 이용하여 제어하는 것을 특징으로 한다.
또한, 상기 다중 UAV(Unmanned Aerial Vehicle)는,
객체를 영상을 촬영하는 카메라부;
상기 객체의 좌표를 확인하는 GPS(Global Positioning System)부;
상기 웨어러블 디바이스와 통신되어 사용자의 모션을 인식하는 모션인식부;
상기 객체인식 서버와 통신되는 통신부;를 더 포함하는 것을 특징으로 한다.
또한, 상기 모션인식부는,
상기 사용자의 동작을 인식하는 동작인식부;
상기 사용자의 음성을 인식하는 음성인식부;를 더 포함하는 것을 특징으로 한다.
또한, 상기 제어부는,
상기 다중 UAV(Unmanned Aerial Vehicle)에서 촬영된 각 영상 데이터를 상기 증강 및 혼합 현실 장치에 디스플레이하기 위하여 하나의 영상 데이터로 취합하는 영상처리부;를 더 포함하는 것을 특징으로 한다.
또한, 상기 영상처리부에서 취합된 영상 데이터를 분석하여 보정하는 영상보정부;를 더 포함하는 것을 특징으로 한다.
본 발명인 지상관제를 위한 다중 UAV 제어 방법은, 다중 UAV(Unmanned Aerial Vehicle)를 비행시키는 단계;
객체인식 서버와 통신되어 상기 다중 UAV(Unmanned Aerial Vehicle)를 웨어러블 디바이스가 짐벌 제어하는 단계;
상기 다중 UAV(Unmanned Aerial Vehicle)에 연동된 카메라부에서 영상 데이터를 촬영하고 GPS(Global Positioning System)부에서 좌표 데이터를 측정하는 단계;
상기 영상 데이터 및 좌표 데이터를 객체인식 서버에 전송하는 단계;
상기 영상 데이터와, 상기 영상 데이터를 기반으로 객체의 좌표 데이터를 제어부에서 제어하는 단계;
상기 객체인식 서버에서 상기 영상 데이터 및 좌표 데이터를 증강 및 혼합 현실장치에 전송하여 실시간으로 상기 영상 데이터 및 좌표 데이터를 관제하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 영상 데이터와, 상기 영상 데이터를 기반으로 객체의 좌표 데이터를 제어부에서 제어하는 단계에서,
상기 다중 UAV(Unmanned Aerial Vehicle)에서 촬영된 각 영상 데이터를 상기 증강 및 혼합 현실장치에 디스플레이하기 위하여 하나의 영상 데이터로 취합하는 단계;를 더 포함하는 것을 특징으로 한다.
또한, 상기 하나의 영상 데이터로 취합하는 단계에서,
취합된 영상 데이터를 분석하여 보정하는 단계;를 더 포함하는 것을 특징으로 한다.
또한, 상기 영상 데이터와, 상기 영상 데이터를 기반으로 객체의 좌표 데이터를 제어부에서 제어하는 단계에서,
상기 영상 데이터 및 좌표 데이터를 영상제어 알고리즘을 이용하여 제어하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 지상관제를 위한 다중 UAV 제어 시스템 및 제어 방법에 따르면, 지상관제를 위하여 다중 UAV를 증강 및 혼합 현실장치를 통해 하나의 영상으로 취합하여 객체 확인이 가능하고, 웨어러블 디바이스를 통해 사용자의 음성이나 동작 모션인식을 통해 다중 UAV를 짐벌 원격 제어하는 효과가 있다.
또한, 5G 통신모듈을 통해 고용량의 영상 데이터 및 좌표 데이터를 신속히 통신할 수 있고, 영상 데이터 및 좌표 데이터를 영상제어 알고리즘을 이용하여 제어함으로서 외란으로 인한 각 데이터 처리오차를 방지하는 효과가 있다.
도 1은 종래 기술로 각 드론마다 각 사용자에 의해 개별적으로 컨트롤하는 상황을 도시한 사진,
도 2는 본 발명의 일 실시예에 따른 지상관제를 위한 다중 UAV 제어 시스템의 사진,
도 3 내지 5는 본 발명의 일 실시예에 따른 지상관제를 위한 다중 UAV 제어 시스템의 개략도,
도 6은 본 발명의 일 실시예에 따른 지상관제를 위한 다중 UAV 제어 시스템의 다중 UAV의 구성블록도,
도 7 내지 8은 본 발명의 일 실시예에 따른 지상관제를 위한 다중 UAV 제어 시스템 및 제어 방법을 나타낸 사진,
도 9 내지 10은 본 발명의 일 실시예에 따른 지상관제를 위한 다중 UAV 제어 방법을 도시한 블록도이다.
이하의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다.
오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprise)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시예들을 기술하는데 있어서, 여러가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련없는 부분들은 본 발명을 설명하는 데 있어 혼돈을 막기 위해 기술하지 않음을 미리 언급해 둔다.
도 1은 종래 기술로 각 드론마다 각 사용자에 의해 개별적으로 컨트롤하는 상황을 도시한 사진이고, 도 2는 본 발명의 일 실시예에 따른 지상관제를 위한 다중 UAV 제어 시스템의 사진이며, 도 3 내지 5는 본 발명의 일 실시예에 따른 지상관제를 위한 다중 UAV 제어 시스템의 개략도이고, 도 6은 본 발명의 일 실시예에 따른 지상관제를 위한 다중 UAV 제어 시스템의 다중 UAV의 구성블록도이며, 도 7 내지 8은 본 발명의 일 실시예에 따른 지상관제를 위한 다중 UAV 제어 시스템 및 제어 방법을 나타낸 사진이다.
도 1 내지 도 8에 도시된 바와 같이, 본 발명인 지상관제를 위한 다중 UAV 제어 시스템은, 크게 다중 UAV(Unmanned Aerial Vehicle, 100)와, 객체인식 서버(200)와, 웨어러블 디바이스(300)와, 증강 및 혼합 현실장치(400) 및 제어부(500)를 포함하는 구성이다.
먼저, 다중 UAV(100) 즉, 복수개의 UAV(100)가 구비되는데, 상기 다중 UAV(100)는 적어도 하나 이상의 UAV(100)가 구비되고, 이하 설명될 객체인식 서버(200)와 통신되는 웨어러블 디바이스(300)의 모션동작에 의해 지상으로의 비행과 지면으로 착륙이 가능하고, 좌우/상하 방향으로 이동 및 속도조절이 가능한 구성이다.
이러한 상기 다중 UAV(100)는 크게, 카메라부(110)와, GPS(Global Positioning System, 120)부와, 모션인식부(130)와, 통신부(140)를 포함한 구성이고, 더 나아가, 상기 다중 UAV(100)에 전원을 공급하는 전원공급부(미도시)가 더 부가되어 상기 다중 UAV(100)에 상시 전원을 공급하게 된다.
상기 카메라부(110)는, 다중 UAV(100)가 비행을 시작한 후, 객체를 영상을 촬영하게 되는데, 상기 카메라부(110)는 지상으로 비행한 후, 지면에 위치한 객체 즉, 사람, 사물, 지형 등을 실시간으로 촬영하게 된다.
이때, 상기 카메라부(110)는 광각렌즈, 줌렌즈, 접사렌즈, 망원렌즈, 어안렌즈 중 어느 하나의 렌즈를 선택하여 사용될 수 있으며, 실화상 또는 열화상 중 어느 하나를 선택하여 촬영할 수 있다.
상기 GPS(Global Positioning System)부는, 다중 UAV(100)가 비행을 시작한 후, 지면에 위치한 상기 객체의 위치좌표 정보를 실시간으로 측정하게 되는데, 상기 객체의 좌표는, 지면에 위치한 사람의 위치좌표, 사물의 위치좌표, 지형의 위치좌표 등을 측정할 수 있다.
상기 모션인식부(130)는, 이하 설명될 웨어러블 디바이스(200)와 원격 통신되어 사용자의 모션을 인식하고 상기 다중 UAV(100)를 일률적으로 동작 즉, 다중 UAV(100)를 동시에 지상으로 비행과 지면으로 착륙할 수 있으며, 좌우/상하 방향으로 이동 및 속도조절을 수행할 수 있다.
이러한, 상기 모션인식부(130)는, 크게 동작인식부(131)와 음성인식부(132)로 구분되어 상기 웨어러블 디바이스(200)와 연동되는데, 상기 모션인식부(130)는 상기 웨어러블 디바이스(300)를 착용하고 있는 사용자의 모션을 인식하여 상기 사용자가 취하는 각종 동작과 음성을 인식함으로서, 각종 동작과 음성 지시에 맞춰 다중 UAV(100)들을 지상으로 비행과 지면으로 착륙시킬 수 있고, 좌우/상하 방향으로 이동 및 속도조절을 수행할 수 있다.
상기 통신부(140)는, 상기 객체인식 서버(200)와 통신되어 상기 웨어러블 디바이스(300)를 착용하고 있는 사용자의 모션을 인식하여 상기 사용자가 취하는 각종 동작과 음성을 인식함으로서, 각종 동작과 음성 지시에 맞춰 다중 UAV(100)들을 지상으로 비행과 지면으로 착륙시킬 수 있고, 좌우/상하 방향으로 이동 및 속도조절을 수행하도록 신호를 원격으로 통신할 수 있다.
이와 같은, 상기 다중 UAV(100) 중 하나 이상의 UAV는 지상관제 중 상기 좌표 데이터의 이상지점(조난위치, 사고위치 등)으로 비행시키도록 제어할 수 있는데, 상기 UAV 일측에 긴급상황알림부(미도시)가 부가적으로 설치된다.
상기 긴급상황알림부(미도시)는 경광등, 레이저, 경적, 폭죽 등을 포함하며, 상기 UAV가 이상지점에 위치한 후 상기 긴급상황알림부를 작동시켜 이상지점의 위치정보를 육안으로 표시함으로서 구조기관에 신속히 좌표 정보를 제공할 수 있다.
더 나아가, 상기 UAV에 별도의 통신모듈(미도시)이 내장되어 사설 통신망에 접속할 수 있고, 무선신호를 통해 지정된 구조기관에 긴급상황정보를 송수신하여 긴급상황 및 재난상황을 신속히 구호요청 함으로서 인명피해 등을 방지할 수 있다.
상기 객체인식 서버(200)는, 상기 다중 UAV(100)와 통신이 가능하여 상기 다중 UAV(100)에서 제공되는 상기 영상 데이터 및 좌표 데이터를 전달받아 저장할 수 있다.
이때, 상기 영상 데이터와 상기 좌표 데이터는 하나의 서버에 저장되거나, 둘 이상의 서버가 구비되어 상기 영상 데이터와 상기 좌표 데이터를 구분되어 저장될 수 있다.
이러한, 상기 객체인식 서버(200)에 저장된 상기 영상 데이터 및 좌표 데이터는 제어부(500)에 의해 제어되는데, 상기 제어부(500)는, 상기 영상 데이터 및 좌표 데이터를 영상제어 알고리즘을 이용하여 제어할 수 있다.
상기 영상제어 알고리즘은, 상기 객체인식 서버(200)에 저장된 상기 영상 데이터 및 좌표 데이터를 상기 제어부(500)에서 제어하게 되는데, 상기 영상 데이터 및 좌표 데이터에는 상기 웨어러블 디바이스(300)서 사용자의 불필요한 동작으로 인한 영상 데이터 및 좌표 데이터 즉, 노이즈가 저장되게 된다. 이러한 노이즈는 추후 사용자에게 증강 및 혼합 현실장치(400)를 통해 제공될 때, 데이터의 오류로서 동작할 가능성이 높다. 그러므로, 사용자의 불필요한 동작에 대해서는 상기 제어부(500)에서 해당 데이터를 노이즈로 분류하여 저장하는 것이 바람직하다.
구체적으로, 이러한 불필요한 동작에 대한 데이터를 유효한 동작 데이터와 분리하기 위해서, 상기 유효한 동작 데이터(동작인식부 및 음성인식부 등을 포함한 형태)를 머신 러닝을 통한 학습방식을 사용하는 것이 바람직하다.
일실시예로는 이러한 데이터의 분류를 위해 심층 신경망 방식 중 CNN( Convolutional Neural Network) 방식을 사용하여, 상기 유효한 동작 데이터를 복수개의 레이어로 학습화하는 것이 바람직하며, 특히 사용자의 동작 패턴 및 음성 패턴이나 사용자의 움직임 패턴은 사용자의 정해진 관제구역 및 사용자의 관제시간에 대해서는 항상 일정한 형태로 데이터 패턴을 형성하기 때문에, 이러한 점에 착안하여, SVM(Supported Vector Machine)을 사용하여 동작 인식 환경을 최적화하고 사용자 동작 인식에 따른 지연이나 동작 속도를 개선하기 위해 상기 영상 데이터 및 좌표 데이터를 빅데이터화하여 패턴을 분석하고, 패턴 최적화에 의해 동작 오류 즉, 데이터 패턴의 노이즈(불필요한 동작)을 구분하는 것이 바람직하다.
특히, SVM의 경우, 상기 카메라부(110)와 GPS부(120) 및 모션인식부(130)를 통해 취득한 데이터를 벡터화하여, 상기 벡터에 대해서 학습을 시킴으로써, 지상관제시 유효한 데이터값과 유효하지 않은 데이터값의 패턴 벡터들을 효과적으로 구분하여, 결과적으로는 상기 제어부(500)에서 불필요 동작 즉, 노이즈들을 효과적으로 제거할 수 있다.
본 발명의 또 다른 일실시예로, 상기 영상제어 알고리즘은 상기 다중 UAV(100)에서 촬영되는 영상 데이터가 사용자가 착용하고 있는 상기 웨어러블 디바이스(300)나 상기 모션인식부(130)의 오작동으로 인한 동작이나 패턴 불일치에 대한 소프트웨어 처리 방식에 패턴 인식 인공지능 알고리즘이 포함될 수도 있다.
예를 들어 사람을 측정해야 하는데, 사람 형태의 인형 등이 측정된 경우, 추천 데이터로서 상기 영상 데이터에서의 특징점들(예를 들어, 사람의 얼굴, 사람의 목, 사람의 몸통, 사람의 팔과 다리 등)을 분리시켜 기록하고, 입력된 영상 데이터(사람의 얼굴, 사람의 목, 사람의 몸통, 사람의 팔과 다리 등)과의 매칭을 시켜 유효한 데이터와 유효하지 않은 데이터를 구분할 수 있다.
더 나아가, 상기 영상 데이터는 인식해야 할 신체 부위를 더 세분화하여, 좀더 정밀한 컨텐츠의 구현이 가능하도록 할 수 있는데, 기본적인 얼굴/목/몸통/팔/다리 등의 신체 부위 적용뿐 만 아니라, 손가락이나 발가락 등의 좀 더 정밀한 신체의 추적이 가능하도록 제작하여 제공할 수 있다.
이때, 이러한 데이터의 패턴 확인에 처리 속도를 높인 인공지능 알고리즘을 적용할 수 있고, 이를 활용하여 예측 정확도 등을 높일 수 있다.
이때 적용될 수 있는 인공지능 알고리즘은 인식율을 향상시키기 위한 에이다부스트(AdaBoost), 선형판별식 해석(Linear Disciminant Analysis: LDA), 주성분 분석(Principal Component Analusis: PCA) 등의 알고리즘 등이 적용될 수도 있다.
또한, 상기 제어부(500)는 상기 다중 UAV(100)에서 촬영된 각 영상 데이터를 이하 설명될 상기 증강 및 혼합 현실장치(400)에 디스플레이하기 위하여 하나의 영상 데이터로 취합하는 영상처리부(410)를 더 포함할 수 있다.
상기 영상처리부(410)는 상기 제어부(500)와 연동된 객체인식 서버(200)에서 상기 증강 및 혼합 현실장치(400) 영상 데이터 및 좌표 데이터를 통신할 경우, 다중 UAV(100)에서 각각 촬영된 영상 데이터 및 좌표 데이터를 하나의 영상 데이터 및 좌표 데이터로 상기 증강 및 혼합 현실장치(400)에 디스플레이할 수 있는데, 여기서 상기 영상처리부(410)에서 취합된 영상 데이터를 분석하여 보정하는 영상보정부(420)를 더 포함할 수 있다.
상기 영상보정부(420)는 상기 제어부(500)의 영상제어 알고리즘과 더불어 영상 데이터를 보조적으로 보정할 수 있는데, 상기 영상보정부(420)는 상술된 상기 영상제어 알고리즘을 통하여 상기 제어부(500)에서 제어되지 않은 부분을 보조적으로 보정하여 오차 없는 데이터 정보를 통신할 수 있다.
상기 웨어러블 디바이스(300)는, 상기 다중 UAV(100)를 짐벌 제어하는 사용자가 착용하게 되는데, 상기 웨어러블 디바이스(300)는 상기 객체인식 서버(200)와 통신되어 상기 다중 UAV(100)를 짐벌 제어하게 된다.
이러한, 상기 웨어러블 디바이스(300)는 상기 다중 UAV(100)를 짐벌 제어할 수도 있지만 하나의 UAV만을 개별적으로 제어하여 비행할 수도 있다.
상기 웨어러블 디바이스(300)는 상기 다중 UAV(100) 중 주 UAV를 그룹으로 설정하고, 상기 주 UAV 주변으로 복수의 보조 UAV를 그룹으로 설정하여 상기 주 UAV를 중심으로 보조 UAV를 별도로 제어할 수 있어 주 UAV가 근거리의 지상관제 영상을 촬영하고, 보조 UAV가 원거리의 지상관제 영상을 촬영하도록 제어하여 폭 넓은 지상관제를 수행할 수 있다.
상기 증강 및 혼합 현실장치(400)는, 상기 객체인식 서버(200)에서 상기 영상 데이터 및 좌표 데이터를 전송받고 실시간으로 디스플레이할 수 있어 사용자가 편리하게 지상관제를 수행할 수 있다.
이러한 상기 증강 및 혼합 현실장치(400)에는, 홀로렌즈, VR 기기 등 증강 및 혼합 현실이 가능한 장치가 구비될 수 있고, 취합된 상기 영상 데이터 및 좌표 데이터가 디스플레이되고, 상기 다중 UAV(100)의 개별영상 촬영정보 및 상태정보(베터리 잔량, GPS 위치정보, 객체 인식률, 객체의 종류 및 숫자 등)가 디스플레이 되어 사용자가 손쉽게 지상관제를 수행할 수 있다.
여기서, 상술된 각 구성의 통신수단은 5G, LTE, 블루투스, 와이파이 등과 같은 통신수단이 될 수 있는데, 많은양의 데이터를 짧은 시간에 송수신하는 통신수단인 5G, LTE 중 어느 하나의 통신수단을 사용하는 것이 바람직하다.
이하에서는 본 발명에 따른 지상관제를 위한 다중 UAV 제어 시스템을 이용한 지상관제를 위한 다중 UAV 제어 방법을 설명하기로 한다.
도 9 내지 10은 본 발명의 일 실시예에 따른 지상관제를 위한 다중 UAV 제어 방법을 도시한 블록도이다.
도 9 내지 도 10에 도시된 바와 같이, 본 발명인 지상관제를 위한 다중 UAV 제어 방법은, 먼저 다중 UAV(100)를 비행시킨다(S10).
또한, 객체인식 서버(200)와 통신되어 상기 다중 UAV(100)를 웨어러블 디바이스(300)가 짐벌 제어하게 단계(S20)가 수행할 수 있다.
한편, 상기 다중 UAV(100)에 연동된 카메라부(110)에서 영상 데이터를 촬영하고 GPS부(120)에서 좌표 데이터를 측정하는 단계(S30)가 수행할 수 있다.
아울러, 상기 영상 데이터 및 좌표 데이터를 객체인식 서버(200)에 전송하는 단계(S40)가 수행할 수 있다.
또, 상기 영상 데이터와, 상기 영상 데이터를 기반으로 객체의 좌표 데이터를 제어부(500)에서 제어하는 단계(S50)가 수행할 수 있다.
여기서, S50 단계 이후, 상기 다중 UAV(100)에서 촬영된 각 영상 데이터를 상기 증강 및 혼합 현실장치(400)에 디스플레이하기 위하여 하나의 영상 데이터로 취합하는 단계(S51)를 더 포함할 수 있다.
이때, 상기 S51 단계에서, 취합된 영상 데이터를 분석하여 보정하는 단계(S52)가 더 포함할 수 있다.
또한, 상기 S50 단계에서, 상기 영상 데이터 및 좌표 데이터를 영상제어 알고리즘을 이용하여 제어하는 단계(S53)를 더 포함할 수 있다.
이를 통해, 상기 객체인식 서버(200)에서 상기 영상 데이터 및 좌표 데이터를 증강 및 혼합 현실장치(400)에 전송하여 실시간으로 상기 영상 데이터 및 좌표 데이터를 관제하는 단계(S60)가 수행될 수 있다.
따라서, 본 발명에 따른 지상관제를 위한 다중 UAV 제어 시스템 및 제어 방법에 따르면, 지상관제를 위하여 다중 UAV를 증강 및 혼합 현실장치를 통해 하나의 영상으로 취합하여 객체 확인이 가능하고, 웨어러블 디바이스를 통해 사용자의 음성이나 동작 모션인식을 통해 다중 UAV를 짐벌 원격 제어하는 효과가 있으며, 또한, 5G 통신모듈을 통해 고용량의 영상 데이터 및 좌표 데이터를 신속히 통신할 수 있고, 영상 데이터 및 좌표 데이터를 영상제어 알고리즘을 이용하여 제어함으로서 외란으로 인한 각 데이터 처리오차를 방지하는 효과가 있다.
본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
100 : 다중 UAV 110 : 카메라부
120 : GPS부 130 : 모션인식부
131 : 동작인식부 132 : 음성인식부
140 : 통신부 200 : 객체인식 서버
300 : 웨어러블 디바이스 400 : 증강 및 혼합 현실장치
410 : 영상처리부 420 : 영상보정부
500 : 제어부

Claims (9)

  1. 영상 데이터 및 좌표 데이터를 관제하는 다중 UAV(Unmanned Aerial Vehicle);
    상기 다중 UAV(Unmanned Aerial Vehicle)와 통신되어 상기 영상 데이터 및 좌표 데이터를 전달받아 저장하는 객체인식 서버;
    상기 객체인식 서버와 통신되어 상기 다중 UAV(Unmanned Aerial Vehicle)를 짐벌 제어하는 웨어러블 디바이스;
    상기 객체인식 서버에서 상기 영상 데이터 및 좌표 데이터를 전송받고 실시간으로 디스플레이하는 증강 및 혼합 현실장치;를 포함하되,
    상기 객체인식 서버에 저장된 상기 영상 데이터 및 좌표 데이터는 제어부에 의해 제어되고,
    상기 제어부는,
    상기 영상 데이터 및 좌표 데이터를 영상제어 알고리즘을 이용하여 제어하는 것을 특징으로 하는 지상관제를 위한 다중 UAV 제어 시스템.
  2. 청구항 1에 있어서,
    상기 다중 UAV(Unmanned Aerial Vehicle)는,
    객체를 영상을 촬영하는 카메라부;
    상기 객체의 좌표를 확인하는 GPS(Global Positioning System)부;
    상기 웨어러블 디바이스와 통신되어 사용자의 모션을 인식하는 모션인식부;
    상기 객체인식 서버와 통신되는 통신부;를 더 포함하는 것을 특징으로 하는 지상관제를 위한 다중 UAV 제어 시스템.
  3. 청구항 2에 있어서,
    상기 모션인식부는,
    상기 사용자의 동작을 인식하는 동작인식부;
    상기 사용자의 음성을 인식하는 음성인식부;를 더 포함하는 것을 특징으로 하는 지상관제를 위한 다중 UAV 제어 시스템.
  4. 청구항 1에 있어서,
    상기 제어부는,
    상기 다중 UAV(Unmanned Aerial Vehicle)에서 촬영된 각 영상 데이터를 상기 증강 및 혼합 현실장치에 디스플레이하기 위하여 하나의 영상 데이터로 취합하는 영상처리부;를 더 포함하는 것을 특징으로 하는 지상관제를 위한 다중 UAV 제어 시스템.
  5. 청구항 4에 있어서,
    상기 영상처리부에서 취합된 영상 데이터를 분석하여 보정하는 영상보정부;를 더 포함하는 것을 특징으로 하는 지상관제를 위한 다중 UAV 제어 시스템.
  6. 다중 UAV(Unmanned Aerial Vehicle)를 비행시키는 단계;
    객체인식 서버와 통신되어 상기 다중 UAV(Unmanned Aerial Vehicle)를 웨어러블 디바이스가 짐벌 제어하는 단계;
    상기 다중 UAV(Unmanned Aerial Vehicle)에 연동된 카메라부에서 영상 데이터를 촬영하고 GPS(Global Positioning System)부에서 좌표 데이터를 측정하는 단계;
    상기 영상 데이터 및 좌표 데이터를 객체인식 서버에 전송하는 단계;
    상기 영상 데이터와, 상기 영상 데이터를 기반으로 객체의 좌표 데이터를 제어부에서 제어하는 단계;
    상기 객체인식 서버에서 상기 영상 데이터 및 좌표 데이터를 증강 및 혼합 현실장치에 전송하여 실시간으로 상기 영상 데이터 및 좌표 데이터를 관제하는 단계;를 포함하는 것을 특징으로 하는 지상관제를 위한 다중 UAV 제어 방법.
  7. 청구항 6에 있어서,
    상기 영상 데이터와, 상기 영상 데이터를 기반으로 객체의 좌표 데이터를 제어부에서 제어하는 단계에서,
    상기 다중 UAV(Unmanned Aerial Vehicle)에서 촬영된 각 영상 데이터를 상기 증강 및 혼합 현실장치에 디스플레이하기 위하여 하나의 영상 데이터로 취합하는 단계;를 더 포함하는 것을 특징으로 하는 지상관제를 위한 다중 UAV 제어 방법.
  8. 청구항 7에 있어서,
    상기 하나의 영상 데이터로 취합하는 단계에서,
    취합된 영상 데이터를 분석하여 보정하는 단계;를 더 포함하는 것을 특징으로 하는 지상관제를 위한 다중 UAV 제어 방법.
  9. 청구항 6에 있어서,
    상기 영상 데이터와, 상기 영상 데이터를 기반으로 객체의 좌표 데이터를 제어부에서 제어하는 단계에서,
    상기 영상 데이터 및 좌표 데이터를 영상제어 알고리즘을 이용하여 제어하는 단계;를 더 포함하는 것을 특징으로 하는 지상관제를 위한 다중 UAV 제어 방법.
KR1020200074183A 2020-06-18 2020-06-18 지상관제를 위한 다중 uav 제어 시스템 및 제어 방법 KR102425372B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200074183A KR102425372B1 (ko) 2020-06-18 2020-06-18 지상관제를 위한 다중 uav 제어 시스템 및 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200074183A KR102425372B1 (ko) 2020-06-18 2020-06-18 지상관제를 위한 다중 uav 제어 시스템 및 제어 방법

Publications (2)

Publication Number Publication Date
KR20210156506A true KR20210156506A (ko) 2021-12-27
KR102425372B1 KR102425372B1 (ko) 2022-07-25

Family

ID=79177184

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200074183A KR102425372B1 (ko) 2020-06-18 2020-06-18 지상관제를 위한 다중 uav 제어 시스템 및 제어 방법

Country Status (1)

Country Link
KR (1) KR102425372B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101707865B1 (ko) 2016-11-28 2017-02-27 한국건설기술연구원 시설물 근접 촬영용 무인비행체 시스템 및 이를 이용한 촬영 방법
KR20170138752A (ko) * 2016-06-08 2017-12-18 (주)코아텍 증강현실을 이용한 가상 드론 경기장 제공 시스템 및 그 방법
KR20190048565A (ko) * 2017-10-31 2019-05-09 용비에이티(주) 드론을 제어하는 방법 및 이를 위한 증강현실 관광 시스템
KR20190053709A (ko) * 2017-11-10 2019-05-20 엔드론 주식회사 드론 데이터 제어 방법, 이를 이용하는 장치 및 시스템
KR102036136B1 (ko) * 2019-03-07 2019-10-24 (주)림스플라이 멀티 드론 운용 시스템 및 방법
KR102075441B1 (ko) * 2019-10-22 2020-02-11 주식회사 미래지중정보 드론을 이용하여 지형지물의 입체 정보를 획득할 수 있는 영상처리시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170138752A (ko) * 2016-06-08 2017-12-18 (주)코아텍 증강현실을 이용한 가상 드론 경기장 제공 시스템 및 그 방법
KR101707865B1 (ko) 2016-11-28 2017-02-27 한국건설기술연구원 시설물 근접 촬영용 무인비행체 시스템 및 이를 이용한 촬영 방법
KR20190048565A (ko) * 2017-10-31 2019-05-09 용비에이티(주) 드론을 제어하는 방법 및 이를 위한 증강현실 관광 시스템
KR20190053709A (ko) * 2017-11-10 2019-05-20 엔드론 주식회사 드론 데이터 제어 방법, 이를 이용하는 장치 및 시스템
KR102036136B1 (ko) * 2019-03-07 2019-10-24 (주)림스플라이 멀티 드론 운용 시스템 및 방법
KR102075441B1 (ko) * 2019-10-22 2020-02-11 주식회사 미래지중정보 드론을 이용하여 지형지물의 입체 정보를 획득할 수 있는 영상처리시스템

Also Published As

Publication number Publication date
KR102425372B1 (ko) 2022-07-25

Similar Documents

Publication Publication Date Title
US11693428B2 (en) Methods and system for autonomous landing
CN111932588B (zh) 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法
US9973737B1 (en) Unmanned aerial vehicle assistant for monitoring of user activity
US10029790B2 (en) Device that controls flight altitude of unmanned aerial vehicle
WO2017170148A1 (ja) 飛行装置、電子機器およびプログラム
US20180002018A1 (en) Systems and methods for reliable relative navigation and autonomous following between unmanned aerial vehicle and a target object
CN111683193B (zh) 图像处理装置
WO2018027210A1 (en) Mobile platform eg drone / uav performing localization and mapping using video
KR20160119956A (ko) 드론을 이용한 추적 시스템
US20220137647A1 (en) System and method for operating a movable object based on human body indications
US20210112194A1 (en) Method and device for taking group photo
CN109358648A (zh) 无人机自主飞行的方法、装置以及无人机
CN111722646B (zh) 一种基于无人机群和无人船群协作的海上搜寻方法及系统
CN109828596A (zh) 一种目标跟踪方法、装置和无人机
US20220262263A1 (en) Unmanned aerial vehicle search and rescue systems and methods
US20230419843A1 (en) Unmanned aerial vehicle dispatching method, server, base station, system, and readable storage medium
CN111679695A (zh) 一种基于深度学习技术的无人机巡航及追踪系统和方法
Shen et al. Person tracking and frontal face capture with UAV
Domozi et al. Real time object detection for aerial search and rescue missions for missing persons
CN115933718A (zh) 一种融合全景slam与目标识别的无人机自主飞行技术方法
US10557718B2 (en) Auxiliary control method and system for unmanned aerial vehicle
KR102349818B1 (ko) 개선된 cnn 기반으로 한 도로 균열 감지 자율 비행 드론
Das et al. Human target search and detection using autonomous UAV and deep learning
KR102425372B1 (ko) 지상관제를 위한 다중 uav 제어 시스템 및 제어 방법
KR102300348B1 (ko) 실시간 이미지 분석을 기반으로 현장 상황을 공유하는 무인 항공기, 및 제어 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant