KR20210055252A - 음성 인식을 이용한 드론 지상 관제 시스템 및 방법 - Google Patents

음성 인식을 이용한 드론 지상 관제 시스템 및 방법 Download PDF

Info

Publication number
KR20210055252A
KR20210055252A KR1020190141491A KR20190141491A KR20210055252A KR 20210055252 A KR20210055252 A KR 20210055252A KR 1020190141491 A KR1020190141491 A KR 1020190141491A KR 20190141491 A KR20190141491 A KR 20190141491A KR 20210055252 A KR20210055252 A KR 20210055252A
Authority
KR
South Korea
Prior art keywords
drone
mission
voice
unit
ground
Prior art date
Application number
KR1020190141491A
Other languages
English (en)
Other versions
KR102264740B1 (ko
Inventor
강성호
박선기
이훈
Original Assignee
티마텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 티마텍 주식회사 filed Critical 티마텍 주식회사
Priority to KR1020190141491A priority Critical patent/KR102264740B1/ko
Publication of KR20210055252A publication Critical patent/KR20210055252A/ko
Application granted granted Critical
Publication of KR102264740B1 publication Critical patent/KR102264740B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B64C2201/12—
    • B64C2201/146—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Bioethics (AREA)
  • Selective Calling Equipment (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 음성인식 모듈을 통해 사용자 음성 입력을 인식하는 지상 관제 시스템에서 음성 입력을 통해 드론에 대한 미션을 생성하고, 생성된 미션을 실행하며, 그 과정이나 결과를 시각화 된 화면으로 출력하면서 원격으로 드론을 관제할 수 있도록 하는, 음성 인식 이용 드론 지상 관제 시스템이 개시된다.
개시된 드론 지상 관제 시스템은, 음성을 입력받고, 입력받은 음성으로부터 적어도 1 개 이상의 드론 명칭과, 적어도 1 개 이상의 지상점 명칭 및 적어도 1 개 이상의 미션 명칭을 인식하여, 미션 수행 관제를 위한 드론 코드와 경로 코드 및 미션 코드를 생성하는 음성 인식 모듈; 상기 미션 수행 관제에 관한 음성 및 시각화 된 정보의 입력과 출력을 위한 제 1 사용자 인터페이스를 제공하는 입출력 장치부; 상기 인식된 드론에 통신 채널을 할당하여 통제권을 설정하고, 지상점을 연결하여 이동 경로를 생성하며, 미션을 설정해 암호화 한 미션 파일을 생성해 미션 수행을 관제하는 시스템 제어부; 상기 미션 수행 관제를 위한 드론 정보, 지리 정보, 기상 정보, 미션 파일을 수집하여 관리하는 데이터 관리부; 및 상기 미션 수행 관제를 위한 상기 통신 채널을 제공하고, 외부 장치와 데이터를 송수신하는 통신 장치부를 포함할 수 있다.

Description

음성 인식을 이용한 드론 지상 관제 시스템 및 방법{The ground drone control system having a voice recognition module and a drone control methods using it}
본 발명은 음성 인식을 이용한 드론 지상 관제 시스템 및 방법에 관한 것으로서, 더욱 자세하게는 음성 인식 모듈을 통해 사용자 음성 입력을 인식하는 지상 관제 시스템에서 음성 입력을 통해 드론에 대한 미션을 생성하고, 생성된 미션을 실행하며, 그 과정이나 결과를 시각화 된 화면으로 출력하면서 지상에서 원격으로 드론을 관제할 수 있도록 하는, 음성 인식을 이용한 드론 지상 관제 시스템 및 방법에 관한 것이다.
일반적으로 드론을 제어하는 방법은, 사용자가 무선 조종기를 통해 드론을 육안으로 식별이 가능한 2km 이내의 범위 내에서 이루어진다. 육상 드론이나 해양 드론에 비해 비행 드론의 경우 사용자의 조종 숙련도에 따라 차이가 있으나, 비행 추락에 의한 사고 발생 위험성이 크다.
드론을 제어하는 다른 방법으로는 지상 관제 시스템을 이용하는데, 특히 비행 드론의 경우 육안 식별 범위를 벗어난 영역으로 자율 비행이 가능하고, 시각화 된 화면을 통해 관제할 수 있는 장점이 있다.
이로 인해 지상 관제 시스템은 다양한 산업 분야에서 활용도가 높아지고 있으나, 드론을 제어하고 관제하는데 있어서 사용자 입력이 복잡하고 어려운 점이 있다.
이와 같은 이유로 사용자 입력을 편리하게 제공하고, 드론을 이용하는 다양한 임무를 안전하게 수행하고 관제하는 시스템의 요구가 증가하고 있다.
한국 공개특허공보 제10-2018-0068771호(2018.06.22)
전술한 바와 같은 위험 요소와 불편 사항을 해소하기 위한 본 발명의 목적은, 사용자 음성 입력을 통해 드론에 대한 이동 경로를 자동으로 생성하고, 이동 경로에 따른 임무를 수행하며, 이러한 드론의 임무를 다중 관제하는 지상 관제 시스템을 제공하는 것이다.
또한, 본 발명의 다른 목적은, 드론을 이용하여 다양한 임무를 수행하는데 있어서, 드론에 대한 이동 경로 생성과 충돌 판별, 배터리 방전에 의한 추락 사고 대응을 포함하는 드론 관제 방법을 제공하며, 시각화 된 화면 출력과 음성 입력 및 음성 출력을 포함하는 사용자 인터페이스를 제공하는 것이다.
즉, 본 발명의 목적은, 음성인식 모듈을 통해 사용자 음성 입력을 인식하는 지상 관제 시스템에서, 음성 입력을 통해 드론에 대한 미션을 생성하고, 생성된 미션을 실행하며, 그 과정이나 결과를 시각화 된 화면으로 출력하면서 지상에서 원격으로 드론을 관제할 수 있도록 하는, 음성 인식을 이용한 드론 지상 관제 시스템 및 방법을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 드론 지상 관제 시스템은, 음성을 입력받고, 입력받은 음성으로부터 적어도 1 개 이상의 드론 명칭과, 적어도 1 개 이상의 지상점 명칭 및 적어도 1 개 이상의 미션 명칭을 인식하여, 미션 수행 관제를 위한 드론 코드와 경로 코드 및 미션 코드를 생성하는 음성 인식 모듈; 상기 미션 수행 관제에 관한 음성 및 시각화 된 정보의 입력과 출력을 위한 제 1 사용자 인터페이스를 제공하는 입출력 장치부; 상기 인식된 드론에 통신 채널을 할당하여 통제권을 설정하고, 지상점을 연결하여 이동 경로를 생성하며, 미션을 설정해 암호화 한 미션 파일을 생성해 미션 수행을 관제하는 시스템 제어부; 상기 미션 수행 관제를 위한 드론 정보, 지리 정보, 기상 정보, 미션 파일을 수집하여 관리하는 데이터 관리부; 및 상기 미션 수행 관제를 위한 상기 통신 채널을 제공하고, 외부 장치와 데이터를 송수신하는 통신 장치부를 포함할 수 있다.
상기 음성 인식 모듈은, 음성을 입력받는 음성 입력부; 상기 미션 수행 관제를 음성으로 출력하는 음성 출력부; 및 상기 입력받은 음성에서, 적어도 1 개 이상의 드론 명칭을 인식하여 관제 대상 드론을 식별하는 드론 코드와, 적어도 1 개 이상의 지상점 명칭을 인식하여 이동 경로를 생성할 지상점을 식별하는 경로 코드와, 적어도 1 개 이상의 미션 명칭을 인식하여 상기 관제 대상 드론이 수행할 미션을 식별하는 미션 코드를 암호화하여 생성하는 음성 인식부를 포함할 수 있다.
음성 인식 모듈은, 상기 식별된 m 개의 지상점을 음성 입력을 통해 선택적으로 삭제하거나, 음성 입력을 통해 새로운 지상점을 추가하는 음성입력 인터페이스를 더 포함할 수 있다.
입출력 장치부는, 상기 음성을 입력받는 마이크; 상기 음성을 출력하는 스피커; 상기 정보를 화면으로 입력받는 터치 스크린; 상기 정보를 화면으로 출력하는 디스플레이; 및 상기 정보의 입력을 위한 버튼 조이스틱을 포함할 수 있다.
시스템 제어부는, 상기 드론 코드로 식별된 상기 관제 대상 드론에 대한 통신 채널이 할당된 드론 통신부; 상기 경로 코드로 식별된 1 개 이상의 지상점을 연결해 지리 정보가 설정된 이동 경로를 생성하고, 상기 미션 코드로 식별된 미션을 설정하여 미션 수행을 위한 암호화 된 상기 미션 파일을 생성하는 미션 생성부; 상기 통신 채널이 할당된 상기 관제 대상 드론에 통제권을 설정하여 상기 미션 파일을 전송하고, 기상 정보, 배터리 방전, 경로 충돌에 대한 안정성을 판별하여 미션 수행을 관제하는 미션 제어부; 상기 미션 파일을 생성된 시점부터 저장하며, 미션 수행이 완료된 시점에서 상기 데이터 관리부로 전달하는 미션 저장부; 및 상기 생성된 미션 파일을 시뮬레이션하여 이동 경로 및 지리 정보 설정을 해석하고, 위치, 방향, 위도, 경도, 고도를 포함하는 속성 정보를 해석하여 미션 수행의 안정성을 판별하는 가상 미션부를 포함할 수 있다.
데이터 관리부는, 드론 정보, 지리 정보, 기상 정보, 미션 파일을 유무선 네트워크로부터 수집하는 데이터 수집부; 및 상기 수집된 상기 드론 정보, 상기 지리 정보, 상기 기상 정보, 상기 미션 파일을 저장하는 데이터베이스를 포함할 수 있다. 여기서, 드론 정보는 관제 대상 드론의 종류, 사양, 성능 정보를 포함하고, 지리 정보는 지형, 지물, 지명이 포함된 2 차원 또는 3 차원 지도 정보 및 위치, 방향, 위도, 경도, 고도가 포함된 속성 정보를 포함하고, 기상 정보는 기온, 풍속, 풍향, 날씨 정보를 포함하고, 미션 파일은 분류된 미션 정보를 포함할 수 있다.
드론 명칭은 정찰기, 수집기, 탐색기, 육상기, 해상기, 관측기, 영상 수집기, 구난 탐색기, 산악 정찰기, 육상 관측기, 해양 관측기를 포함하고, 지상점 명칭은 지물, 지명, 주소, 좌표를 포함하고, 미션 명칭은 훈련, 정찰, 감시, 탐색, 촬영, 공격, 보급, 구난을 포함하고, 시스템 제어부는 드론 명칭, 지상점 명칭, 미션 명칭을 추가 또는 삭제하는 사용자 설정을 제공할 수 있다.
음성 인식 모듈은, 드론에 구비된 장비 또는 장비의 특정된 기능 동작을 지칭하는 명칭; 및 드론 지상 관제 시스템의 기능 동작을 지칭하는 경로 생성, 경로 변경, 경로 삭제, 편대 미션, 미션 수행, 미션 중지, 가상 미션, 화면 확대, 화면 전환을 포함하는 명칭을 더 포함하는 음성을 입력받아, 미션 수행 관제를 위한 드론 코드와 경로 코드 및 미션 코드를 새로 생성할 수 있다.
시스템 제어부는, 새로 생성된 드론 코드와 경로 코드 및 미션 코드에 근거해 미션 파일을 생성해 관제 대상 드론에 대한 미션 수행을 관제할 수 있다.
입출력 장치부가 제공하는 사용자 인터페이스에 상응하여, 통신 장치부와 유무선 네트워크를 형성하는 외부 장치가 구비하는, 음성 입력 수단을 제공하는 마이크, 음성 출력 수단을 제공하는 스피커, 화면 입력 수단을 제공하는 터치 스크린, 화면 출력 수단을 제공하는 디스플레이 및 버튼 조이스틱을 포함하는 입출력 장치를 통하여, 음성 및 시각화 된 정보의 입력과 출력을 위한 제 2 사용자 인터페이스를 더 제공할 수 있다.
한편, 전술한 목적을 달성하기 위한 본 발명의 다른 실시 예에 따른 드론 지상 관제 방법은, 음성 입력부와 음성 출력부 및 음성 인식부를 포함하는 음성 인식 모듈; 입출력 장치부; 시스템 제어부; 데이터 관리부; 및 통신 장치부를 포함하는 시스템의 드론 지상 관제 방법으로서, (a) 음성 입력부에서 음성을 입력받는 단계; (b) 음성 인식부가 상기 입력받은 음성으로부터 적어도 1 개 이상의 드론 명칭과, 적어도 1 개 이상의 지상점 명칭 및 적어도 1 개 이상의 미션 명칭을 인식하는 단계; (c) 음성 인식부가 미션 수행 관제를 위한 드론 코드와 경로 코드 및 미션 코드를 생성하는 단계; (d) 시스템 제어부가 상기 생성된 드론 코드에 근거해 관제 대상 드론을 인식하고, 인식된 드론에 통신 채널을 할당하여 통제권을 설정하는 단계; (e) 시스템 제어부가 상기 생성된 경로 코드에 근거해 지상점을 연결하여 이동 경로를 생성하는 단계; (f) 시스템 제어부가 상기 생성된 미션 코드에 근거해 미션을 설정해 암호화 한 미션 파일을 생성하는 단계; 및 (g) 시스템 제어부가 상기 생성된 미션 파일에 근거해 상기 관제 대상 드론의 미션 수행을 관제하는 단계를 포함할 수 있다.
상기 (e) 단계에서, 음성 인식부에서 인식된 m 개의 지상점에 대하여 이동 경로를 생성하는 단계는, (e-1) 최단 이동 거리를 산출하여 이동 경로를 생성하는 단계; (e-2) 상기 입력받은 음성의 입력 순서대로 지상점을 연결하여 이동 경로를 생성하는 단계; 및 (e-3) 3 차원 지도를 연계한 고도 정보가 적용된 이동 경로를 생성하는 단계를 포함할 수 있다.
상기 (g) 단계에서, 시스템 제어부가 상기 관제 대상 드론의 배터리 방전 사고를 관제하는 경우, 관제 대상 드론의 미션 수행을 관제하는 단계는, (g-1) 상기 생성하는 이동 경로의 전체 이동 거리를 산출하는 단계; (g-2) 상기 산출된 이동 거리에 필요한 드론의 배터리 소모량을 산출하는 단계; (g-3) 상기 산출된 배터리 소모량에 대하여, 드론의 총중량 및 미션 수행 속도와 고도를 반영하고 이동 경로의 기온, 풍속, 풍향이 포함된 기상 정보를 반영하여 보정된 배터리 소모량을 산출하는 단계; 및 (g-4) 상기 드론의 배터리 충전량이 상기 보정된 배터리 소모량을 충족하는지 판별하는 단계를 포함할 수 있다.
상기 (g) 단계에서, 시스템 제어부는 특정 지상점에서 특정 미션을 수행하는 드론에 대하여, 입출력 장치부의 사용자 인터페이스를 통해, 지리 정보에 포함된 일정 축척의 2 차원 또는 3 차원 지도 정보에 숫자 및 기호가 붙여진 2 차원 또는 3 차원 그리드 좌표를 투영하여 시각화 된 화면 출력을 제공하고, 사용자 음성입력을 통해 숫자 및 기호로 구성되는 그리드 좌표를 인식하고 판별하여 식별된 좌표로 드론의 이동을 관제할 수 있다.
한편, 전술한 목적을 달성하기 위한 본 발명의 다른 실시 예에 따른 드론 지상 관제 방법은, n 개 드론의 미션 수행을 다중 관제하기 위해, 음성 입력부와 음성 출력부 및 음성 인식부를 포함하는 음성 인식 모듈; 입출력 장치부; 시스템 제어부; 데이터 관리부; 및 통신 장치부를 포함하는 시스템의 드론 지상 관제 방법으로서, (a) 음성 입력부에서 음성을 입력받는 단계; (b) 음성 인식부가 상기 입력받은 음성으로부터 관제 대상 제 n 드론과 m 개 지상점과 제 n 미션을 식별하는 단계; (c) 음성 인식부가 미션 수행 관제를 위한 n 개의 드론 코드와 s 개의 경로 코드 및 n 개의 미션 코드를 생성하는 단계; (d) 시스템 제어부가 상기 제 n 드론에 대한 제 n 통신 채널을 할당하고 통제권을 설정하는 단계; (e) 시스템 제어부가 상기 생성된 s 개의 경로 코드에 근거해 m 개 지상점을 연결하여 s 개의 이동 경로를 생성하는 단계; (f) 시스템 제어부가 상기 생성된 n 개의 미션 코드에 근거해 미션이 설정된 제 n 미션 파일을 생성하는 단계; (g) 시스템 제어부가 상기 제 n 통신 채널을 통해 상기 제 n 미션 파일을 상기 제 n 드론에 전송하는 단계; (h) 시스템 제어부가 상기 제 n 드론의 미션 수행을 위한 기상 정보, 배터리 방전, 경로 충돌 안정성을 판별하는 단계; 및 (i) 시스템 제어부가 상기 제 n 드론에 대한 미션 수행을 관제하는 단계를 포함할 수 있다.
상기 (h) 단계에서, 제 n 드론에 대한 경로 충돌 안정성을 판별하는 단계는, (h-1) 시스템 제어부가 미션 수행을 관제하고 있는 1 개 이상의 이동 경로에서 상기 제 n 드론의 이동 경로와 중첩되는 지상점을 판별하는 단계; (h-2) 상기 중첩되는 지상점으로 이동하는 1 개 이상의 드론을 식별하는 단계; (h-3) 상기 식별된 1 개 이상의 드론이 중첩되는 지상점에 도달하는 시점을 판별하는 단계; (h-4) 상기 식별된 1 개 이상의 드론이 중첩되는 지상점으로 이동하는 고도를 판별하는 단계를 포함할 수 있다.
상기 (h) 단계에서 경로 충돌로 판별되는 경우, 상기 (i) 단계에서 상기 시스템 제어부는 시각화 된 정보를 화면 출력으로 제공하여 제 n 드론의 미션 수행 시점을 조정하여 경로 충돌에 대응 관제할 수 있다.
한편, 전술한 목적을 달성하기 위한 본 발명의 다른 실시 예에 따른 드론 지상 관제 방법은, n 개 드론의 편대 미션을 관제하기 위해, 음성 입력부와 음성 출력부 및 음성 인식부를 포함하는 음성 인식 모듈; 입출력 장치부; 시스템 제어부; 데이터 관리부; 및 통신 장치부를 포함하는 시스템의 드론 지상 관제 방법으로서, (a) 음성 입력부에서 편대 관련 음성을 입력받는 단계; (b) 시스템 제어부가 상기 입력받은 음성으로부터 편대 미션 이동 경로를 생성하는 단계; (c) 음성 입력부에서 드론 선정 관련 음성을 입력받는 단계; (d) 시스템 제어부가 상기 편대 미션을 수행할 n 개의 드론을 선정하는 단계; (e) 시스템 제어부가 상기 선정된 n 개의 드론을 통해 1 개 이상의 편대 형태를 생성하여 시각화 된 화면출력으로 제공하는 단계; (f) 음성 입력부에서 편대 선정 관련 음성을 입력받는 단계; (g) 시스템 제어부가 편대 형태를 선정하는 단계; (h) 상기 시스템 제어부가 상기 선정된 편대 형태에 상응하여 n 개의 드론을 편대 배치하고 각각의 전후, 좌우 안전거리 및 상하 안전고도가 반영된 제 n 드론에 대한 제 n 미션 파일을 생성하는 단계; (i) 시스템 제어부가 상기 생성된 제 n 미션 파일을 상기 n 개의 드론에 전송하는 단계; (j) 시스템 제어부가 상기 전송된 제 n 미션 파일을 일괄 수행하는 상기 n 개의 드론에 대한 편대 미션을 관제하는 단계를 포함할 수 있다.
본 발명에 의하면, 음성 인식 모듈을 구비하여 사용자의 음성 입력을 통해 식별된 지상점에 대하여 드론의 이동 경로를 자동으로 생성하고, 임무를 설정하여 미션파일을 자동으로 생성하며, 관제 대상 드론의 미션 수행을 관제할 수 있다.
또한, 사용자는 간결하고 직관적인 명칭으로 제공되는 음성 입력 인터페이스를 통해 지상 관제 시스템을 쉽고 편리하게 운용할 수 있으며, 다양한 분야에서 다양한 목적으로 드론의 미션 수행을 안정적이고 효율적으로 관제할 수 있는 효과가 있다.
또한, 별도의 음성 인식을 위한 유무선 네트워크나 외부 장치를 통하지 않더라도 지상 관제 시스템에서 사용자 음성 입력을 통하여 지상 관제 시스템의 장치 기능을 수행할 수 있다.
또한, 사용자 음성 입력은 간결하고 직관적인 명칭으로 인터페이스를 제공하여 드론에서 다양한 미션 수행을 음성으로 관제하는 방법을 제시한다.
또한, 음성 인식 모듈이 인식하고 판별하는 명칭은 드론의 이름과 임무, 지상점 및 지상 관제 시스템의 장치 기능을 지칭하는 명칭으로 유연하게 적용할 수 있다.
또한, 미션 수행의 종류와 형태에 따라 확대된 다양한 사용자 인터페이스를 제공할 수 있다.
뿐만 아니라 시각화된 화면 출력을 통해 1 대 이상의 드론에 대하여 안정적으로 다목적 다중 관제함으로써 다양한 산업 분야에서 드론을 통한 서비스 공급을 확산시키는 효과를 기대할 수 있다.
도 1은 본 발명의 실시 예에에 따른 드론 지상 관제 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시 예에 따른 음성 인식 모듈의 구성을 개략적으로 나타낸 블록 구성도이다.
도 3은 본 발명의 실시 예에 따른 시스템 제어부의 구성을 개략적으로 나타낸 블록 구성도이다.
도 4는 본 발명의 실시 예에 따른 데이터 관리부의 구성을 개략적으로 나타낸 블록 구성도이다.
도 5는 본 발명의 실시 예에 따른 드론 지상 관제 시스템에서 n 개의 통신 채널을 통해 n 개의 드론을 관제하는 예를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 드론 지상 관제 시스템에서 이동 경로를 자동으로 또는 지상점 입력 순서에 따라 또는 최단거리 연결에 따라 생성하는 예를 나타낸 도면이다.
도 7a 및 도 7b는 본 발명의 실시 예에 따른 드론을 다중 관제하는 예를 설명하기 위한 도면이다.
도 8은 본 발명의 실시 예에 따른 경로 충돌에 대응하여 관제하는 예를 설명하기 위한 도면이다.
도 9는 본 발명에 따른 그리드 좌표 체계의 제공 예를 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예에 따른 드론 지상 관제 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
도 11은 본 발명의 실시 예에 따른 드론 지상 관제 방법에서 n 개 드론의 미션 수행을 다중으로 관제하는 동작의 흐름도를 나타낸 도면이다.
도 12는 본 발명의 실시 예에 따라 다중의 드론 지상 관제 시스템이 각각 n개 드론의 미션 수행을 다중으로 관제하는 예를 나타낸 도면이다.
도 13은 본 발명의 실시 예에 따른 다중 드론 지상 관제 시스템에서 드론 통제권을 이관 또는 전환하는 예를 나타낸 도면이다.
도 14는 본 발명의 실시 예에 따른 다중 드론 지상 관제 시스템에서 드론 간 미션을 이관하는 예를 나타낸 도면이다.
도 15는 본 발명의 실시 예에 따른 드론 지상 관제 방법에서 n개 드론의 편대 미션을 관제하는 동작의 흐름도를 나타낸 도면이다.
도 16은 본 발명의 실시 예에 따른 지상점을 이용해 사용자 설정(입력순서 배열, 최단 경로, 8자 경로)에 따라 이동 경로를 생성하는 예를 나타낸 도면이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙여서 설명한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우 뿐 아니라, 그 중간에 다른 요소를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.
제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명에 따른 음성 인식을 이용한 드론 지상 관제 시스템 및 방법의 바람직한 일 실시 예에 대해 상세하게 설명한다. 이하의 상세한 설명은 본 명세서에서 기술된 모듈, 시스템 및/또는 방법에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명에 따른 일 실시 예들을 설명함에 있어서, 본 명세서에서 "구비" 또는 "포함"과 같은 표현은 어떤 단계들, 방법들, 기능들, 동작들, 요소들, 속성들, 코드들, 정보들, 데이터들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 단계, 방법, 기능, 동작, 요소, 속성, 코드, 정보, 데이터, 이들의 일부 또는 조합의 존재 또는 추가를 배제하지 않는다. 다양한 구성 요소들을 서술하기 위해 사용되는 "m개", "n개", "제1", "제2", "제n" 과 같은 표현들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다.
본 발명에 따른 "모듈" 또는 "부"라는 용어는 어떤 기능 또는 역할을 수행하는 소프트웨어 및 하드웨어 구성요소를 의미하며, "시스템"이라는 용어는 하나 이상의 "모듈" 또는 "부"를 구비하는 하드웨어 장치를 의미하며, "사용자"라는 용어는 "시스템"에 음성을 입력하는 불특정 개인으로, 문구에서 특별히 언급하지 않는 한 복수형도 포함하는 것을 의미한다.
또한, "모듈" 또는 "부"를 구비하는 "시스템"은 대상을 특정하여 한정하지 않는 불특정 하드웨어 장치로써 문구에서 특별히 언급하지 않는 한 복수형도 포함하는 것을 의미하며, 수행하는 장치기능을 특정하여 한정하지 않는다.
도 1은 본 발명의 실시 예에에 따른 드론 지상 관제 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 드론 지상 관제 시스템(200)은, 음성 인식 모듈(100), 입출력 장치부(210), 시스템 제어부(220), 데이터 관리부(230) 및 통신 장치부(240)를 포함할 수 있다.
음성 인식 모듈(100)은 음성을 입력받고, 입력받은 음성으로부터 적어도 1 개 이상의 드론 명칭과, 적어도 1 개 이상의 지상점 명칭 및 적어도 1 개 이상의 미션(mission) 명칭을 인식하여, 미션 수행 관제를 위한 드론 코드(11)와 경로 코드(12) 및 미션 코드(13)를 생성한다.
드론 명칭은 정찰기, 수집기, 탐색기, 육상기, 해상기, 관측기, 영상 수집기, 구난 탐색기, 산악 정찰기, 육상 관측기, 해양 관측기 등을 포함할 수 있다.
지상점 명칭은 지물, 지명, 주소, 좌표 등을 포함할 수 있다.
미션 명칭은 훈련, 정찰, 감시, 탐색, 촬영, 공격, 보급, 구난 등을 포함할 수 있다.
입출력 장치부(210)는 미션 수행 관제에 관한 음성 및 시각화 된 정보의 입력과 출력을 위한 제 1 사용자 인터페이스를 제공한다. 여기서, 입출력 장치부(210)는, 음성을 입력받는 마이크; 음성을 출력하는 스피커; 정보를 화면으로 입력받는 터치 스크린; 정보를 화면으로 출력하는 디스플레이; 및 정보의 입력을 위한 버튼/조이스틱을 포함할 수 있다.
시스템 제어부(220)는 인식된 드론에 통신 채널을 할당하여 통제권을 설정하고, 지상점을 연결하여 이동 경로를 생성하며, 미션을 설정해 암호화 한 미션 파일(24)을 생성해 미션 수행을 관제한다.
시스템 제어부(220)는 드론 명칭, 지상점 명칭, 미션 명칭을 추가 또는 삭제하는 사용자 설정을 제공할 수 있다.
데이터 관리부(230)는 미션 수행 관제를 위한 드론 정보(21), 지리 정보(22), 기상 정보(23), 미션 파일(24)을 수집하여 관리한다.
통신 장치부(240)는 미션 수행 관제를 위한 통신 채널을 제공하고, 외부 장치와 데이터를 송수신한다.
한편, 본 발명의 실시 예에 따른 드론 지상 관제 시스템(200)은, 입출력 장치부(210)가 제공하는 제 1 사용자 인터페이스에 상응하여, 통신 장치부(240)와 유무선 네트워크를 형성하는 외부 장치가 구비하는, 음성 입력 수단을 제공하는 마이크, 음성 출력 수단을 제공하는 스피커, 화면 입력 수단을 제공하는 터치 스크린, 화면 출력 수단을 제공하는 디스플레이 및 버튼/조이스틱을 포함하는 입출력 장치를 통하여, 음성 및 시각화 된 정보의 입력과 출력을 위한 제 2 사용자 인터페이스를 더 제공할 수 있다.
도 2는 본 발명의 실시 예에 따른 음성 인식 모듈의 구성을 개략적으로 나타낸 블록 구성도이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 음성 인식 모듈(100)은, 음성 입력부(110), 음성 출력부(120) 및 음성 인식부(130)를 포함할 수 있다.
음성 입력부(110)는 사용자의 음성을 입력받거나, 사용자의 음성 입력을 수신하는 것으로서, 예를 들면, 마이크로폰이나 스피커폰을 예로 들 수 있다.
음성 출력부(120)는 미션 수행 관제에 관한 음성을 가청음으로 출력한다. 예를 들면, 스피커나 확성기 등을 예로 들 수 있다.
음성 인식부(130)는 사용자의 음성 입력을 인식하고 판별하여 암호화된 드론 코드(11), 경로 코드(12), 미션 코드(13)를 식별 정보로 생성한다. 즉, 음성 인식부(130)는 입력받은 음성에서, 적어도 1 개 이상의 드론 명칭을 인식하여 관제 대상 드론을 식별하는 드론 코드(11)와, 적어도 1 개 이상의 지상점 명칭을 인식하여 이동 경로를 생성할 지상점을 식별하는 경로 코드(12)와, 적어도 1 개 이상의 미션 명칭을 인식하여 관제 대상 드론이 수행할 미션을 식별하는 미션 코드(13)를 암호화하여 생성하는 것이다.
또한, 음성 인식부(130)가 사용자 음성 입력을 인식하고 판별하는 명칭은 드론의 이름과 임무, 지상점 및 지상 관제 시스템의 장치 기능을 지칭하는 명칭으로 유연하게 적용할 수 있으며, 음성 인식 모듈을 구비하는 시스템에 따라 다양한 명칭으로 사용자 인터페이스를 제공할 수 있다.
한편, 본 발명의 실시 예에 따른 음성 인식 모듈(100)은, 식별된 m 개의 지상점을 음성 입력을 통해 선택적으로 삭제하거나, 음성 입력을 통해 새로운 지상점을 추가하는 음성입력 인터페이스를 더 포함할 수 있다.
그리고, 본 발명의 실시 예에 따른 음성 인식 모듈(100)은, 드론에 구비된 장비 또는 장비의 특정된 기능 동작을 지칭하는 명칭; 및 드론 지상 관제 시스템의 기능 동작을 지칭하는 경로 생성, 경로 변경, 경로 삭제, 편대 미션, 미션 수행, 미션 중지, 가상 미션, 화면 확대, 화면 전환을 포함하는 명칭을 더 포함하는 음성을 입력받아, 미션 수행 관제를 위한 드론 코드와 경로 코드 및 미션 코드를 새로 생성할 수 있다.
따라서, 시스템 제어부(220)는, 새로 생성된 드론 코드와 경로 코드 및 미션 코드에 근거해 미션 파일을 생성해 관제 대상 드론에 대한 미션 수행을 관제할 수 있다.
도 3은 본 발명의 실시 예에 따른 시스템 제어부의 구성을 개략적으로 나타낸 블록 구성도이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 시스템 제어부(220)는, 드론 통신부(221), 미션 생성부(222), 미션 제어부(223), 미션 저장부(224), 가상 미션부(225)를 포함한다.
드론 통신부(221)는 사용자 음성 입력을 통해 드론 코드(11)로 식별된 관제 대상 드론에 대하여 통신 채널을 할당할 수 있다.
미션 생성부(222)는 경로 코드(12)로 식별된 1 개 이상의 지상점을 연결해 지리 정보가 설정된 이동 경로를 생성하고, 미션 코드(13)로 식별된 미션을 설정하여 미션 수행을 위한 암호화 된 미션 파일(24)을 생성할 수 있다.
미션 제어부(223)는 통신 채널이 할당된 관제 대상 드론에 통제권을 설정하여 미션 파일(24)을 전송하고, 기상 정보, 배터리 방전, 경로 충돌에 대한 안정성을 판별하여 미션 수행을 관제할 수 있다.
미션 저장부(224)는 미션 파일(24)을 생성된 시점부터 저장하며, 미션 수행이 완료된 시점에서 데이터 관리부(230)로 전달할 수 있다.
가상 미션부(225)는 생성된 미션 파일(24)을 시뮬레이션하여 이동 경로 및 지리 정보 설정을 해석하고, 위치, 방향, 위도, 경도, 고도를 포함하는 속성 정보를 해석하여 미션 수행의 안정성을 판별할 수 있다.
도 4는 본 발명의 실시 예에 따른 데이터 관리부의 구성을 개략적으로 나타낸 블록 구성도이다.
도 4를 참조하면, 본 발명의 실시 예에 따른 데이터 관리부(230)는, 데이터 수집부(231) 및 데이터베이스(232)를 포함할 수 있다.
데이터 수집부(231)는 드론 정보(21), 지리 정보(22), 기상 정보(23), 미션 파일(24)을 유무선 네트워크로부터 수집할 수 있다.
데이터베이스(232)는 수집된 드론 정보(21), 지리 정보(22), 기상 정보(23), 미션 파일(24)을 저장한다.
여기서, 드론 정보(21)는 관제 대상 드론의 종류, 사양, 성능 정보를 포함할 수 있다.
지리 정보(22)는 지형, 지물, 지명이 포함된 2 차원 또는 3 차원 지도 정보 및 위치, 방향, 위도, 경도, 고도가 포함된 속성 정보를 포함할 수 있다.
기상 정보(23)는 기온, 풍속, 풍향, 날씨 정보를 포함할 수 있다.
미션 파일(24)은 분류된 미션 정보를 포함할 수 있다.
도 5는 본 발명의 실시 예에 따른 드론 지상 관제 시스템에서 n 개의 통신 채널을 통해 n 개의 드론을 관제하는 예를 나타낸 도면이다.
도 5를 참조하면, 본 발명의 실시 예에 따른 드론 지상 관제 시스템(200)은, 시스템 제어부(220)가 음성 인식 모듈(100)을 통해 사용자 음성 입력을 인식하여 드론 코드(11)로 식별된 제1 드론 내지 제n 드론의 관제 대상 드론에 대하여 제1 통신채널 내지 제n 통신채널을 할당할 수 있다.
즉, 시스템 제어부(220)는 제1 드론에 해당하는 영상 수집기에 제1 통신채널을 할당하고, 제2 드론에 해당하는 구난 탐색기에 제2 통신채널을 할당하며, 제3 드론에 해당하는 산악 정찰기에 제3 통신채널을 할당하며, 제4 드론에 해당하는 육상 관측기에 제4 통신채널을 할당하며, 제n 드론에 해당하는 해양 관측기에 제n 통신채널을 할당하는 것이다.
도 6은 본 발명의 실시 예에 따른 드론 지상 관제 시스템에서 이동 경로를 자동으로 또는 지상점 입력 순서에 따라 또는 최단거리 연결에 따라 생성하는 예를 나타낸 도면이다.
도 6을 참조하면, 본 발명의 실시 예에 따른 드론 지상 관제 시스템(200)은 음성 인식 모듈(100)에서 사용자 음성 입력을 통해 식별된 m 개(m은 자연수)의 지상점을 이용하여 이동 경로를 생성할 수 있다.
즉, 드론 지상 관제 시스템(200)은 도 6의 (a)에 도시된 바와 같이 3 개의 지상점을 배열하여 이동 경로를 자동으로 생성할 수 있다.
또한, 드론 지상 관제 시스템(200)은 도 6의 (b)에 도시된 바와 같이 음성 인식 모듈(100)을 통해 4 개의 지상점을 음성으로 입력받고, 입력받은 음성의 입력 순서대로 4 개의 지상점을 연결하여 이동 경로를 생성할 수 있다. 예를 들어, 드론 지상 관제 시스템(200)은 도 6의 (b)에 도시된 바와 같이 사용자 음성입력을 통해 순서대로 제1 지상점, 제2 지상점, 제3 지상점, 제4 지상점으로 식별된 4 개의 지상점에 대하여, 출발점 - 제1 지상점 - 제2 지상점 - 제3 지상점 - 제4 지상점 - 출발점으로 연결하여 이동 경로를 자동으로 생성할 수 있다.
또한, 드론 지상 관제 시스템(200)은 도 6의 (c)에 도시된 바와 같이 4 개의 지상점에 대해 최단 이동 거리를 산출하고, 이들을 연결하여 이동 경로를 생성할 수 있다. 예를 들어, 드론 지상 관제 시스템(200)은 도 6의 (c)에 도시된 바와 같이 4 개 지상점에 대해 최단 거리 산출을 통해 출발점 - 제2 지상점 - 제1 지상점 - 제3 지상점 - 제4 지상점 - 출발점으로 연결하여 이동 경로를 자동으로 생성할 수 있으며 시각화 된 화면 출력을 제공할 수 있다.
그리고, 드론 지상 관제 시스템(200)은 3 차원 지도를 연계한 고도 정보가 적용된 이동 경로를 생성할 수 있다.
본 발명에 따른 드론 지상 관제 시스템(200)은 이동 경로의 자동 생성에 대해 시각화 된 화면 출력을 제공할 수 있으며, 이때 m 개의 지상점을 선택적으로 삭제하거나 새로운 지상점을 추가하는 음성입력 인터페이스를 더 제공할 수 있다. 즉, 사용자는 음성입력 인터페이스를 통해 지상점의 삭제 또는 추가에 관한 음성을 입력하고, 이러한 음성 입력을 통해 이동 경로에서 제1 지상점, 제2 지상점, 제3 지상점, 제4 지상점 중 하나 또는 그 이상을 선택적으로 삭제할 수 있으며, 새로운 지상점을 추가할 수 있다.
도 7a 및 도 7b는 본 발명의 실시 예에 따른 드론을 다중 관제하는 예를 설명하기 위한 도면이다.
도 7a 및 도 7b를 참조하면, 본 발명의 실시 예에 따른 드론 지상 관제 시스템(200)은 n 개(n=자연수) 드론의 미션 수행을 다중으로 관제할 수 있다.
먼저, 사용자 음성 입력을 통해 관제 대상 제1 드론과 m 개 지상점과 미션을 식별하여, 제1 드론에 대한 제1 통신채널을 할당하고 통제권을 설정하는 단계; 이동 경로를 자동 생성하여 미션이 설정된 제1 미션파일을 자동 생성하는 단계; 제1 드론에 제1 통신채널을 통해 제1 미션파일을 전송하는 단계; 제1 드론의 미션 수행을 위한 기상 정보, 배터리 방전, 경로 충돌 안정성을 판별하는 단계; 제1 드론에 대한 미션 수행을 관제하는 단계를 포함하는 방법으로 1 개 드론을 관제할 수 있다.
다음으로, 사용자 음성 입력을 통해 관제 대상 제2 드론과 m 개 지상점과 미션을 식별하여, 제2 드론에 대한 제2 통신채널을 할당하고 통제권을 설정하는 단계; 이동 경로를 자동 생성하여 미션이 설정된 제2 미션파일을 자동 생성하는 단계; 제2 드론에 제2 통신채널을 통해 제2 미션파일을 전송하는 단계; 제2 드론의 미션 수행을 위한 기상 정보, 배터리 방전, 경로 충돌 안정성을 판별하는 단계; 제2 드론에 대한 미션 수행을 관제하는 단계를 포함하는 방법으로 2 개 드론을 관제할 수 있다.
상술한 방법의 단계를 동일하게 진행하여, 사용자 음성 입력을 통해 관제 대상 제n 드론과 m 개 지상점과 미션을 식별하여, 제n 드론에 대한 제n 통신채널을 할당하고 통제권을 설정하는 단계; 이동 경로를 자동 생성하여 미션이 설정된 제n 미션파일을 자동 생성하는 단계; 제n 드론에 제n 통신채널을 통해 제n 미션파일을 전송하는 단계; 제n 드론의 미션 수행을 위한 기상 정보, 배터리 방전, 경로 충돌 안정성을 판별하는 단계; 제n 드론에 대한 미션 수행을 관제하는 단계를 포함하는 방법으로 제n 드론을 관제함으로써 n 개(n=자연수) 드론의 미션 수행을 다중으로 관제할 수 있다.
도 8은 본 발명의 실시 예에 따른 경로 충돌에 대응하여 관제하는 예를 설명하기 위한 도면이다.
도 8을 참조하면, 본 발명의 실시 예에 따른 드론 지상 관제 시스템(200)은 미션 수행을 관제하고 있는 1 개 이상의 드론 이동 경로에서 제n 드론의 이동 경로와 중첩되는 지상점을 판별하는 단계; 중첩되는 지상점으로 이동하는 1 개 이상의 드론을 식별하는 단계; 식별된 1 개 이상의 드론이 중첩되는 지상점에 도달하는 시점을 판별하는 단계; 식별된 1 개 이상의 드론이 중첩되는 지상점으로 이동하는 고도를 판별하는 단계를 포함하는 방법으로 경로 충돌에 대응하여 관제할 수 있다.
이때, 경로 충돌로 판별되는 경우, 드론 지상 관제 시스템(200)은 시각화 된 화면 출력을 제공하여 제n 드론의 미션 수행 시점을 조정하는 방법으로 경로 충돌에 대응하여 관제할 수 있다.
예를 들어, 드론 지상 관제 시스템(200)은 도 8에 도시된 바와 같이 미션 수행을 관제하고 있는 제1 드론, 제2 드론 및 제3 드론의 제1 이동 경로, 제2 이동 경로 및 제3 이동 경로에서 제n 드론의 제n 이동 경로와 중첩되는 지상점을 판별하여 중첩되는 지상점으로 이동하는 2 개의 드론을 식별한다. 이때 제1 드론과 제3 드론이 중첩되는 지상점에 도달하는 시점과 중첩되는 지상점으로 이동하는 고도를 판별하여 경로 충돌로 판별되는 경우, 드론 지상 관제 시스템(200)은 도 8에 도시된 바와 같이 시각화 된 정보를 화면 출력으로 제공하여 제n 드론의 미션 수행 시점을 조정하는 방법으로 경로 충돌에 대응하여 관제할 수 있다.
도 9는 본 발명에 따른 그리드 좌표 체계의 제공 예를 설명하기 위한 도면이다.
도 9를 참조하면, 본 발명의 실시 예에 따른 드론 지상 관제 시스템(200)은, 특정 지상점에서 특정 임무를 수행하는 드론에 대하여, 지리 정보를 포함하는 최대 축척의 2차원 또는 3차원 지도 정보에 숫자 및 기호가 붙여진 2차원 또는 3차원 그리드 좌표 체계를 투영하여 시각화 된 화면 출력을 제공하고, 사용자 음성입력을 통해 숫자 및 기호로 구성되는 그리드 좌표를 인식하고 판별하여 식별된 좌표로 드론의 이동을 수행하고 관제하는 사용자 인터페이스를 더 제공할 수 있다.
도 10은 본 발명의 실시 예에 따른 드론 지상 관제 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
도 1 내지 도 10을 참조하면, 본 발명의 실시 예에 따른 드론 지상 관제 시스템(200)은, 먼저 음성 인식 모듈(100)의 음성 입력부(110)에서 사용자 음성을 입력받는다(P310).
이어, 음성 인식 모듈(100)의 음성 인식부(130)는 입력받은 음성으로부터 관제 대상 드론 및 지상점, 미션을 식별한다(P320).
즉, 음성 인식부(130)는 입력받은 음성으로부터 관제 대상이 되는 적어도 1 개 이상의 드론 명칭과, 적어도 1 개 이상의 지상점 명칭 및 적어도 1 개 이상의 미션(mission) 명칭을 식별한다.
이때, 음성 인식부(130)는 식별된 정보에 근거해 미션 수행 관제를 위한 드론 코드(11)와 경로 코드(12) 및 미션 코드(13)를 생성한다.
이어, 시스템 제어부(220)는 관제 대상으로 식별된 드론에 대하여 통신 채널을 할당하여 통제권을 설정한다(P330).
즉, 시스템 제어부(220)는 생성된 드론 코드(11)에 근거해 관제 대상 드론을 인식하고, 인식된 드론에 통신 채널을 할당하여 통제권을 설정한다.
이때, 시스템 제어부(220)는 식별된 지상점으로 이동 경로를 자동으로 생성하고 지리 정보 및 미션 정보를 설정한다(P335).
즉, 시스템 제어부(220)는 생성된 경로 코드(120)에 근거해 지상점을 연결하여 이동 경로를 생성할 수 있다. 또한, 시스템 제어부(220)는 음성 인식부(130)에서 인식된 m 개의 지상점에 대하여, 도 6에 도시된 바와 같이 최단 이동 거리를 산출하여 이동 경로를 생성하거나, 입력받은 음성의 입력 순서대로 지상점을 연결하여 이동 경로를 생성하거나, 3 차원 지도를 연계한 고도 정보가 적용된 이동 경로를 생성할 수 있다.
이어, 시스템 제어부(220)는 미션 파일을 자동으로 생성한다(P340).
즉, 시스템 제어부(220)는 생성된 미션 코드(13)에 근거해 미션을 설정해 암호화 한 미션 파일(24)을 생성한다.
이어, 시스템 제어부(220)는 미션 파일을 수행하여 드론을 관제한다(P350).
즉, 시스템 제어부(220)는 생성된 미션 파일(24)에 근거해 관제 대상 드론의 미션 수행을 관제한다.
이때, 시스템 제어부(220)는 미션 수행에 있어서 기상 정보, 배터리 방전, 경로 충돌에 대한 안정성을 판별한다(P355).
즉, 시스템 제어부(220)는 드론의 배터리 방전을 감지하거나, 드론의 이동 경로 파악에 따른 충돌 사고를 감지하거나, 미션 수행을 위한 기상 정보를 확인한다.
시스템 제어부(220)는 관제 대상 드론의 배터리 방전 사고를 관제하는 경우, 생성하는 이동 경로의 전체 이동 거리를 산출하고, 산출된 이동 거리에 필요한 드론의 배터리 소모량을 산출하며, 산출된 배터리 소모량에 대하여, 드론의 총중량 및 미션 수행 속도와 고도를 반영하고 이동 경로의 기온, 풍속, 풍향이 포함된 기상 정보를 반영하여 보정된 배터리 소모량을 산출하며, 드론의 배터리 충전량이 보정된 배터리 소모량을 충족하는지 판별함으로써 배터리 방전 사고를 관제할 수 있다.
또한, 시스템 제어부(220)는 특정 지상점에서 특정 미션을 수행하는 드론에 대하여, 입출력 장치부(210)의 사용자 인터페이스를 통해, 지리 정보에 포함된 최대 축척의 2 차원 또는 3 차원 지도 정보에 숫자 및 기호가 붙여진 2 차원 또는 3 차원 그리드 좌표를 투영하여 시각화 된 화면 출력을 제공하고, 사용자 음성 입력을 통해 숫자 및 기호로 구성되는 그리드 좌표를 인식하여 판별하고 식별된 좌표를 통해 드론의 이동을 관제할 수 있다.
그리고, 시스템 제어부(220)는 미션 수행이 완료되지 않은 경우에(P360-NO) 미션 파일을 수행하고 드론을 관제하는 동작을 반복하고, 미션 수행이 완료되면(P360-YES) 미션 파일을 데이터베이스(232)에 저장하고, 드론의 관제 동작을 중지하고 서비스를 종료한다.
이상의 설명에서 음성인식 모듈을 구비하는 드론 지상 관제 시스템을 이용한 드론 지상 관제 방법을 설명하기 위해 도시된 도면 내지 흐름도에서 상기 방법들을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 11은 본 발명의 실시 예에 따른 드론 지상 관제 방법에서 n 개 드론의 미션 수행을 다중으로 관제하는 동작의 흐름도를 나타낸 도면이다.
도 11을 참조하면, 본 발명의 실시 예에 따른 드론 지상 관제 시스템(200)은, 음성 입력부(110)에서 음성을 입력받는다(P410).
이어, 음성 인식부(130)는 입력받은 음성으로부터 관제 대상 제 n 드론과 m 개 지상점과 제n 미션을 식별한다(P420).
이어, 음성 인식부(130)는 미션 수행 관제를 위한 n 개의 드론 코드와 s 개의 경로 코드 및 n 개의 미션 코드를 생성한다(P430).
이때, 시스템 제어부(220)는 식별된 지상점으로 이동 경로를 자동으로 생성하고 지리 정보 및 미션 정보를 설정할 수 있다(P435).
이어, 시스템 제어부(220)는 제 n 드론에 대한 제 n 통신 채널을 할당하고 통제권을 설정한다(P440).
이어, 시스템 제어부(220)는 생성된 s 개의 경로 코드에 근거해 m 개 지상점을 연결하여 s 개의 이동 경로를 생성한다(P450).
이어, 시스템 제어부(220)는 생성된 n 개의 미션 코드에 근거해 미션이 설정된 제 n 미션 파일을 생성한다(P460).
이때, 시스템 제어부(220)는 제 n 드론의 미션 수행을 위한 기상 정보, 배터리 방전, 경로 충돌 안정성을 판별할 수 있다. 즉, 시스템 제어부(220)는 미션 수행을 관제하고 있는 1 개 이상의 이동 경로에서 제 n 드론의 이동 경로와 중첩되는 지상점을 판별하고, 중첩되는 지상점으로 이동하는 1 개 이상의 드론을 식별하며, 식별된 1 개 이상의 드론이 중첩되는 지상점에 도달하는 시점을 판별하며, 식별된 1 개 이상의 드론이 중첩되는 지상점으로 이동하는 고도를 판별하여, 경로 충돌 안정성을 판별할 수 있다. 만약, 경로 충돌로 판별되는 경우, 시스템 제어부(220)는 시각화 된 정보를 화면 출력으로 제공하여 제 n 드론의 미션 수행 시점을 조정하여 경로 충돌에 대응하여 관제할 수 있다.
이어, 시스템 제어부(220)는 제 n 통신 채널을 통해 제 n 미션 파일을 제 n 드론에 전송한다(P470).
즉, 도 12에 도시된 바와 같이 제1 드론 지상 관제 시스템은 제1 미션 파일을 제1 통신 채널을 통해 제1 드론인 영상 수집기에 전송하고, 제2 미션 파일을 제2 통신 채널을 통해 제2 드론인 구난 탐색기에 전송하며, 제n 미션 파일을 제n 통신 채널을 통해 제n 드론인 산악 정찰기에 전송하는 것이다. 도 12는 본 발명의 실시 예에 따라 다중의 드론 지상 관제 시스템이 각각 n개 드론의 미션 수행을 다중으로 관제하는 예를 나타낸 도면이다. 도 12에서, 제n 드론 지상 관제 시스템은 제1 미션 파일을 제1 통신 채널을 통해 제1 드론인 물품 보급기에 전송하고, 제n 미션 파일을 제n 통신 채널을 통해 제n 드론인 산악 정찰기에 전송하는 것이다.
이어, 시스템 제어부(220)는 제 n 드론에 대한 미션 수행을 관제한다(P480).
이때, 시스템 제어부(220)는 드론의 배터리 방전을 감지하거나, 드론의 이동 경로 파악에 따른 충돌 사고를 감지하거나, 미션 수행을 위한 기상 정보를 확인할 수 있다(P485).
한편, 다중 드론 지상 관제 시스템에서는 도 13에 도시된 바와 같이 제1 드론 지상 관제 시스템에서 제1 드론인 산악 정찰기에 대한 드론 통제권을 제n 드론 지상 관제 시스템으로 이관하거나 전환할 수 있다. 도 13은 본 발명의 실시 예에 따른 다중 드론 지상 관제 시스템에서 드론 통제권을 이관 또는 전환하는 예를 나타낸 도면이다. 도 13에 도시된 바와 같이, 제1 드론 지상 관제 시스템에서 제1 통신 채널을 통해 제1 드론인 산악 정찰기를 관제하는 드론 통제권을 제n 드론 지상 관제 시스템으로 이관하거나 전환하게 되면, 제n 드론 지상 관제 시스템은 제2 통신 채널을 통해 제1 드론인 산악 정찰기를 관제하게 되는 것이다.
또한, 다중 드론 지상 관제 시스템에서는 도 14에 도시된 바와 같이 드론 간에 미션을 서로 이관할 수 있다. 도 14는 본 발명의 실시 예에 따른 다중 드론 지상 관제 시스템에서 드론 간 미션을 이관하는 예를 나타낸 도면이다. 도 14에 도시된 바와 같이, 제1 드론 지상 관제 시스템에서 제n 통신 채널을 통해 산악 정찰기를 관제하는 미션을 제n 드론 지상 관제 시스템으로 이관하게 되면, 제n 드론 지상 관제 시스템은 제1 통신 채널을 통해 물품 보급기를 관제하여 해당 이관된 미션을 수행할 수 있다.
도 15는 본 발명의 실시 예에 따른 드론 지상 관제 방법에서 n개 드론의 편대 미션을 관제하는 동작의 흐름도를 나타낸 도면이다.
도 15를 참조하면, 본 발명의 실시 예에 따른 드론 지상 관제 시스템(200)은, 음성 입력부(110)에서 음성을 입력받는다(P510).
이어, 시스템 제어부(220)는 입력받은 음성을 편대 미션 관련 음성으로 인식하면, 음성 인식에 근거해 편대 미션 이동 경로를 생성한다(P520).
또한, 시스템 제어부(220)는 음성 입력부(110)에서 입력받은 음성을 드론 선정 관련 음성으로 인식하면, 음성 인식에 근거해 편대 미션을 수행할 n 개의 드론을 선정한다(P530).
이어, 시스템 제어부(220)는 선정된 n 개의 드론을 통해 1 개 이상의 편대 형태를 생성하여 시각화 된 화면출력으로 제공한다(P540).
이때, 음성 입력부(110)에서 편대 선정 관련 음성을 입력받으면, 시스템 제어부(220)는 음성 인식에 근거해 편대 형태를 선정한다(P550).
이어, 시스템 제어부(220)는 선정된 편대 형태에 상응하여 n 개의 드론을 편대 배치하고 각각의 전후, 좌우 안전거리 및 상하 안전고도가 반영된 제 n 드론에 대한 제 n 미션 파일을 생성한다(P560).
이어, 시스템 제어부(220)는 생성된 제 n 미션 파일을 n 개의 드론에 전송한다(P570).
이어, 시스템 제어부(220)는 전송된 제 n 미션 파일을 일괄 수행하는 n 개의 드론에 대한 편대 미션을 관제한다(S580).
전술한 바와 같이, 본 발명의 실시 예에 따른 드론 지상 관제 시스템(200)은 n 개(n=자연수) 드론의 편대 미션을 관제할 수 있다.
이러한 과정을 정리하면, 사용자 음성 입력을 통해 편대 미션 이동 경로를 자동 생성하는 단계; 사용자 음성 입력을 통해 편대 미션을 수행할 n개의 드론을 선정하는 단계; 선정된 n개 드론을 통해 1개 이상의 편대 형태를 자동 생성하여 시각화 된 화면출력으로 제공하고, 사용자 음성 입력을 통해 편대 형태를 선정하는 단계; 선정된 편대 형태에 상응하여 n개 드론을 편대 배치하고, 각각의 전후, 좌우 안전거리 및 상하 안전고도가 반영된 제n 드론에 대한 제n 미션파일을 자동 생성하고 전송하는 단계; 전송된 n개 미션파일을 일괄 수행하여 n개 드론의 편대 미션을 관제하는 단계를 포함하는 방법으로 편대 미션을 관제할 수 있다.
여기서, 드론 지상 관제 시스템(200)은, 도 16에 도시된 바와 같이 다수의 지상점을 이용하여 사용자 설정에 따라 이동 경로를 생성할 수 있다. 도 16은 본 발명의 실시 예에 따른 지상점을 이용해 사용자 설정(입력순서 배열, 최단 경로, 8자 경로)에 따라 이동 경로를 생성하는 예를 나타낸 도면이다 도 16에 도시된 바와 같이, 드론 지상 관제 시스템(200)은, 사용자 설정에 따라 도 16의 (a)에 도시된 바와 같이 4 개의 지상점을 입력 순서에 따라 배열하여 이동 경로를 생성하거나, 도 16의 (b)에 도시된 바와 같이 4 개의 지상점을 최단 거리로 연결하여 이동 경로를 생성하거나, 도 16의 (c)에 도시된 바와 같이 4 개의 지상점을 출발점을 기준으로 연결하여 8자 형태의 이동 경로를 생성할 수 있다.
이때, 드론 지상 관제 시스템(200)은, 자동 생성하는 이동 경로의 전체 이동 거리를 산출하고, 산출된 이동 거리에 필요한 드론의 배터리 소모량을 산출하며, 산출된 배터리 소모량에 대하여, 드론의 총 중량 및 미션 수행 속도와 고도를 반영하고 이동 경로의 기온, 풍속, 풍향이 포함된 기상 정보를 반영하여 보정된 배터리 소모량을 산출한 후, 드론의 배터리 충전량이 보정된 배터리 소모량을 충족하는지를 판별함으로써 드론의 배터리 방전 사고를 관제할 수 있다.
전술한 바와 같이 본 발명에 의하면, 음성인식 모듈을 통해 사용자 음성 입력을 인식하는 지상 관제 시스템에서 음성 명령을 통해 드론에 대한 미션을 생성하고, 생성된 미션을 실행하며, 그 과정이나 결과를 시각화 된 화면으로 출력하면서 지상에서 원격으로 드론을 관제할 수 있도록 하는, 음성 인식을 이용한 드론 지상 관제 시스템 및 방법을 실현할 수 있다.
본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
11: 드론 코드 12: 경로 코드
13: 미션 코드 24: 미션 파일
100: 음성 인식 모듈 110: 음성 입력부
120: 음성 출력부 130: 음성 인식부
200: 드론 지상 관제 시스템 210: 입출력 장치부
220: 시스템 제어부 221: 드론 통신부
222: 미션 생성부 223: 미션 제어부
224: 미션 저장부 225: 가상 미션부
230: 데이터 관리부 240: 통신 장치부

Claims (18)

  1. 음성을 입력받고, 입력받은 음성으로부터 적어도 1 개 이상의 드론 명칭과, 적어도 1 개 이상의 지상점 명칭 및 적어도 1 개 이상의 미션(mission) 명칭을 인식하여, 미션 수행 관제를 위한 드론 코드와 경로 코드 및 미션 코드를 생성하는 음성 인식 모듈;
    상기 미션 수행 관제에 관한 음성 및 시각화 된 정보의 입력과 출력을 위한 제 1 사용자 인터페이스를 제공하는 입출력 장치부;
    상기 인식된 드론에 통신 채널을 할당하여 통제권을 설정하고, 지상점을 연결하여 이동 경로를 생성하며, 미션을 설정해 암호화 한 미션 파일을 생성해 미션 수행을 관제하는 시스템 제어부;
    상기 미션 수행 관제를 위한 드론 정보, 지리 정보, 기상 정보, 미션 파일을 수집하여 관리하는 데이터 관리부; 및
    상기 미션 수행 관제를 위한 상기 통신 채널을 제공하고, 외부 장치와 데이터를 송수신하는 통신 장치부;
    를 포함하는 드론 지상 관제 시스템.
  2. 제 1 항에 있어서,
    상기 음성 인식 모듈은,
    음성을 입력받는 음성 입력부;
    상기 미션 수행 관제를 음성으로 출력하는 음성 출력부; 및
    상기 입력받은 음성에서, 적어도 1 개 이상의 드론 명칭을 인식하여 관제 대상 드론을 식별하는 드론 코드와, 적어도 1 개 이상의 지상점 명칭을 인식하여 이동 경로를 생성할 지상점을 식별하는 경로 코드와, 적어도 1 개 이상의 미션 명칭을 인식하여 상기 관제 대상 드론이 수행할 미션을 식별하는 미션 코드를 암호화하여 생성하는 음성 인식부;
    를 포함하는 드론 지상 관제 시스템.
  3. 제 2 항에 있어서,
    상기 음성 인식 모듈은,
    상기 식별된 m 개의 지상점을 음성 입력을 통해 선택적으로 삭제하거나, 음성 입력을 통해 새로운 지상점을 추가하는 음성입력 인터페이스;
    를 더 포함하는, 드론 지상 관제 시스템.
  4. 제 1 항에 있어서,
    상기 입출력 장치부는,
    상기 음성을 입력받는 마이크;
    상기 음성을 출력하는 스피커;
    상기 정보를 화면으로 입력받는 터치 스크린;
    상기 정보를 화면으로 출력하는 디스플레이; 및
    상기 정보의 입력을 위한 버튼 조이스틱;
    을 포함하는 드론 지상 관제 시스템.
  5. 제 1 항에 있어서,
    상기 시스템 제어부는,
    상기 드론 코드로 식별된 상기 관제 대상 드론에 대한 통신 채널이 할당된 드론 통신부;
    상기 경로 코드로 식별된 1 개 이상의 지상점을 연결해 지리 정보가 설정된 이동 경로를 생성하고, 상기 미션 코드로 식별된 미션을 설정하여 미션 수행을 위한 암호화 된 상기 미션 파일을 생성하는 미션 생성부;
    상기 통신 채널이 할당된 상기 관제 대상 드론에 통제권을 설정하여 상기 미션 파일을 전송하고, 기상 정보, 배터리 방전, 경로 충돌에 대한 안정성을 판별하여 미션 수행을 관제하는 미션 제어부;
    상기 미션 파일을 생성된 시점부터 저장하며, 미션 수행이 완료된 시점에서 상기 데이터 관리부로 전달하는 미션 저장부; 및
    상기 생성된 미션 파일을 시뮬레이션하여 이동 경로 및 지리 정보 설정을 해석하고, 위치, 방향, 위도, 경도, 고도를 포함하는 속성 정보를 해석하여 미션 수행의 안정성을 판별하는 가상 미션부;
    를 포함하는 드론 지상 관제 시스템.
  6. 제 1 항에 있어서,
    상기 데이터 관리부는,
    상기 드론 정보, 상기 지리 정보, 상기 기상 정보, 상기 미션 파일을 유무선 네트워크로부터 수집하는 데이터 수집부; 및
    상기 수집된 상기 드론 정보, 상기 지리 정보, 상기 기상 정보, 상기 미션 파일을 저장하는 데이터베이스;를 포함하고,
    상기 드론 정보는 상기 관제 대상 드론의 종류, 사양, 성능 정보를 포함하고,
    상기 지리 정보는 지형, 지물, 지명이 포함된 2 차원 또는 3 차원 지도 정보 및 위치, 방향, 위도, 경도, 고도가 포함된 속성 정보를 포함하고,
    상기 기상 정보는 기온, 풍속, 풍향, 날씨 정보를 포함하고,
    상기 미션 파일은 분류된 미션 정보를 포함하는, 드론 지상 관제 시스템.
  7. 제 1 항에 있어서,
    상기 드론 명칭은 정찰기, 수집기, 탐색기, 육상기, 해상기, 관측기, 영상 수집기, 구난 탐색기, 산악 정찰기, 육상 관측기, 해양 관측기를 포함하고,
    상기 지상점 명칭은 지물, 지명, 주소, 좌표를 포함하고,
    상기 미션 명칭은 훈련, 정찰, 감시, 탐색, 촬영, 공격, 보급, 구난을 포함하고,
    상기 시스템 제어부는 상기 드론 명칭, 상기 지상점 명칭, 상기 미션 명칭을 추가 또는 삭제하는 사용자 설정을 제공하는, 드론 지상 관제 시스템.
  8. 제 1 항에 있어서,
    상기 음성 인식 모듈은,
    상기 드론에 구비된 장비 또는 장비의 특정된 기능 동작을 지칭하는 명칭; 및
    상기 드론 지상 관제 시스템의 기능 동작을 지칭하는 경로 생성, 경로 변경, 경로 삭제, 편대 미션, 미션 수행, 미션 중지, 가상 미션, 화면 확대, 화면 전환을 포함하는 명칭을 더 포함하는 음성을 입력받아, 상기 미션 수행 관제를 위한 드론 코드와 경로 코드 및 미션 코드를 새로 생성하는, 드론 지상 관제 시스템.
  9. 제 8 항에 있어서,
    상기 시스템 제어부는,
    상기 새로 생성된 드론 코드와 경로 코드 및 미션 코드에 근거해 미션 파일을 생성해 상기 관제 대상 드론에 대한 미션 수행을 관제하는, 드론 지상 관제 시스템.
  10. 제 1 항에 있어서,
    상기 입출력 장치부가 제공하는 상기 사용자 인터페이스에 상응하여,
    상기 통신 장치부와 유무선 네트워크를 형성하는 상기 외부 장치가 구비하는, 음성 입력 수단을 제공하는 마이크, 음성 출력 수단을 제공하는 스피커, 화면 입력 수단을 제공하는 터치 스크린, 화면 출력 수단을 제공하는 디스플레이 및 버튼 조이스틱을 포함하는 입출력 장치를 통하여, 음성 및 시각화 된 정보의 입력과 출력을 위한 제 2 사용자 인터페이스를 더 제공하는, 드론 지상 관제 시스템.
  11. 음성 입력부와 음성 출력부 및 음성 인식부를 포함하는 음성 인식 모듈; 입출력 장치부; 시스템 제어부; 데이터 관리부; 및 통신 장치부를 포함하는 시스템의 드론 지상 관제 방법으로서,
    (a) 상기 음성 입력부에서 음성을 입력받는 단계;
    (b) 상기 음성 인식부가 상기 입력받은 음성으로부터 적어도 1 개 이상의 드론 명칭과, 적어도 1 개 이상의 지상점 명칭 및 적어도 1 개 이상의 미션(mission) 명칭을 인식하는 단계;
    (c) 상기 음성 인식부가 미션 수행 관제를 위한 드론 코드와 경로 코드(12) 및 미션 코드(13)를 생성하는 단계;
    (d) 상기 시스템 제어부가 상기 생성된 드론 코드에 근거해 관제 대상 드론을 인식하고, 인식된 드론에 통신 채널을 할당하여 통제권을 설정하는 단계;
    (e) 상기 시스템 제어부가 상기 생성된 경로 코드에 근거해 지상점을 연결하여 이동 경로를 생성하는 단계;
    (f) 상기 시스템 제어부가 상기 생성된 미션 코드에 근거해 미션을 설정해 암호화 한 미션 파일을 생성하는 단계; 및
    (g) 상기 시스템 제어부가 상기 생성된 미션 파일(24)에 근거해 상기 관제 대상 드론의 미션 수행을 관제하는 단계;
    를 포함하는 드론 지상 관제 방법.
  12. 제 11 항에 있어서,
    상기 (e) 단계에서, 상기 음성 인식부에서 인식된 m 개의 지상점에 대하여 상기 이동 경로를 생성하는 단계는,
    최단 이동 거리를 산출하여 이동 경로를 생성하는 단계;
    상기 입력받은 음성의 입력 순서대로 지상점을 연결하여 이동 경로를 생성하는 단계; 및
    3 차원 지도를 연계한 고도 정보가 적용된 이동 경로를 생성하는 단계;
    를 포함하는 드론 지상 관제 방법.
  13. 제 11 항에 있어서,
    상기 (g) 단계에서, 상기 시스템 제어부가 상기 관제 대상 드론의 배터리 방전 사고를 관제하는 경우, 상기 관제 대상 드론의 미션 수행을 관제하는 단계는,
    상기 생성하는 이동 경로의 전체 이동 거리를 산출하는 단계;
    상기 산출된 이동 거리에 필요한 드론의 배터리 소모량을 산출하는 단계;
    상기 산출된 배터리 소모량에 대하여, 드론의 총중량 및 미션 수행 속도와 고도를 반영하고 이동 경로의 기온, 풍속, 풍향이 포함된 기상 정보를 반영하여 보정된 배터리 소모량을 산출하는 단계; 및
    상기 드론의 배터리 충전량이 상기 보정된 배터리 소모량을 충족하는지 판별하는 단계;
    를 포함하는 드론 지상 관제 방법.
  14. 제 11 항에 있어서,
    상기 (g) 단계에서, 상기 시스템 제어부는 특정 지상점에서 특정 미션을 수행하는 드론에 대하여,
    상기 입출력 장치부의 사용자 인터페이스를 통해, 지리 정보에 포함된 일정 축척의 2 차원 또는 3 차원 지도 정보에 숫자 및 기호가 붙여진 2 차원 또는 3 차원 그리드 좌표를 투영하여 시각화 된 화면 출력을 제공하고,
    사용자 음성입력을 통해 숫자 및 기호로 구성되는 상기 그리드 좌표를 인식하고 판별하여 식별된 좌표로 상기 드론의 이동을 관제하는, 드론 지상 관제 방법.
  15. n 개 드론의 미션 수행을 다중 관제하기 위해, 음성 입력부와 음성 출력부 및 음성 인식부를 포함하는 음성 인식 모듈; 입출력 장치부; 시스템 제어부; 데이터 관리부; 및 통신 장치부를 포함하는 시스템의 드론 지상 관제 방법으로서,
    (a) 상기 음성 입력부에서 음성을 입력받는 단계;
    (b) 상기 음성 인식부가 상기 입력받은 음성으로부터 관제 대상 제 n 드론과 m 개 지상점과 제 n 미션을 식별하는 단계;
    (c) 상기 음성 인식부가 미션 수행 관제를 위한 n 개의 드론 코드와 s 개의 경로 코드 및 n 개의 미션 코드를 생성하는 단계;
    (d) 상기 시스템 제어부가 상기 제 n 드론에 대한 제 n 통신 채널을 할당하고 통제권을 설정하는 단계;
    (e) 상기 시스템 제어부가 상기 생성된 s 개의 경로 코드에 근거해 m 개 지상점을 연결하여 s 개의 이동 경로를 생성하는 단계;
    (f) 상기 시스템 제어부가 상기 생성된 n 개의 미션 코드에 근거해 미션이 설정된 제 n 미션 파일을 생성하는 단계;
    (g) 상기 시스템 제어부가 상기 제 n 통신 채널을 통해 상기 제 n 미션 파일을 상기 제 n 드론에 전송하는 단계;
    (h) 상기 시스템 제어부가 상기 제 n 드론의 미션 수행을 위한 기상 정보, 배터리 방전, 경로 충돌 안정성을 판별하는 단계; 및
    (i) 상기 시스템 제어부가 상기 제 n 드론에 대한 미션 수행을 관제하는 단계;
    를 포함하는 드론 지상 관제 방법.
  16. 제 15 항에 있어서,
    상기 (h) 단계에서, 상기 제 n 드론에 대한 경로 충돌 안정성을 판별하는 단계는,
    상기 시스템 제어부가 미션 수행을 관제하고 있는 1 개 이상의 이동 경로에서 상기 제 n 드론의 이동 경로와 중첩되는 지상점을 판별하는 단계;
    상기 중첩되는 지상점으로 이동하는 1 개 이상의 드론을 식별하는 단계;
    상기 식별된 1 개 이상의 드론이 중첩되는 지상점에 도달하는 시점을 판별하는 단계;
    상기 식별된 1 개 이상의 드론이 중첩되는 지상점으로 이동하는 고도를 판별하는 단계;
    를 포함하는, 드론 지상 관제 방법.
  17. 제 16 항에 있어서,
    상기 (h) 단계에서 경로 충돌로 판별되는 경우,
    상기 (i) 단계에서 상기 시스템 제어부는 시각화 된 정보를 화면 출력으로 제공하여 제 n 드론의 미션 수행 시점을 조정하여 경로 충돌에 대응 관제하는, 드론 지상 관제 방법.
  18. n 개 드론의 편대 미션을 관제하기 위해, 음성 입력부와 음성 출력부 및 음성 인식부를 포함하는 음성 인식 모듈; 입출력 장치부; 시스템 제어부; 데이터 관리부; 및 통신 장치부를 포함하는 시스템의 드론 지상 관제 방법으로서,
    (a) 상기 음성 입력부에서 편대 관련 음성을 입력받는 단계;
    (b) 상기 시스템 제어부가 상기 입력받은 음성으로부터 편대 미션 이동 경로를 생성하는 단계;
    (c) 상기 음성 입력부에서 드론 선정 관련 음성을 입력받는 단계;
    (d) 상기 시스템 제어부가 상기 편대 미션을 수행할 n 개의 드론을 선정하는 단계;
    (e) 상기 시스템 제어부가 상기 선정된 n 개의 드론을 통해 1 개 이상의 편대 형태를 생성하여 시각화 된 화면출력으로 제공하는 단계;
    (f) 상기 음성 입력부에서 편대 선정 관련 음성을 입력받는 단계;
    (g) 상기 시스템 제어부가 편대 형태를 선정하는 단계;
    (h) 상기 시스템 제어부가 상기 선정된 편대 형태에 상응하여 n 개의 드론을 편대 배치하고 각각의 전후, 좌우 안전거리 및 상하 안전고도가 반영된 제 n 드론에 대한 제 n 미션 파일을 생성하는 단계;
    (i) 상기 시스템 제어부가 상기 생성된 제 n 미션 파일을 상기 n 개의 드론에 전송하는 단계;
    (j) 상기 시스템 제어부가 상기 전송된 제 n 미션 파일을 일괄 수행하는 상기 n 개의 드론에 대한 편대 미션을 관제하는 단계;
    를 포함하는 드론 지상 관제 방법.
KR1020190141491A 2019-11-07 2019-11-07 음성 인식을 이용한 드론 지상 관제 시스템 및 방법 KR102264740B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190141491A KR102264740B1 (ko) 2019-11-07 2019-11-07 음성 인식을 이용한 드론 지상 관제 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190141491A KR102264740B1 (ko) 2019-11-07 2019-11-07 음성 인식을 이용한 드론 지상 관제 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210055252A true KR20210055252A (ko) 2021-05-17
KR102264740B1 KR102264740B1 (ko) 2021-06-14

Family

ID=76158029

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190141491A KR102264740B1 (ko) 2019-11-07 2019-11-07 음성 인식을 이용한 드론 지상 관제 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102264740B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114530031A (zh) * 2022-02-22 2022-05-24 深圳市高巨创新科技开发有限公司 一种编队无人机的风力报警方法及系统
KR102465228B1 (ko) * 2021-11-24 2022-11-09 인하대학교 산학협력단 메타버스 플랫폼 이용한 혼합현실에서의 복잡한 기계류 훈련 및 교육과 홍보 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180068771A (ko) 2016-12-14 2018-06-22 엘지전자 주식회사 드론 및 그 제어 방법
KR20190001436A (ko) * 2017-06-27 2019-01-04 광운대학교 산학협력단 다수의 무인비행체 시스템과 군집 지능을 사용한 현실 ３ｄ 공간 탐색 시스템 및 방법
KR20190047260A (ko) * 2017-10-27 2019-05-08 김자유 음성이 지원되는 가변형 포켓드론
KR20190051640A (ko) * 2017-11-07 2019-05-15 홍성호 무인 비행체의 조종 시스템
KR20190084896A (ko) * 2018-01-08 2019-07-17 변정태 음성을 이용한 짐벌 및 드론 장치를 포함하는 드론 제어 시스템 및 군집 드론 제어 방법
KR20190113253A (ko) * 2018-03-28 2019-10-08 주식회사 유시스 터치 방식을 이용해 다수 드론에 다중임무를 부여하는 지상 제어 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180068771A (ko) 2016-12-14 2018-06-22 엘지전자 주식회사 드론 및 그 제어 방법
KR20190001436A (ko) * 2017-06-27 2019-01-04 광운대학교 산학협력단 다수의 무인비행체 시스템과 군집 지능을 사용한 현실 ３ｄ 공간 탐색 시스템 및 방법
KR20190047260A (ko) * 2017-10-27 2019-05-08 김자유 음성이 지원되는 가변형 포켓드론
KR20190051640A (ko) * 2017-11-07 2019-05-15 홍성호 무인 비행체의 조종 시스템
KR20190084896A (ko) * 2018-01-08 2019-07-17 변정태 음성을 이용한 짐벌 및 드론 장치를 포함하는 드론 제어 시스템 및 군집 드론 제어 방법
KR20190113253A (ko) * 2018-03-28 2019-10-08 주식회사 유시스 터치 방식을 이용해 다수 드론에 다중임무를 부여하는 지상 제어 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102465228B1 (ko) * 2021-11-24 2022-11-09 인하대학교 산학협력단 메타버스 플랫폼 이용한 혼합현실에서의 복잡한 기계류 훈련 및 교육과 홍보 시스템
JP2023077365A (ja) * 2021-11-24 2023-06-05 インハ インダストリー パートナーシップ インスティテュート メタバースプラットフォームを利用した複合現実における複雑な機械類の訓練、教育、および広告システム
CN114530031A (zh) * 2022-02-22 2022-05-24 深圳市高巨创新科技开发有限公司 一种编队无人机的风力报警方法及系统

Also Published As

Publication number Publication date
KR102264740B1 (ko) 2021-06-14

Similar Documents

Publication Publication Date Title
CN110531960B (zh) 用于通过虚拟世界，在现实世界中开发，测试以及部署数字现实应用程式的系统与方法
US8825366B2 (en) Method and device for determining an optimal flight trajectory followed by an aircraft
KR102264740B1 (ko) 음성 인식을 이용한 드론 지상 관제 시스템 및 방법
KR20150022762A (ko) 위협 평가 및 센서/무기 할당 알고리즘 테스트 및 분석 시스템
CN109506654A (zh) 低空航路规划方法及装置、飞行器
KR102511004B1 (ko) 다중 로봇의 주행 제어 장치 및 방법
Huang et al. Multi-type UAVs cooperative task allocation under resource constraints
CN110687930A (zh) 一种多用户协作规划系统
WO2019104554A1 (zh) 无人机的控制方法及控制终端
Tang et al. A joint global and local path planning optimization for UAV task scheduling towards crowd air monitoring
WO2018198281A1 (ja) 情報処理装置、空撮経路生成方法、空撮経路生成システム、プログラム、及び記録媒体
ES2913848T3 (es) Procedimiento y dispositivo de optimización de un plan de asignación de recursos
KR20210030098A (ko) 음성인식 모듈을 구비하는 지상관제 시스템을 이용한 드론 관제방법
Cummings et al. Sketch-based interface for interaction with unmanned air vehicles
CN117521932A (zh) 一种基于网格化划分的无人机巡检管理系统
CN111399533B (zh) 异构多无人机协同任务分配与路径优化方法
CN112396298A (zh) 一种无人直升机多机协同任务规划方法
WO2019041088A1 (zh) 限飞数据的提示、更新方法和终端设备以及服务器
CN110662272A (zh) 一种基于蜂群无人机的最少数量领航者选取方法
WO2023046175A1 (zh) 无人机远程快速任务分配方法、装置、设备及存储介质
US11164121B1 (en) Task communication and management system
Zhang et al. Multi-uavs task assignment based on fully adaptive cross-entropy algorithm
CN112487660B (zh) 民用飞机可靠性需求捕获方法
KR20220109661A (ko) 드론의 임무비행계획서 생성시스템
JP2022075273A (ja) 複数の移動体のそれぞれの移動経路の作成方法、システムおよびプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant