KR101690993B1

KR101690993B1 - 복수개의 드론 제어 시스템 및 그 제어방법

Info

Publication number: KR101690993B1
Application number: KR1020150056188A
Authority: KR
Inventors: 김형우; 최철웅; 이양원
Original assignee: 부경대학교 산학협력단
Priority date: 2015-04-21
Filing date: 2015-04-21
Publication date: 2016-12-30
Also published as: KR20160125249A

Abstract

본 기술은 복수개의 드론 제어 시스템 및 방법이 개시되어 있다. 구체적으로는, 안드로이드 단말에 탑재된 안드로이드 앱을 실행하여 복수개의 제어 대상 장치인 드론을 제어하기 위해 안드로이드 기반 안드로이드 단말과, 관리 서버, 및 복수의 드론을 상호 연결하여 통신을 수행함에 따라, 하나의 관리 서버로 다수의 안드로아드 단말과 접속된 복수 개의 드론의 제어가 가능하고, 복수 개의 드론을 통해 실시간 촬영 시점의 영상 데이터를 신속하게 획득할 수 있게 된다.

Description

북수개의 드론 제어 시스템 및 그 제어방법{PLURAL OF DRONE CONTROLLING SYSTEM AND METHOD THEREOF}

본 발명은 복수개의 드론 제어 시스템 및 그 제어 방법에 관한 것으로서, 보다 구체적으로는 원격으로 복수개의 드론을 통합 관리할 수 있도록 한 시스템 및 방법에 관한 것이다.

근래에 들어 정보 처리 및 통신 기술이 급속히 발전하면서 휴대전화기가 종래 피쳐폰(Feature Phone)에서 스마트폰(Smasrt Phone)으로 변경되고 있다. 스마트폰은 단순히 전화기로서의 기능 이외에도 인터넷 기능을 포함한 기존의 PC 기능을 수행하고 있는데, 이러한 스마트폰은 한 국가의 경제, 사회발전에 없어서는 안 될 필수 요소로서 그 중요성이 더욱 증대되고 있다. 따라서, 스마트폰을 이용한 다양한 애플리케이션 프로그램(Application Program ; 이하 "앱"으로 약칭한다)의 개발 및 이 앱과 연동 되는 전자 소자들의 조합을 통한 다양한 원격 제어 및 감시기술들이 개발되고 있다.

현재 스마트폰의 운영체계는 크게 애플 아이폰(iphone)용 iOS와, 구글의 안드로이드(Android)로 대표된다. 이중, 안드로이드 운영체제는 폐쇄적으로 운영 중인 iOS 체제와 달리 운영체제를 공개하고 있어 많은 휴대폰 제조업체와 이동통신사 등이 채택하여 많이 이용하고 있다.

특히, 안드로이드 운영체제는 안드로이드 ADK(Android Open Accessory Development Kit)를 통하여 누구나 앱을 개발할 수 있도록 하고 있는데, 최근 구글은 ADK를 공개하면서 안드로이드와 호환되는 I/O(입출력) 주변기기 보드로, 오픈소스 H/W 플랫폼인 아두이노를 공식적으로 선택하고 있다.

상기 아두이노는 손쉬운 개발 환경을 제공하는 오픈 소스 기반 H/W 플랫폼으로, 손쉬운 개발 툴 및 USB 기반 연결 인터페이스, 저렴한 H/W 비용, 모든 구조의 개방으로 하드웨어에 대한 깊은 지식 없이도 어플리케이션 구축이 가능한 특징이 있다. 특히, 아두이노는 많은 스위치나 센서로부터 값을 받아들여, LED나 모터와 같은 전기 장치를 제어함으로서 주변 환경과의 상호 작용성을 제공하고 있다.

이러한 아두이노의 가장 큰 장점은 마이크로 컨트롤러를 쉽게 동작시킬 수 있다는데 있다. 일반적으로 AVR 프로 그래밍이 WinAVR로 컴파일하여, ISP장치를 통해 업로드를 해야하는 등 번거로운 과정을 거쳐야하는데 비해, 아두이노는 USB를 통해 컴파일 및 업로드를 쉽게 할 수 있다. 또한, 아두이노는 다른 모듈에 비해 비교적 저렴하고, Windows를 비롯해 Mac OSX, 리눅스와 같은 여러 OS를 모두 지원하고 있으며, 아두이노 보드의 회로도가 CCL에 따라 공개되어 있으므로, 누구나 직접 보드를 직접 만들고 수정할 수 있다.

이러한 아두이노를 이용한 제어 대상을 제어함에 있어 하나의 아두이노 보드에 대해 하나의 제어 대상의 제어가 가능한 한계가 존재하였다.

따라서 본 발명에서 안드로이드의 기반 스마트폰 앱을 개발하고, 개발된 안드로이드의 기반 스마트폰 앱을 실행하여 복수의 제어 대상을 제어할 수 있는 방안을 제안한다.

상기의 문제점을 해결하기 위해 안출된 본 발명의 목적은, 안드로이드 단말에 탑재된 안드로이드 앱을 실행하여 복수개의 제어 대상 장치인 드론을 제어하기 위해 안드로이드 기반 안드로이드 단말과, 관리 서버, 및 복수의 드론을 상호 연결하여 통신을 수행함에 따라, 하나의 관리 서버로 다수의 안드로아드 단말과 접속된복수 개의 드론을 관리할 수 있는 복수개의 드론 제어 시스템 및 방법을 제공하고자 함에 있다.

상기 목적을 달성하기 위한 본 발명의 제1 관점에 따른 기술적 과제는

사용자 단말로부터 공급되는 해당 드론의 구동 요청 명령에 따라 해당 드론과 접속되고 해당 드론을 구동시키고 구동 중인 해당 드론에 대한 영상 정보 및 위치 정보 및 자세 정보를 수집하여 전달하는 안드로이드 앱 기반의 안드로이드 단말과,

사용자 단말로부터 수신된 정보 요청 명령에 따라 접속된 안드로이드 단말로부터 수집된 영상 정보, 위치 정보, 및 자세 정보 중 적어도 하나를 수신하여 가공 처리한 후 상기 사용자 단말로 전달하는 관리 서버를 포함하는 것을 특징으로 한다.

바람직하게 상기 안드로이드 단말은,

상기 관리 서버를 통해 수신된 사용자 단말의 정보 요청 명령을 수신하여 상기 관리 서버로부터 제공된 해당 드론의 접속 명령에 따라 해당 드론과 연결하는 근거리 통신 모듈;

상기 근거리 통신 모듈을 통해 해당 드론을 구동하고 구동된 해당 드론의 영상 정보를 수집하는 카메라 모듈;

상기 해당 드론의 위치 정보 및 자세 정보를 수집하는 다수의 센서로 마련된 센서 모듈;

상기 카메라 모듈의 영상 정보와 상기 센서 모듈의 위치 정보 및 자세 정보 중 적어도 하나의 정보를 안드로이드 앱에서 인식할 수 있도록 파싱한 후 바이트 데이터로 변환하는 제1 데이터 핸들러;

상기 관리 서버로부터 공급되는 해당 드론의 접속 요청 명령 및 정보 요청 명령을 수신하여 마블링크 데이터로 변환한 후 해당 드론과 카메라 모듈 및 센서 모듈로 각각 전달하는 제1 마블링크 핸들러; 및

상기 제1 데이터 핸들러의 해당 드론의 바이트 영상 데이터를 상기 관리 서버로 전달하는 양방향 통신용 제1 소켓 모듈로 구비되는 것을 특징으로 한다.

바람직하게 상기 관리 서버는,

사용자 단말로부터 생성된 해당 드론의 접속 요청 명령을 수신하여 안드로이드 단말로 전달하도록 구비되는 것을 특징으로 한다.

바람직하게 상기 관리 서버는,

상기 안드로이드 단말과의 양방향 통신을 실행하는 제2 소켓 모듈;

웹 상의 IP 주소 및 개인 정보를 포함하는 사용자 단말 정보가 저장된 사용자 저장 모듈;

상기 사용자 단말로부터 공급된 해당 드론의 접속 요청 명령 및 정보 요청 명령을 마블링크 데이터로 변환하여 상기 안드로이드 단말로 전달하는 제2 마블링크 핸들러;

상기 사용자 단말로부터 공급되는 접속 요청 명령 및 정보 요청 명령을 관리하는 커맨드 핸들러;

상기 제2 소켓 모듈로부터 공급되는 안드로이드 단말의 해당 드론의 영상 데이터를 파싱하는 제2 데이터 핸들러;

상기 제2 소켓 모듈을 통해 수신된 안드로이드 단말의 바이트 영상 데이터를 임시 저장하는 데이터 저장 모듈;

상기 사용자 저장 모듈에 기 저장된 사용자 정보와 매칭되는 사용자 단말로부터 공급된 해당 드론의 정보 요청 명령에 따라 데이터 저장 모듈의 영상 데이터를 그래픽 형태로 변환하여 전달하는 웹 GUI(Graphic User Interface);

상기 웹 GUI의 그래픽 영상 데이터를 상기 사용자 저장 모듈에 기 저장된 사용자 정보와 매칭되는 사용자 단말로 전달하는 제1 웹 소켓 모듈을 포함하는 것을 특징으로 한다.

바람직하게 상기 관리 서버는,

상기 제1 웹 소켓 모듈을 통해 수신된 웹 GUI의 영상 데이터를 표시하여 상기 사용자 단말로 전달하는 사용자 인터페이스를 포함하되,

상기 사용자 인터페이스는,

상기 관리 서버의 제1 웹 소켓 모듈로부터 공급된 영상 데이터를 수신하는 제2 웹 소켓 모듈;

상기 제2 웹 소켓 모듈의 영상 데이터를 복수개의 드론의 위치를 표시하는 오픈 소스 어플리케이션의 지도와. 상기 복수개의 드론의 센서 모듈의 상태와, 실시간으로 갱시되는 복수개의 드론의 영상 정보와, 상기 복수개의 드론의 촬영 영상 정보로 파싱하는 제3 데이터 핸들러;

상기 제3 데이터 핸들러의 파싱된 지도, 센서 모듈의 상태, 실시간 영상, 및 촬영 영상을 사용자 단말의 포맷과 매칭되는 포맷으로 변환하는 인터페이스 모듈을 포함하는 것을 특징으로 한다.

바람직하게 상기 사용자 인터페이스는,

사용자 단말로부터 선택된 복수개의 드론 중 해당 드론의 정보 요청 명령을 상기 제2 웹 소켓 모듈을 통해 상기 관리 서버로 전달하도록 구비되는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 제2 관점에 따른 기술적 과제는,

관리 서버를 통해 수신된 사용자 단말의 정보 요청 명령을 수신하여 상기 관리 서버로부터 제공된 해당 드론의 접속 명령에 따라 해당 드론과 연결하는 근거리 통신 모듈;

상기 관리 서버로부터 공급되는 해당 드론의 접속 요청 명령 및 정보 요청 명령을 수신하여 마블링크 데이터로 변환한 후 해당 드론과 카메라 모듈 및 센서 모듈로 각각 전달하는 상기 제1 마블링크 핸들러; 및

상기 목적을 달성하기 위한 본 발명의 제3 관점에 따른 기술적 과제는,

안드로이드 단말과의 양방향 통신을 실행하는 제2 소켓 모듈;

바람직하게 상기 관리 서버는,

상기 사용자 인터페이스는,

바람직하게 상기 사용자 인터페이스는,

상기 목적을 달성하기 위한 본 발명의 제4 관점에 따른 기술적 과제는

사용자 단말의 접속 요청 명령에 따라 관리 서버와 해당 드론의 안드로이드 단말 간에 접속되어 안드로이드 단말에서 해당 드론을 구동하는 단계;

구동 중인 해당 구론의 영상 정보, 위치 정보 및 자세 정보를 포함하는 관련 정보를 수집한 후 가공 처리하여 해당 드론의 바이트 영상 데이터를 상기 관리 서버로 전달하는 단계;

상기 관리 서버에서 해당 드론이 복수개의 드론 중 마지막 드론인 경우 복수개의 드론의 수집된 영상 데이터를 파싱한 후 그래픽 행태로 가공 처리하여 사용자 인터페이스로 전달하는 단계;

상기 사용자 인터페이스에서 상기 복수개의 드론의 영상 데이터를 파싱한 후 가공한 후 사용자 단말과 매칭되는 포맷으로 가공 처리하여 상기 사용자 단말로 전달하는 단계; 및

상기 사용자 단말에 표시된 복수개의 드론 중 선택된 해당 드론의 정보 요청 명령을 상기 관리 서버로 전달하고 관리 서버에서 해당 드론의 안드로이드 단말과 접속하여 해당 드론의 바이트 영상 데이터를 상기 사용자 단말로 전달하는 단계를 포함하는 것을 특징으로 한다.

이상에서 설명한 바와 같이, 본 발명에 따른 북수개의 드론 제어 시스템 및 그 제어 방법에 따르면, 안드로이드 단말에 탑재된 안드로이드 앱을 실행하여 복수개의 제어 대상 장치인 드론을 제어하기 위해 안드로이드 기반 안드로이드 단말과, 관리 서버, 및 복수의 드론을 상호 연결하여 통신을 수행함에 따라, 하나의 관리 서버로 다수의 안드로아드 단말과 접속된 복수 개의 드론의 제어가 가능하고, 복수 개의 드론을 통해 실시간 촬영 시점의 영상 데이터를 신속하게 획득할 수 있는 효과를 얻을 수 있다.

본 명세서에서 첨부되는 다음의 도면 들은 본 발명의 바람직한 실시 예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 본 발명의 실시 예에 따른 복수 개의 드론 제어 시스템의 구성을 보인 도이다.
도 2는 본 발명의 실시 예에 따른 복수 개의 드론 제어 시스템의 드론 및 안드로이드 단말의 구성을 보인 도이다.
도 3은 본 발명의 실시 예에 따른 복수 개의 드론 제어 시스템의 관리 서버의 구성을 보인 도이다.
도 4는 본 발명의 실시 예에 따른 복수 개의 드론 제어 시스템의 사용자 인터페이스(UI)의 구성을 보인 도이다.
도 5는 본 발명의 다른 실시 예에 따른 복수 개의 드론 제어 과정을 보인 흐름도이다.

상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면들을 함께 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 복수 개의 드론 제어 시스템의 구성을 보인 도면이고, 도 2는 도 1에 도시된 복수 개의 드론 제어 시스템의 드론 및 안드로이드 단말의 구성을 보인 도이며, 도 3은 도 1에 도시된 관리 서버의 구성을 보인 도이고, 도 4는 도 1에 도시된 사용자 인터페이스(UI)의 구성을 보인 도이다.

도 1 내지 도 4에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 복수 개의 드론 제어 시스템은, 안드로이드 단말에 탑재된 안드로이드 앱을 실행하여 복수개의 제어 대상 장치인 드론을 제어하기 위해 안드로이드 기반 안드로이드 단말과, 관리 서버, 및 복수의 드론을 상호 연결하여 통신을 수행하도록 구비되고, 이러한 시스템은, 복수개의 드론(10), 상기 복수개의 드론(10)의 각 드론(10)과 근거리 통신망을 통해 접속되어 구동 중인 드론의 영상 정보, 위치 정보 및 자세 정보를 수집하여 가공 처리한 후 가공된 바이트 영상 데이터를 전달하는 복수개의 안드로이드 단말(30), 상기 안드로이드 단말(30)의 영상 데이터를 파싱한 후 그래픽 형태로 가공 처리하여 사용자 단말(70)로 전달하는 관리 서버(50)를 포함한다.

상기 관리 서버(50)는 상기 관리 서버(50)의 복수개의 드론의 영상 데이터를 사용자 단말에 표시하도록 가공 처리하는 사용자 인터페이스(60)를 더 포함한다.

여기서, 사용자 단말(70)로부터 생성되어 관리 서버(50)를 통해 전달받은 복수개의 드론(10) 중 선택된 해당 드론(10)은, 상기 안드로이드 단말(30)과의 근거리 통신망을 통해 접속된다.

상기 근거리 통신망이라 함은 블루투스, 지그비 등의 다양한 통신망으로 마련될 수 있으나, 본 발명의 실시 예에서는 설명의 편리를 위해 블루투스를 일례로 설명한다.

이에 따라 상기 해당 드론(10)은, 도 2에 도시된 바와 같이, 해당 안드로이드 단말(30)과의 통신망을 접속을 위한 블루투스(13)를 더 포함한다. 여기서, 상기 해당 드론(10)은, 하드웨어의 제어 관리 대상으로서, 제작된 ATM(ArduPilot Mega)(11)을 포함하고 있으며 여기서, ATM(11)의 하드웨어 구성 및 블루투스(13)에 대한 구성은 이미 널리 알려진 공지의 기술이므로 이에 대한 구체적인 설명은 생략한다.

또한, 상기 안드로이드 단말(30)은, 도 2에 도시된 바와 같이, 외부로부터 공급되는 해당 드론의 구동 명령에 따라 해당 드론에 접속되고 접속된 해당 드론에 대한 영상 정보 및 위치 정보 및 자세 정보를 수집하여 전달하도록 구비된다.

즉, 상기 안드로이드 단말(30)은, 상기 관리 서버를 통해 수신된 사용자 단말의 정보 요청 명령을 수신하여 상기 관리 서버로부터 제공된 해당 드론의 접속 명령에 따라 해당 드론과 연결하는 근거리 통신 모듈(31)와, 상기 근거리 통신 모듈(11)을 통해 해당 드론을 구동하고 구동된 해당 드론의 영상 정보를 수집하는 카메라 모듈(32)와, 상기 해당 드론(10)의 위치 정보 및 자세 정보를 수집하는 다수의 센서로 마련된 센서 모듈(33)와, 상기 카메라 모듈(32)의 영상 정보와 상기 센서 모듈(33)의 위치 정보 및 자세 정보 중 적어도 하나의 정보를 안드로이드 어플에서 인식할 수 있도록 파싱한 후 바이트 데이터로 변환하는 제1 데이터 핸들러(34)와, 상기 관리 서버(50)로부터 공급되는 해당 드론(10)의 구동 명령에 따라 해당 드론을 동작시키기 위한 구동 신호를 생성하여 상기 근거리 통신 모듈(13)로 전달하고 외부로부터 공급되는 사용자 단말(70)의 촬영 명령을 실행하기 위한 제어 신호를 생성하여 각 카메라 모듈(32) 및 센서 모듈(33)로 전달하도록 상기 수신된 촬영 명령을 마블링크 데이터로 변환하는 상기 제1 마블링크 핸들러(35)와, 상기 제1 데이터 핸들러(34)의 바이트 영상 데이터를 상기 관리 서버(50)로 전달하는 양방향 통신용 제1 소켓 모듈(36)을 포함한다.

상기 관리 서버(50)로부터 공급되는 해당 드론(10)의 접속 요청을 제공받은 안드로이드 단말(30)의 제1 소켓 모듈(36)은 접속 요청 명령을 상기 제1 마블링크 핸들러(35)로 전달하고 상기 제1 마블링크 핸들러(35)는 수신된 접속 요청 명령을 마블링크 데이터를 변환한 후 상기 근거리 통신 모듈(31)로 전달된다.

그리고, 안드로이드 단말(30)의 근거리 통신 모듈(31)를 통해 상기 접속 요청에 대응되는 마블링크 데이터를 전달받은 해당 드론(10)은, 해당 안드로이드 단말(30)과 접속되어 해당 드론(10)이 동작된다.

이어 상기 안드로이드 단말(30)은, 카메라 모듈(32) 및 센서 모듈(33)을 통해 동작 중인 해당 드론(10)의 영상 정보, 위치 정보 및 자세 정보를 수집하고 수집된 영상 정보, 위치 정보 및 자세 정보는 제1 데이터 핸들러(34)에 공급된다. 여기서, 상기 영상 정보는 카메라 모듈(32)로부터 수집되며, 위치 정보 및 자세 정보는 GPS, 자이로 센서, 및 나침반 센서 등을 통해 수집 가능함은 당연하다 할 것이다.

상기 제1 데이터 핸들러(34)는 수집된 영상 정보, 위치 정보 및 자세 정보를 파싱하여 바이트 영상 데이터로 변환한 후 변환된 바이트 영상 데이터를 상기 제1 마블링크 핸들러(35)를 통해 마블링크 데이터 형태로 변환한 후 변환된 영상 데이터는 상기 제1 소켓 모듈(36)을 통해 관리 서버(50)로 전달된다.

상기 관리 서버(50)는, 상기의 설명한 일련의 과정을 모든 복수 개의 드론에 대해 실행하여 모든 복수 개의 드론으로부터 공급되는 영상 데이터를 파싱한 후 저장되는 기능을 수행한다.

아울러, 상기 관리 서버(50)는 도 3에 도시된 바와 같이, 복수 개의 드론에 대한 영상 데이터를 하나의 그래픽 형태로 변환하고, 변환된 그래픽 형태의 영상 데이터를 사용자 단말의 포맷과 매칭되는 포맷으로의 변환을 통해 사용자 단말(70)에 표시 가능하도록 처리한 후 사용자 단말(70)로 전달한다.

즉, 상기 관리 서버(50)는, 상기 안드로이드 단말과의 양방향 통신을 실행하는 제2 소켓 모듈(51)와, 웹 상의 IP 주소 및 개인 정보를 포함하는 사용자 단말 정보가 저장된 사용자 저장 모듈(52)와, 상기 사용자 단말로부터 공급된 해당 드론의 구동 명령을 마블링크 데이터로 변환하여 상기 안드로이드 단말(30)로 전달하는 제2 마블링크 핸들러(53)와, 상기 사용자 단말(70)로부터 공급되는 명령을 관리하는 커맨드 핸들러(54)와, 상기 제2 소켓 모듈(51)로부터 공급되는 안드로이드 단말(30)의 해당 드론의 영상 데이터를 파싱하는 제2 데이터 핸들러(55)와, 상기 제2 소켓 모듈(51)을 통해 수신된 안드로이드 단말(30)의 바이트 영상 데이터를 임시 저장하는 데이터 저장 모듈(56)와, 상기 사용자 저장 모듈(52)에 기 저장된 사용자 정보와 매칭되는 사용자 단말로부터 공급된 해당 드론의 정보 요청 명령에 따라 데이터 저장 모듈(55)의 영상 데이터를 그래픽 형태로 변환하여 전달하는 웹 GUI(Graphic User Interface)(57)와, 상기 웹 GUI(57)의 그래픽 영상 데이터를 상기 사용자 저장 모듈(52)에 기 저장된 사용자 정보와 매칭되는 사용자 단말로 전달하는 제1 웹 소켓 모듈(58)을 포함한다.

사용자 단말(70)로부터 공급되는 해당 드론(10)의 정보 요청 명령은 제1 웹 소켓모듈(58)을 통해 수신되면, 상기 제1 웹 소켓 모듈(58)의 정보 요청 명령은 상기 커맨드 핸들러(54)을 통해 저장되고, 상기 제2 마블링크 핸들러(53)를 통해 마블링크 데이터로 변환하여 안드로이드 단말(30)로 전달된다.

이러한 정보 요청 명령에 대응되는 마블링크 데이터를 수신한 안드로이드 단말(30)은 해당 드론(10)을 구동시키고 카메라 모듈(32) 및 센서 모듈(33)로부터 수집된 바이트 영상 데이터를 상기 제1 마블링크 핸들러(35)를 통해 변환한 후 상기 제1 소켓 모듈(36)을 통해 관리 서버(50)로 전달한다.

이에 상기 관리 서버(50)의 제2 소켓 모듈(51)을 통해 수신된 상기 안드로이드 단말(30)의 바이트 영상 데이터는 상기 제2 데이터 핸들러(55)를 통해 파싱된 후 데이터 저장 모듈(56)에 일시 저장한다.

그리고, 데이터 저장 모듈(56)의 파싱된 바이트 영상 데이터는 웹 GUI(57)을 통해 그래픽 형태로 변환된 후 상기 제1 웹 소켓 모듈(58)로 전달되며, 상기 제1 웹 소켓 모듈(58)은 상기 사용자 저장 모듈(52)에 저장된 사용자 정보와 매칭되는 사용자 단말(70)로 상기 그래픽 영상 데이터를 전달한다.

이때 상기 관리 서버(50)는 상기 제1 웹 소켓 모듈(58)을 통해 수신된 웹 GUI(57)의 그래픽 영상 데이터를 사용자 단말(70)의 표시 포맷과 일치하는 언어 등으로 변환하는 사용자 인터페이스(60)를 더 포함한다.

상기 사용자 인터페이스(60)는, 도 4에 도시된 바와 같이, 상기 제1 웹 소켓 모듈(58)로부터 공급된 그래픽 형태의 영상 데이터를 수신하는 제2 웹 소켓 모듈(61)와, 상기 제2 웹 소켓 모듈(61)의 영상 데이터를 복수개의 드론의 위치를 표시하는 오픈 소스 어플리케이션의 지도와, 상기 복수개의 드론의 센서 모듈의 상태와, 실시간으로 갱시되는 복수개의 드론의 영상 정보와, 상기 복수개의 드론의 촬영 영상 정보로 파싱하는 제3 데이터 핸들러(62)와, 상기 제3 데이터 핸들러(62)의 파싱된 지도, 센서 모듈의 상태, 실시간 영상, 및 촬영 영상을 표시하도록 변환하는 인터페이스 모듈(63)을 포함한다.

여기서, 사용자 단말(70)은 인터페이스 모듈(63)을 통해 변환된 복수 개의 드론에 대한 영상 데이터를 수신한 후 복수 개의 드론 중 하나를 선택하면 선택된 해당 드론의 접속 요청 명령을 생성하여 생성된 해당 드론의 접속 요청 명령은 상기 관리 서버(50)를 통해 해당 드론(10)과 상호 연동되는 안드로이드 단말(30)에 전달되고, 해당 안드로이드 단말(30)은 사용자 단말(70)에 의해 접속 요청된 해당 드론(10)을 구동시키고 해당 드론(10)의 영상 정보, 위치 정보 및 자세 정보를 수집하여 상기 관리 서버(50)에 전달된다.

그리고, 상기 관리 서버(50)는, 복수 개의 드론 중 선택된 해당 드론(10)에 대한 영상 데이터를 하나의 그래픽 형태로 변환하고, 변환된 그래픽 형태의 영상 데이터를 사용자 인터페이스(60)을 통해 사용자 단말의 포맷과 매칭되는 포맷으로의 변환하여 사용자 단말(70)로 전달한다.

여기서, 상기 사용자 단말(70)에 의해 선택된 해당 드론(10)으로부터 영상 데이터를 수집 및 관리 및 변환하여 사용자 단말(70)로 전달되는 일련의 과정은 앞서 복수개의 드론(10)의 영상 데이터를 수집, 관리 및 그래픽 형태로 변환하여 사용자 단말(70)로 전달하는 일련의 과정과 동일 또는 유사하므로 이에 대한 구체적인 설명은 생략한다.

본 발명의 실시 예에서, 상기 안드로이드 단말(30)은 설명의 편의상 해당 드론(10)과 각 기능별로 독립적으로 구성되는 것을 예시하고 있으나, 해당 드론(10)은 각 가능별로 안드로이드 단말(30)에 종속적으로 구성될 수 있으며, 하나 또는 그 이상의 서버에 상기 기능들이 통합되어 구비될 수 있다. 또한, 설명의 편의에 따라 본 발명과 관련된 구성에 대해서는 설명함에 유의하여야 한다. 필요에 따라 도시된 서버들 외 웹 상의 인증 기능 및 안드로이드 앱을 구동하는 기능 등과 같은 다양한 기능을 제공하기 위한 서버들이 추가로 포함될 수 있을 것이다.

즉, 안드로이드 단말에 탑재된 안드로이드 앱을 실행하여 복수개의 제어 대상 장치인 드론을 제어하기 위해 안드로이드 기반 안드로이드 단말과, 관리 서버, 및 복수의 드론을 상호 연결하여 통신을 수행함에 따라, 하나의 관리 서버로 다수의 안드로아드 단말과 접속된 복수 개의 드론의 제어가 가능하고, 복수 개의 드론을 통해 실시간 촬영 시점의 영상 데이터를 신속하게 획득할 수 있게 된다.

안드로이드 단말에 탑재된 안드로이드 앱을 실행하여 복수개의 제어 대상 장치인 드론을 제어하기 위해 안드로이드 기반 안드로이드 단말과, 관리 서버, 및 복수의 드론을 상호 연결하여 통신을 수행하여 복수 개의 제어 대상인 드론을 제어하는 일련의 과정을 도 2를 참조하여 설명한다.

도 5는 도 1에 도시된 복수 개의 드론 제어 시스템의 동작 과정을 보인 흐름도로서, 도 1 및 도 5를 참조하여 본 발명의 다른 실시 예에 따른 복수 개의 드론 제어 시스템의 동작 과정을 설명한다.

우선, 사용자 단말(70)로부터 생성된 제어 대상 장치인 복수 개의 드론의 접속 요청 명령이 관리 서버(50)를 통해 수신되면, 상기 관리 서버(50)는 해당 드론(10)과 상호 연동되는 안드로이드 단말(30)로 상기 접속 요청 명령을 전달하고, 상기 안드로이드 단말(30)은 수신된 접속 요청 명령에 따라 근거리 통신 모듈(31)을 통해 해당 드론(10)을 구동시킨다(단계101, 103, 105).

이어 안드로이드 단말(30)은 구동 중인 해당 드론(10)의 영상 정보, 위치 정보 및 자세 정보를 수집한 후 수집된 영상 정보, 위치 정보, 및 자세 정보를 파싱한 후 바이트 영상 데이터로 변환한 후 관리 서버(50)로 전달한다(단계107, 109).

그리고, 상기 관리 서버(50)는 수신된 바이트 영상 데이터를 파싱한 후 일시 저장한다(단계 111).

그리고, 상기 관리 서버(50)는 상기의 일련의 과정을 각 해당 드론(10) 마다 반복 실행하여 마지막 드론인 지를 판단하고 판단 결과 마지막 드론이 아닌 경우 상기 단계(103)으로 진행한다(단계113).

상기 단계(113)의 판단 결과 마지막 드론이 아닌 경우 상기 저장된 각 드론의 바이트 영상 데이터를 그래픽 형태로 가공한 후 가공된 그래픽 형태의 영상 데이터를 사용자 단말(70)의 포맷과 매칭되는 포맷으로 변환한 후 사용자 단말(70)로 공급한다(단계 115, 117).

그리고, 상기 사용자 단말(70)은 복수 개의 드론의 지도, 실시간 영상, 촬영 영상, 및 센서 상태를 화면에 표시한다(단계 119).

그리고, 상기 사용자 단말(70)의 표시된 복수 개의 드론 중 하나를 선택하고 선택된 해당 드론(10)에 대해, 안드로이드 단말(30)과 해당 드론(10)이 상호 연동되어 해당 드론(10)이 구동되며 구동된 해당 드론(10)의 영상 정보, 위치 정보 및 자세 정보를 수집하여 그래픽 형태로 변환한 후 사용자 포맷과 일치하는 포맷으로 가공처리하여 사용자 단말로 전달하는 일련의 과정은, 복수개의 드론 중 순차로 접속 구동된 해당 드론(10)의 영상 정보, 위치 정보 및 자세 정보를 수집하여 그래픽 형태로 변환한 후 사용자 포맷과 일치하는 포맷으로 가공처리하여 사용자 단말로 전달하는 일련의 과정과 동일 또는 유사하므로 이에 대한 구체적인 설명은 생략한다.

본 발명의 실시 예에 따르면, 안드로이드 단말에 탑재된 안드로이드 앱을 실행하여 복수개의 제어 대상 장치인 드론을 제어하기 위해 안드로이드 기반 안드로이드 단말과, 관리 서버, 및 복수의 드론을 상호 연결하여 통신을 수행함에 따라, 하나의 관리 서버로 다수의 안드로아드 단말과 접속된 복수 개의 드론의 제어가 가능하고, 복수 개의 드론을 통해 실시간 촬영 시점의 영상 데이터를 신속하게 획득할 수 있게 된다.

여기에 제시된 실시 예들과 관련하여 설명된 방법 또는 알고리즘의 단계들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.

안드로이드 단말에 탑재된 안드로이드 앱을 실행하여 복수개의 제어 대상 장치인 드론을 제어하기 위해 안드로이드 기반 안드로이드 단말과, 관리 서버, 및 복수의 드론을 상호 연결하여 통신을 수행함에 따라, 하나의 관리 서버로 다수의 안드로아드 단말과 접속된 복수 개의 드론의 제어가 가능하고, 복수 개의 드론을 통해 실시간 촬영 시점의 영상 데이터를 신속하게 획득할 수 있는 복수 개의 드론 제어 시스템 빛 방법에 대한 운용의 정확성 및 신뢰도 측면, 더 나아가 성능 효율 면에 매우 큰 진보를 가져올 수 있으며, 적용되는 드론의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

Claims

사용자 단말로부터 공급되는 해당 드론의 구동 요청 명령에 따라 해당 드론과 접속되고 해당 드론을 구동시키고 구동 중인 해당 드론에 대한 영상 정보 및 위치 정보 및 자세 정보를 수집하여 전달하는 안드로이드 앱 기반의 안드로이드 단말과,
사용자 단말로부터 수신된 정보 요청 명령에 따라 접속된 안드로이드 단말로부터 수집된 영상 정보, 위치 정보, 및 자세 정보 중 적어도 하나를 수신하여 가공 처리한 후 상기 사용자 단말로 전달하는 관리 서버를 포함하는 것을 특징으로 하는 복수 개의 드론 제어 시스템.
제1항에 있어서, 상기 안드로이드 단말은,
상기 관리 서버를 통해 수신된 사용자 단말의 정보 요청 명령을 수신하여 상기 관리 서버로부터 제공된 해당 드론의 접속 명령에 따라 해당 드론과 연결하는 근거리 통신 모듈;
상기 근거리 통신 모듈을 통해 해당 드론을 구동하고 구동된 해당 드론의 영상 정보를 수집하는 카메라 모듈;
상기 해당 드론의 위치 정보 및 자세 정보를 수집하는 다수의 센서로 마련된 센서 모듈;
상기 카메라 모듈의 영상 정보와 상기 센서 모듈의 위치 정보 및 자세 정보 중 적어도 하나의 정보를 안드로이드 앱에서 인식할 수 있도록 파싱한 후 바이트 데이터로 변환하는 제1 데이터 핸들러;
상기 관리 서버로부터 공급되는 해당 드론의 접속 요청 명령 및 정보 요청 명령을 수신하여 마블링크 데이터로 변환한 후 해당 드론과 카메라 모듈 및 센서 모듈로 각각 전달하는 제1 마블링크 핸들러; 및
상기 제1 데이터 핸들러의 해당 드론의 바이트 영상 데이터를 상기 관리 서버로 전달하는 양방향 통신용 제1 소켓 모듈로 구비되는 것을 특징으로 하는 복수 개의 드론 제어 시스템.
제2항에 있어서, 상기 관리 서버는,
사용자 단말로부터 생성된 해당 드론의 접속 요청 명령을 수신하여 안드로이드 단말로 전달하도록 구비되는 것을 특징으로 하는 복수 개의 드론 제어 시스템.
제2항에 있어서, 상기 관리 서버는,
상기 안드로이드 단말과의 양방향 통신을 실행하는 제2 소켓 모듈;
웹 상의 IP 주소 및 개인 정보를 포함하는 사용자 단말 정보가 저장된 사용자 저장 모듈;
상기 사용자 단말로부터 공급된 해당 드론의 접속 요청 명령 및 정보 요청 명령을 마블링크 데이터로 변환하여 상기 안드로이드 단말로 전달하는 제2 마블링크 핸들러;
상기 사용자 단말로부터 공급되는 접속 요청 명령 및 정보 요청 명령을 관리하는 커맨드 핸들러;
상기 제2 소켓 모듈로부터 공급되는 안드로이드 단말의 해당 드론의 영상 데이터를 파싱하는 제2 데이터 핸들러;
상기 제2 소켓 모듈을 통해 수신된 안드로이드 단말의 바이트 영상 데이터를 임시 저장하는 데이터 저장 모듈;
상기 사용자 저장 모듈에 기 저장된 사용자 정보와 매칭되는 사용자 단말로부터 공급된 해당 드론의 정보 요청 명령에 따라 데이터 저장 모듈의 영상 데이터를 그래픽 형태로 변환하여 전달하는 웹 GUI(Graphic User Interface);
상기 웹 GUI의 그래픽 영상 데이터를 상기 사용자 저장 모듈에 기 저장된 사용자 정보와 매칭되는 사용자 단말로 전달하는 제1 웹 소켓 모듈을 포함하는 것을 특징으로 하는 복수 개의 드론 제어 시스템.
제4항에 있어서, 상기 관리 서버는,
상기 제1 웹 소켓 모듈을 통해 수신된 웹 GUI의 영상 데이터를 표시하여 상기 사용자 단말로 전달하는 사용자 인터페이스를 포함하되,
상기 사용자 인터페이스는,
상기 관리 서버의 제1 웹 소켓 모듈로부터 공급된 영상 데이터를 수신하는 제2 웹 소켓 모듈;
상기 제2 웹 소켓 모듈의 영상 데이터를 복수개의 드론의 위치를 표시하는 오픈 소스 어플리케이션의 지도와. 상기 복수개의 드론의 센서 모듈의 상태와, 실시간으로 갱시되는 복수개의 드론의 영상 정보와, 상기 복수개의 드론의 촬영 영상 정보로 파싱하는 제3 데이터 핸들러;
상기 제3 데이터 핸들러의 파싱된 지도, 센서 모듈의 상태, 실시간 영상, 및 촬영 영상을 사용자 단말의 포맷과 매칭되는 포맷으로 변환하는 인터페이스 모듈을 포함하는 것을 특징으로 하는 복수 개의 드론 제어 시스템.
제5항에 있어서, 상기 사용자 인터페이스는,
사용자 단말로부터 선택된 복수개의 드론 중 해당 드론의 정보 요청 명령을 상기 제2 웹 소켓 모듈을 통해 상기 관리 서버로 전달하도록 구비되는 것을 특징으로 하는 복수 개의 드론 제어 시스템.
관리 서버를 통해 수신된 사용자 단말의 정보 요청 명령을 수신하여 상기 관리 서버로부터 제공된 해당 드론의 접속 명령에 따라 해당 드론과 연결하는 근거리 통신 모듈;
상기 근거리 통신 모듈을 통해 해당 드론을 구동하고 구동된 해당 드론의 영상 정보를 수집하는 카메라 모듈;
상기 해당 드론의 위치 정보 및 자세 정보를 수집하는 다수의 센서로 마련된 센서 모듈;
상기 카메라 모듈의 영상 정보와 상기 센서 모듈의 위치 정보 및 자세 정보 중 적어도 하나의 정보를 안드로이드 앱에서 인식할 수 있도록 파싱한 후 바이트 데이터로 변환하는 제1 데이터 핸들러;
상기 관리 서버로부터 공급되는 해당 드론의 접속 요청 명령 및 정보 요청 명령을 수신하여 마블링크 데이터로 변환한 후 해당 드론과 카메라 모듈 및 센서 모듈로 각각 전달하는 상기 제1 마블링크 핸들러; 및
상기 제1 데이터 핸들러의 해당 드론의 바이트 영상 데이터를 상기 관리 서버로 전달하는 양방향 통신용 제1 소켓 모듈로 구비되는 것을 특징으로 하는 복수 개의 드론 제어 시스템의 안드로이드 단말.
안드로이드 단말과의 양방향 통신을 실행하는 제2 소켓 모듈;
웹 상의 IP 주소 및 개인 정보를 포함하는 사용자 단말 정보가 저장된 사용자 저장 모듈;
상기 사용자 단말로부터 공급된 해당 드론의 접속 요청 명령 및 정보 요청 명령을 마블링크 데이터로 변환하여 상기 안드로이드 단말로 전달하는 제2 마블링크 핸들러;
상기 사용자 단말로부터 공급되는 접속 요청 명령 및 정보 요청 명령을 관리하는 커맨드 핸들러;
상기 제2 소켓 모듈로부터 공급되는 안드로이드 단말의 해당 드론의 영상 데이터를 파싱하는 제2 데이터 핸들러;
상기 제2 소켓 모듈을 통해 수신된 안드로이드 단말의 바이트 영상 데이터를 임시 저장하는 데이터 저장 모듈;
상기 사용자 저장 모듈에 기 저장된 사용자 정보와 매칭되는 사용자 단말로부터 공급된 해당 드론의 정보 요청 명령에 따라 데이터 저장 모듈의 영상 데이터를 그래픽 형태로 변환하여 전달하는 웹 GUI(Graphic User Interface);
상기 웹 GUI의 그래픽 영상 데이터를 상기 사용자 저장 모듈에 기 저장된 사용자 정보와 매칭되는 사용자 단말로 전달하는 제1 웹 소켓 모듈을 포함하는 것을 특징으로 하는 복수 개의 드론 제어 시스템의 관리 서버.
제8항에 있어서, 상기 관리 서버는,
상기 제1 웹 소켓 모듈을 통해 수신된 웹 GUI의 영상 데이터를 표시하여 상기 사용자 단말로 전달하는 사용자 인터페이스를 포함하되,
상기 사용자 인터페이스는,
상기 관리 서버의 제1 웹 소켓 모듈로부터 공급된 영상 데이터를 수신하는 제2 웹 소켓 모듈;
상기 제2 웹 소켓 모듈의 영상 데이터를 복수개의 드론의 위치를 표시하는 오픈 소스 어플리케이션의 지도와. 상기 복수개의 드론의 센서 모듈의 상태와, 실시간으로 갱시되는 복수개의 드론의 영상 정보와, 상기 복수개의 드론의 촬영 영상 정보로 파싱하는 제3 데이터 핸들러;
상기 제3 데이터 핸들러의 파싱된 지도, 센서 모듈의 상태, 실시간 영상, 및 촬영 영상을 사용자 단말의 포맷과 매칭되는 포맷으로 변환하는 인터페이스 모듈을 포함하는 것을 특징으로 하는 복수 개의 드론 제어 시스템의 관리 서버.
제9항에 있어서, 상기 사용자 인터페이스는,
사용자 단말로부터 선택된 복수개의 드론 중 해당 드론의 정보 요청 명령을 상기 제2 웹 소켓 모듈을 통해 상기 관리 서버로 전달하도록 구비되는 것을 특징으로 하는 복수 개의 드론 제어 시스템의 관리 서버.
사용자 단말의 접속 요청 명령에 따라 관리 서버와 해당 드론의 안드로이드 단말 간에 접속되어 안드로이드 단말에서 해당 드론을 구동하는 단계;
구동 중인 해당 구론의 영상 정보, 위치 정보 및 자세 정보를 포함하는 관련 정보를 수집한 후 가공 처리하여 해당 드론의 바이트 영상 데이터를 상기 관리 서버로 전달하는 단계;
상기 관리 서버에서 해당 드론이 복수개의 드론 중 마지막 드론인 경우 복수개의 드론의 수집된 영상 데이터를 파싱한 후 그래픽 행태로 가공 처리하여 사용자 인터페이스로 전달하는 단계;
상기 사용자 인터페이스에서 상기 복수개의 드론의 영상 데이터를 파싱한 후 가공한 후 사용자 단말과 매칭되는 포맷으로 가공 처리하여 상기 사용자 단말로 전달하는 단계; 및
상기 사용자 단말에 표시된 복수개의 드론 중 선택된 해당 드론의 정보 요청 명령을 상기 관리 서버로 전달하고 관리 서버에서 해당 드론의 안드로이드 단말과 접속하여 해당 드론의 바이트 영상 데이터를 상기 사용자 단말로 전달하는 단계를 포함하는 것을 특징으로 하는 복수 개의 드론 제어 방법.