KR20180065331A - 영상 인식을 이용한 드론 제어 방법 및 그 장치 - Google Patents

영상 인식을 이용한 드론 제어 방법 및 그 장치 Download PDF

Info

Publication number
KR20180065331A
KR20180065331A KR1020160165984A KR20160165984A KR20180065331A KR 20180065331 A KR20180065331 A KR 20180065331A KR 1020160165984 A KR1020160165984 A KR 1020160165984A KR 20160165984 A KR20160165984 A KR 20160165984A KR 20180065331 A KR20180065331 A KR 20180065331A
Authority
KR
South Korea
Prior art keywords
drones
driving signal
image
predetermined
mobile terminal
Prior art date
Application number
KR1020160165984A
Other languages
English (en)
Inventor
이주용
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020160165984A priority Critical patent/KR20180065331A/ko
Publication of KR20180065331A publication Critical patent/KR20180065331A/ko

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/03Control of position or course in two dimensions using near-field transmission systems, e.g. inductive-loop type
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G05D1/0816Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • B64C2201/145
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 영상 인식을 이용한 드론 제어 방법에 관한 것으로, 드론에서 송출한 영상을 수신하는 단계; 소정의 영역을 탐색하기 위한 제1 구동 신호를 생성하여 상기 드론으로 전송하는 단계; 상기 수신된 영상을 분석하여 미리 결정된 객체를 탐색하는 단계; 및 상기 탐색된 객체 중 특정 객체 선택 시, 상기 수신된 영상을 기반으로 상기 선택된 객체를 추적하기 위한 제2 구동 신호를 생성하고, 상기 제2 구동 신호를 상기 드론으로 전송하는 단계를 포함한다.

Description

영상 인식을 이용한 드론 제어 방법 및 그 장치{METHOD FOR CONTROLLING DRONE USING IMAGE RECOGNITION AND APPARATUS THEREOF}
본 발명은 영상 인식을 이용한 드론 제어 방법 및 그 장치에 관한 것입니다. 보다 구체적으로, 드론의 촬영 영상을 분석하여 소정의 객체를 탐색하거나 혹은 특정 객체를 추적하기 위한 구동 신호를 해당 드론으로 제공하는 드론 제어 방법 및 그 장치에 관한 것이다.
드론(Drone)은 벌이 윙윙거리는 소리 또는 낮게 윙윙거리는 소리라는 사전적인 의미를 가진 단어로 기체에 사람이 타지 않고 지상에서 원격 조종을 한다는 점에서 무인항공기(UAV: Unmanned Aerial Vehicle)라고 표현하기도 한다. 즉, 드론은 항공기에 조종사가 탑승하지 않고 자동 또는 원격으로 비행이 가능하며, 1회용 또는 회수할 수 있는 무인 항공기이다.
드론은 제2차 세계대전 직후 수명을 다한 낡은 유인 항공기를 공중 표적용 무인기로 재활용한 것에서 시작되었으며, 기술이 발달함에 따라 기체에 원격탐지장치, 위성제어장치 등의 최첨단 장비를 장착하여 활용하기도 한다. 그리고 드론은 적외선 카메라, GPS, 열 또는 움직임 감지 센서 등을 통하여 지형, 지물, 사람 등의 동향을 실시간으로 파악할 수도 있다.
초기의 드론은 대부분 군사용으로 활용되어 왔으나, 지속적인 기술 발전에 따라 현재에는 기상 관측, 환경 및 산불 감시, 국경/해안/도로 감시, 재난 지원 통신 중계 및 원격 탐사 등의 민간분야에서도 활용되고 있다.
한편, 최근에는, 취약자 보호, 감시 또는 방범 등의 용도로 드론이 사용되고 있다. 이러한 경우, 소정의 피사체를 탐색하는 방법은, 드론 위에 영상 인식을 위한 연산 장치를 올려 해당 피사체를 탐색하는 것이 일반적인데, 이는 드론 기체의 무게 증가와 함께 연산 시 필요한 전력으로 인해 배터리 소모를 증가시키고, 사용자가 원하는 비행 제어를 수행할 수 없다는 문제점을 야기한다. 따라서, 이러한 문제점을 해결하기 위한 방안이 필요하다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은 드론에서 송출된 영상을 실시간 분석하여 소정의 객체를 탐색하거나 혹은 특정 객체를 추적하기 위한 구동 신호를 해당 드론으로 제공하는 이동 단말기 및 그 동작 방법을 제공함에 있다.
또 다른 목적은 드론에서 송출된 영상을 실시간 분석하여 소정의 객체를 탐색하거나 혹은 특정 객체를 추적하기 위한 구동 신호를 해당 드론으로 제공하는 서버 및 그 동작 방법을 제공함에 있다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 드론에서 송출한 영상을 수신하는 단계; 소정의 영역을 탐색하기 위한 제1 구동 신호를 생성하여 상기 드론으로 전송하는 단계; 상기 수신된 영상을 분석하여 미리 결정된 객체를 탐색하는 단계; 및 상기 탐색된 객체 중 특정 객체 선택 시, 상기 수신된 영상을 기반으로 상기 선택된 객체를 추적하기 위한 제2 구동 신호를 생성하고, 상기 제2 구동 신호를 상기 드론으로 전송하는 단계를 포함하는 드론 제어 방법을 제공한다.
좀 더 바람직하게는, 상기 드론 제어 방법은, 지도화면을 디스플레이에 표시하고, 상기 지도화면에 대한 사용자 입력을 기반으로 상기 소정의 영역을 설정하는 단계를 더 포함하는 것을 특징으로 한다.
좀 더 바람직하게는, 상기 드론 제어 방법에서, 상기 제1 구동 신호는 상기 미리 결정된 객체가 탐색될 때까지 주기적으로 전송되고, 상기 제2 구동 신호는 상기 선택된 객체가 추적될 때까지 주기적으로 전송되는 것을 특징으로 한다.
좀 더 바람직하게는, 상기 드론 제어 방법에서, 상기 제1 및 제2 구동 신호는, 근거리 무선 통신 또는 이동 통신을 통해 전송되는 것을 특징으로 한다.
좀 더 바람직하게는, 상기 드론 제어 방법은, 미리 결정된 객체 탐색 시, 알림 신호를 출력하는 단계를 더 포함하는 것을 특징으로 한다.
좀 더 바람직하게는, 상기 드론 제어 방법은, 드론으로부터 수신된 영상을 디스플레이에 표시하는 단계를 더 포함하는 것을 특징으로 한다.
좀 더 바람직하게는, 상기 드론 제어 방법은, 특정 객체 선택 시, 미리 결정된 인디케이터를 상기 선택된 객체의 위치에 대응하는 디스플레이 영역에 표시하는 것을 특징으로 한다.
좀 더 바람직하게는, 상기 드론 제어 방법은, 드론으로부터 수신된 GPS 정보를 기반으로 안전 고도 값을 설정하는 단계를 더 포함하는 것을 특징으로 한다.
좀 더 바람직하게는, 상기 드론 제어 방법은, 장애물 감지 신호 수신 시, 상기 안전 고도 값으로 이동시키기 위한 제3 구동 신호를 생성하여 상기 드론으로 전송하는 단계를 더 포함하는 것을 특징으로 한다.
좀 더 바람직하게는, 상기 드론 제어 방법은, 상기 특정 객체에 관한 사진 정보 수신 시, 영상 인식을 통해 해당 객체의 특징들을 추출하고, 상기 추출된 특징들을 메모리에 기 저장된 정보와 비교하여 해당 객체에 관한 정보를 획득하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 다른 측면에 따르면, 드론에서 송출한 영상을 수신하는 무선 통신부; 상기 무선 통신부를 통해 수신된 영상을 표시하는 디스플레이부; 및 소정의 영역을 탐색하기 위한 제1 구동 신호를 생성하고, 상기 수신된 영상을 분석하여 미리 결정된 객체를 탐색하며, 상기 탐색된 객체 중 특정 객체 선택 시, 상기 수신된 영상을 기반으로 상기 선택된 객체를 추적하기 위한 제2 구동 신호를 생성하고, 상기 무선 통신부를 통해 상기 제1 또는 제2 구동 신호를 상기 드론으로 전송하는 제어부를 포함하는 이동 단말기를 제공한다.
좀 더 바람직하게는, 상기 이동 단말기의 무선 통신부는 근거리 통신을 이용하여 제1 또는 제2 구동 신호를 드론으로 전송하는 것을 특징으로 한다.
본 발명의 또 다른 측면에 따르면, 드론에서 송출한 영상을 수신하고, 상기 수신된 영상을 외부 디스플레이 장치로 전송하는 통신부; 및 소정의 영역을 탐색하기 위한 제1 구동 신호를 생성하고, 상기 수신된 영상을 분석하여 미리 결정된 객체를 탐색하며, 상기 탐색된 객체 중 특정 객체 선택 시, 상기 수신된 영상을 기반으로 상기 선택된 객체를 추적하기 위한 제2 구동 신호를 생성하고, 상기 통신부를 통해 상기 제1 또는 제2 구동 신호를 상기 드론으로 전송하는 제어부를 포함하는 서버를 제공한다.
좀 더 바람직하게는, 상기 서버의 통신부는 제1 또는 제2 구동 신호를 기지국을 통해 드론으로 전송하는 것을 특징으로 한다.
본 발명의 실시 예들에 따른 드론 제어 방법 및 그 장치의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 이동 단말기 또는 서버에서 드론의 촬영 영상을 분석하여 소정의 객체를 탐색 및 추적하기 위한 구동 신호를 해당 드론에 제공함으로써, 드론에 의한 연산을 최소화하여 드론의 비행 시간을 증가시킬 수 있을 뿐만 아니라, 사용자가 지정한 타겟을 추적할 수 있다는 장점이 있다.
다만, 본 발명의 실시 예들에 따른 드론 제어 방법 및 그 장치가 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명과 관련된 이동 단말기의 구성을 설명하기 위한 블록도;
도 2는 본 발명과 관련된 서버의 구성을 설명하기 위한 블록도;
도 3은 본 발명과 관련된 드론의 구성을 설명하기 위한 블록도;
도 4는 본 발명의 일 실시 예에 따른 드론 제어 방법을 개략적으로 설명하기 위해 참조되는 도면;
도 5a 및 도 5b는 본 발명의 다른 실시 예에 따른 드론 제어 방법을 개략적으로 설명하기 위해 참조되는 도면;
도 6은 본 발명의 일 실시 예에 따른 이동 단말기의 동작을 설명하기 위해 참조되는 순서도;
도 7은 드론의 탐색 범위를 설정하는 방법을 설명하기 위해 참조되는 도면;
도 8은 탐색 영역 설정 시, 드론의 영상 촬영 방법을 설명하기 위해 참조되는 도면;
도 9는 드론이 특정 피사체를 추적하도록 제어하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면;
도 10은 드론 이동 시, 장애물을 회피하기 위한 이동 단말기의 동작을 설명하기 위해 참조되는 순서도;
도 11은 장애물을 회피하면서 특정 피사체를 추적하는 드론의 동작을 설명하기 위해 참조되는 도면;
도 12는 본 발명의 일 실시 예에 따른 서버의 동작을 설명하기 위해 참조되는 순서도.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 즉, 본 발명에서 사용되는 '부'라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명은 드론에서 송출된 영상을 실시간 분석하여 소정의 피사체를 탐색하거나 혹은 특정 피사체를 추적하기 위한 구동 신호를 해당 드론으로 제공할 수 있는 드론 제어 방법 및 그 장치를 제안한다.
이하에서는, 본 발명의 다양한 실시 예들에 대하여, 도면을 참조하여 상세히 설명한다.
도 1은 본 발명과 관련된 이동 단말기의 구성을 설명하기 위한 블록도이다.
도 1을 참조하면, 이동 단말기(100)는 무선 통신부(110), 디스플레이부(120), 입력부(130), 메모리(140) 및 제어부(150) 등을 포함할 수 있다. 도 1에 도시된 구성요소들은 이동 단말기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서상에서 설명되는 이동 단말기는 위에서 열거된 구성요소들보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
무선 통신부(110)는, 이동통신 모듈(111), 근거리 통신 모듈(113), 및 무선 인터넷 모듈(115) 등을 포함할 수 있다.
이동통신 모듈(111)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.
근거리 통신 모듈(113)은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
무선 인터넷 모듈(115)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 이동 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈(115)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다. 무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 상기 무선 인터넷 모듈(115)은 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.
디스플레이부(120)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(120)는 이동 단말기(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
디스플레이부(120)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 이동 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 이동 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
입력부(130)는, 영상 신호 입력을 위한 카메라 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(130)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
메모리(140)는 이동 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(140)는 이동 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다.
메모리(140)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
제어부(150)는 메모리에 저장된 응용 프로그램과 관련된 동작과, 통상적으로 이동 단말기(100)의 전반적인 동작을 제어한다. 나아가 제어부(150)는 이하에서 설명되는 다양한 실시 예들을 본 발명에 따른 이동 단말기(100) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 적어도 하나를 조합하여 제어할 수 있다.
또한, 제어부(150)는 영상 인식부(151) 및 구동신호 생성부(153)를 구비할 수 있다. 상기 영상 인식부(151) 및 구동신호 생성부(153)는 제어부(150) 내에 하드웨어로 구성될 수 있고, 제어부(150)와 별도로 소프트웨어로 구성될 수도 있다.
영상 인식부(151)는 미리 결정된 영상인식 알고리즘을 통해 영상을 분석하여 물체의 외곽선을 찾아낸다. 영상 인식부(151)는 기하학적 특징들을 찾아 관계를 파악하여 메모리 또는 시스템의 DB와 비교, 물체를 판단한다. 영상 인식의 종류에는 그 대상에 따라 얼굴인식, 문자인식, 동작인식 등이 있으며 이를 제한하지는 않는다.
구동신호 생성부(153)는 영상 인식부(151)에 의한 영상분석 결과를 기반으로 드론이 소정의 피사체(또는 객체)를 탐색하거나 특정 피사체를 추적하기 위한 구동신호를 생성할 수 있다.
도 2는 본 발명과 관련된 서버의 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 서버(200)는 통신부(210), 구동신호 생성부(220), 영상 인식부(230), 메모리(240) 및 제어부(250) 등을 포함할 수 있다. 도 2에 도시된 구성요소들은 서버를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서상에서 설명되는 서버는 위에서 열거된 구성요소들보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
통신부(210)는 유선 통신을 지원하기 위한 통신 모듈과, 무선 통신을 지원하기 위한 이동통신 모듈을 포함할 수 있다. 이동통신 모듈은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.
영상 인식부(220)는 미리 결정된 영상인식 알고리즘을 통해 영상을 분석하여 물체의 외곽선을 찾아낸다. 영상 인식부(220)는 기하학적 특징들을 찾아 관계를 파악하여 메모리 또는 시스템의 DB와 비교, 물체를 판단한다. 영상 인식의 종류에는 그 대상에 따라 얼굴인식, 문자인식, 동작인식 등이 있으며 이를 제한하지는 않는다.
구동신호 생성부(230)는 영상 인식부(220)에 의한 영상분석 결과를 기반으로 드론이 소정의 피사체를 탐색하거나 특정 피사체를 추적하기 위한 구동신호를 생성할 수 있다.
메모리(240)는 서버(200)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(240)는 서버(200)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 서버(200)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다.
제어부(250)는 메모리에 저장된 응용 프로그램과 관련된 동작과, 통상적으로 서버(200)의 전반적인 동작을 제어한다. 나아가 제어부(250)는 이하에서 설명되는 다양한 실시 예들을 본 발명에 따른 서버(200) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 적어도 하나를 조합하여 제어할 수 있다.
한편, 이상 본 실시 예에서는 영상 인식부(220) 및 구동신호 생성부(230)가 제어부(250)와 별개로 구성되는 것을 예시하고 있으나 이를 제한하지는 않으며, 상기 제어부(250) 내에 하드웨어 또는 소프트웨어로 구성될 수 있음은 당업자에게 자명할 것이다.
도 3은 본 발명과 관련된 드론의 구성을 설명하기 위한 블록도이다.
도 3을 참조하면, 드론(300)은 무선 통신부(310), 촬영부(320), 센싱부(330), 구동부(340) 및 제어부(350) 등을 포함할 수 있다. 도 3에 도시된 구성요소들은 드론을 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서상에서 설명되는 드론은 위에서 열거된 구성요소들보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
무선 통신부(310)는, 이동통신 모듈(311), 근거리 통신 모듈(313), 및 GPS 모듈(315) 등을 포함할 수 있다.
이동통신 모듈(311)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.
근거리 통신 모듈(313)은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
GPS 모듈(315)은 GPS(Global Positioning System) 위성에서 보내는 신호를 이용하여 드론(300)의 현재 위치를 획득할 수 있다. 이때, 드론(300)의 위치 정보는 위도 및 경도 값으로 표현될 수 있다.
촬영부(320)는 하나 또는 복수의 카메라를 구비할 수 있다. 카메라는 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 메모리(미도시)에 저장되거나 무선 통신부(310)를 통해 외부로 전송될 수 있다. 한편, 드론(300)에 구비되는 복수의 카메라는 공중에서 360도 전 방향을 촬영할 수 있도록 배열될 수 있으며, 이와 같은 배열 구조를 이루는 카메라를 통하여, 드론(300)에는 다양한 각도 또는 초점을 갖는 복수의 영상정보가 입력될 수 있다. 또한, 촬영부(320)는 상기 카메라로 열화상 카메라를 사용하여 야간에도 영상을 촬영할 수 있다.
센싱부(330)는 드론 내 정보 및 드론을 둘러싼 주변 환경 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(230)는 거리 센서, 고도 센서, 가속도 센서(acceleration sensor), 자이로스코프 센서(gyroscope sensor) 중 적어도 하나를 포함할 수 있다.
구동부(340)는 드론 본체의 내부에 설치되는 복수의 모터와, 상기 복수의 모터에 각각 연결되어 수직 방향의 축을 기준으로 회전되는 복수의 프로펠러를 포함할 수 있다. 이와 같은 구동부(340)는, 제어부(150)의 제어 명령에 따라, 드론을 피치 축(Pitch axis), 요 축(Yaw axis), 롤 축(Roll axis) 중 적어도 하나의 방향으로 구동시킬 수 있다.
제어부(350)는 메모리에 저장된 응용 프로그램과 관련된 동작과, 통상적으로 드론(300)의 전반적인 동작을 제어한다. 나아가 제어부(350)는 이하에서 설명되는 다양한 실시 예들을 본 발명에 따른 드론(300) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 적어도 하나를 조합하여 제어할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 드론 제어 방법을 개략적으로 설명하기 위해 참조되는 도면이다. 즉, 도 4는 이동 단말기(100)를 통해 드론을 제어하는 방법을 설명하는 도면이다.
도 4를 참조하면, 이동 단말기(100)는 드론(300)과 근거리 무선 통신을 연결할 수 있다. 이때, 상기 근거리 무선 통신으로는 블루투스, 와이파이 다이렉트 등이 사용될 수 있으며 이를 제한하지는 않는다.
드론(300)은 카메라를 통해 영상을 촬영하여 이동 단말기(100)로 전송할 수 있다. 이동 단말기(100)는 드론(300)으로부터 수신한 영상을 디스플레이부에 표시할 수 있다.
이동 단말기(100)는 드론(300)의 촬영 영상을 실시간으로 분석하여 소정의 피사체를 탐색하거나 특정 피사체를 추적하기 위한 구동 신호를 생성할 수 있다. 이때, 상기 소정의 피사체는 하나 이상의 사람이거나 사물일 수 있으며 이를 제한하지는 않는다.
이동 단말기(100)는 피사체를 탐색 또는 추적하기 위한 구동신호를 드론(300)으로 전송할 수 있다. 드론(300)은 이동 단말기(100)로부터 전송된 구동 신호에 따라 비행을 수행할 수 있다.
도 5a는 본 발명의 다른 실시 예에 따른 드론 제어 방법을 개략적으로 설명하기 위해 참조되는 도면이다. 즉, 도 5a는 서버(200)를 통해 드론을 제어하는 방법을 설명하는 도면이다.
도 5a를 참조하면, 서버(200)는 드론(300)과 이동 통신망을 이용하여 통신을 수행할 수 있다. 이때, 상기 이동 통신망으로는 3G 망 또는 4G 망이 사용될 수 있으며 이를 제한하지는 않는다.
드론(300)은 카메라를 통해 영상을 촬영하여 기지국(510)으로 전송할 수 있다. 기지국(510)은 해당 영상을 이동 통신망(미도시)을 통해 서버(200)로 전송할 수 있다.
서버(200)는 드론(300)으로부터 수신한 영상을 디스플레이 장치(520)에 표시할 수 있다. 이때, 디스플레이 장치(520)는 터치 입력이 가능한 표시 장치로서, TV, 모니터, 태블릿, 이동 단말기 등이 될 수 있으며 이를 제한하지는 않는다. 또한, 상기 디스플레이 장치(520)는 서버(200)와 유선 또는 무선으로 연결될 수 있다.
디스플레이 장치(520)는 사용자 입력을 기반으로 탐색 개시 신호, 추적 개시 신호, 피사체 선택 신호 등을 서버(200)로 전송할 수 있다. 서버(200)는 드론(300)의 촬영 영상을 실시간으로 분석하여 소정의 피사체를 탐색하거나 혹은 특정 피사체를 추적하기 위한 구동 신호를 생성할 수 있다. 이때, 상기 소정의 피사체는 하나 이상의 사람이거나 사물일 수 있으며 이를 제한하지는 않는다.
서버(200)는 피사체를 탐색 또는 추적하기 위한 구동신호를 기지국(510)으로 전송할 수 있다. 기지국(510)은 해당 구동신호를 드론(300)으로 전송할 수 있다. 드론(300)은 서버(200)로부터 전송된 구동 신호에 따라 자세 제어를 수행할 수 있다.
도 5b는 본 발명의 또 다른 실시 예에 따른 드론 제어 방법을 개략적으로 설명하기 위해 참조되는 도면이다. 즉, 도 5b는 이동 단말기와 드론 간의 거리에 따라 이동 단말기(100) 또는 서버(200)를 통해 드론을 제어하는 방법을 설명하는 도면이다.
도 5b를 참조하면, 이동 단말기(100)와 드론(300) 사이의 거리가 근거리 무선 통신을 지원할 수 있는 통신 범위 이내인 경우, 이동 단말기(100)는 근거리 무선 통신을 이용하여 드론(300)을 직접적으로 제어할 수 있고, 이동 단말기(100)와 드론(300) 사이의 거리가 근거리 무선 통신을 지원할 수 있는 통신 범위를 벗어난 경우, 이동 단말기(100)는 서버(200)와 연동하여 드론(300)을 제어할 수 있다.
전자의 경우, 드론(300)은 근거리 무선 통신을 통해 영상을 이동 단말기(100)로 전송할 수 있다. 이동 단말기(100)는 드론(300)의 촬영 영상을 실시간으로 분석하여 소정의 피사체를 탐색하거나 특정 피사체를 추적하기 위한 구동 신호를 생성하고, 상기 생성된 구동 신호를 드론(300)으로 전송할 수 있다. 드론(300)은 이동 단말기(100)로부터 전송된 구동 신호에 따라 비행을 수행할 수 있다.
한편, 후자의 경우, 드론(300)은 영상을 제1 기지국(510)을 통해 서버(200)로 전송할 수 있다. 서버(200)는 해당 영상을 제2 기지국(520)을 통해 이동 단말기(100)로 전송할 수 있다. 이동 단말기(100)는 사용자 입력을 기반으로 탐색 개시 신호, 추적 개시 신호, 피사체 선택 신호 등을 제2 기지국(520)을 통해 서버(200)로 전송할 수 있다. 서버(200)는 드론(300)의 촬영 영상을 실시간으로 분석하여 소정의 피사체를 탐색하거나 혹은 특정 피사체를 추적하기 위한 구동 신호를 생성하고, 상기 생성된 구동 신호를 제1 기지국(510)을 통해 드론(300)으로 전송할 수 있다. 드론(300)은 서버(200)로부터 전송된 구동 신호에 따라 비행을 수행할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 이동 단말기의 동작을 설명하기 위해 참조되는 순서도이다.
도 6을 참조하면, 제어부(150)는 사용자 명령 등에 따라 드론 제어 애플리케이션을 실행할 수 있다(S605).
제어부(150)는, 드론 제어 애플리케이션 실행 시, 드론(300)과 근거리 무선 통신을 연결할 수 있다. 이때, 상기 근거리 무선 통신으로는 블루투스 또는 와이파이 다이렉트 등이 사용될 수 있다.
제어부(150)는, 드론 제어 애플리케이션 실행 시, 해당 애플리케이션의 동작화면을 디스플레이부(120)에 표시할 수 있다. 이러한 동작화면에서 소정의 탐색 메뉴가 선택된 경우, 제어부(150)는, 드론(300) 또는 이동 단말기(100)의 위치 정보를 포함하는 지도화면을 디스플레이부(120)에 표시할 수 있다.
제어부(150)는 디스플레이부(120)에 표시된 지도화면에 대한 사용자 입력에 대응하여 드론(300)의 탐색 범위를 설정할 수 있다(S610). 이때, 상기 사용자 입력은 소정의 탐색 범위를 설정하기 위한 제스쳐 입력으로서, 핀치 인 입력(pinch in input), 핀치 아웃 입력(pinch out input), 터치 앤 드래그 입력(touch and drag input) 중 적어도 하나가 될 수 있으며 이를 제한하지는 않는다.
가령, 도 7에 도시된 바와 같이, 이동 단말기(100)의 사용자가 지도화면(710)의 일 영역을 터치 앤 드래그하는 경우, 제어부(150)는 상기 터치 앤 드래그 입력(720)을 통해 지정된 영역(730)을 드론(300)의 탐색 영역으로 설정할 수 있다. 또한, 이동 단말기(100)의 사용자는, 탐색 영역 설정 시, 핀치 인/아웃 입력을 통해 지도화면(710)을 확대하거나 축소할 수 있다.
제어부(150)는, 탐색 명령 개시 시, 사용자에 의해 설정된 탐색 영역(또는 탐색 지역)에 관한 정보를 드론(300)에게 전송할 수 있다. 또한, 제어부(150)는 탐색 영역을 스캔(scan)하기 위한 제1 구동 신호를 드론(300)으로 전송할 수 있다(S615). 이때, 상기 제1 구동 신호는 소정의 피사체에 대한 탐색이 완료될 때까지 주기적으로 전송될 수 있다. 또한, 상기 소정의 피사체는 하나 이상의 사람이거나 사물일 수 있으며 이를 제한하지는 않는다.
드론(300)은 이동 단말기(100)의 구동 명령에 따라 탐색 영역으로 이동할 수 있다. 이때, 드론(300)은 탐색 영역으로 이동하면서 영상을 촬영하여 이동 단말기(100)로 전송할 수 있다.
탐색 영역 도달 시, 드론(300)은 이동 단말기(100)의 구동 명령에 따라 특정 위치에서 호버링(드론이 한 곳에 머물러 있는 상태, hovering)하면서, 상기 탐색 영역에 관한 영상을 촬영하여 이동 단말기(100)로 전송할 수 있다. 이때, 드론(300)은 GPS 신호를 이용하여 시계 방향 또는 반 시계 방향으로 호버링하면서 영상을 촬영할 수 있다.
일 예로, 도 8에 도시된 바와 같이, 드론(300)은, 호버링 시, 이동 단말기(100)의 구동 명령에 따라, 카메라의 촬영 방향이 회전 반경의 중심을 향하도록 스캔(또는 탐색)할 수 있다. 만약, 탐색 지역 중 어느 한 영역에서 스캔을 하여 소정의 피사체를 탐색하지 못했을 경우, 드론(300)은 이동 단말기(100)의 구동 명령에 따라 상기 탐색 지역 중 다른 영역으로 일정 거리만큼 이동하여 다시 회전하면서 스캔할 수 있다. 이러한 스캔 과정은 드론(300)이 소정의 피사체에 대한 탐색이 완료될 때까지 계속될 수 있다.
제어부(150)는 드론(300)으로부터 송출된 영상을 수신하여 메모리(140)에 저장하고, 해당 영상을 디스플레이부(120)에 표시할 수 있다(S620). 한편, 본 실시 예에서는, 제1 구동 신호 전송 이후에 드론 영상을 수신하는 것을 예시하고 있으나 이를 제한하지는 않으며, 드론 제어 애플리케이션 실행 시 또는 탐색 명령 개시 시 드론 영상을 수신할 수 있음은 당업자에게 자명할 것이다. 이에 따라, 이동 단말기(100)의 사용자는 드론(300)의 촬영 영상을 실시간으로 확인할 수 있다.
제어부(150)는 미리 결정된 영상인식 알고리즘을 이용하여 드론(300)의 촬영 영상을 분석할 수 있다(S625). 영상 인식 결과, 소정의 피사체가 탐색된 경우, 제어부(150)는 사용자의 주의를 환기시키기 위한 알림 신호를 출력할 수 있다(S630). 이때, 상기 알림 신호로는 햅틱 신호, 경고음 신호, 알림 메시지 신호 등이 사용될 수 있으며 이를 제한하지는 않는다.
디스플레이부(120)에 표시된 피사체들 중 어느 하나가 선택된 경우(S635), 제어부(150)는 미리 결정된 인디케이터를 상기 선택된 피사체에 표시할 수 있다(S640). 이하, 설명의 편의상, 상기 인디케이터를 트랙킹 마크(tracking mark)라 칭하도록 한다.
제어부(150)는 드론(300)으로부터 수신된 영상을 실시간으로 분석하여 특정 피사체를 추적하기 위한 제2 구동 신호를 생성하고, 상기 생성된 제2 구동 신호를 드론(200)으로 전송할 수 있다(S645). 이때, 상기 제2 구동 신호는 특정 피사체에 대한 추적이 완료될 때까지 주기적으로 전송될 수 있다.
일 예로, 특정 피사체가 사람인 경우, 제어부(150)는 드론(300)이 특정 피사체의 얼굴을 촬영하여 디스플레이부(120)의 가운데 영역에 표시되도록 하는 구동 신호를 생성하여 전송할 수 있다.
가령, 도 9에 도시된 바와 같이, 디스플레이부(120)에 표시되고 있는 영상에서 특정 피사체(910)가 선택되는 경우, 이동 단말기(100)는 상기 선택된 피사체(910)를 타겟 피사체로 설정하고, 트랙킹 마크(920)를 상기 선택된 피사체 영역 또는 그 인접 영역에 표시할 수 있다.
드론(300)은, 이동 단말기(100)의 구동 명령에 따라, 상기 선택된 피사체(910)로 접근하여 해당 피사체(910)의 얼굴을 촬영하기 위한 자세 제어를 실시한다. 이때, 드론(300)은 고도 제어(throttle), 전후 이동(pitch), 좌우 이동(roll), 수평 회전(yaw)의 제어가 가능하다.
이동 단말기(100)는 트랙킹 마크(920)를 화면의 가운데 영역에 위치시키고, 특정 피사체(910)의 얼굴이 해당 트랙킹 마크(920)에 표시되도록 드론을 제어하는 구동 신호를 생성할 수 있다. 즉, 도면에 도시된 바와 같이, 이동 단말기(100)는 드론(300)이 (a) -> (b) -> (c) -> (d) 방향으로 이동하도록 하기 위한 구동 신호를 생성할 수 있다.
이때, 이동 단말기(100)는 영상 인식을 통해 특정 피사체(910)의 앞모습 또는 뒷모습을 파악할 수 있으며, 해당 피사체(910)의 모습이 뒷모습일 경우 드론(300)을 소정의 방향으로 이동시켜 특정 피사체(910)의 앞모습을 촬영하도록 제어하는 구동 신호를 전송할 수 있다.
이후, 미리 설정된 크기의 얼굴 형상이 포착되면, 이동 단말기(100)는 드론(300)이 제자리에서 호버링하도록 제어하며, 해당 피사체(910)가 다른 장소로 이동하면 같은 방법으로 드론(300)의 위치를 변경시킬 수 있다. 드론(300)은 호버링 시, 특정 피사체(910)에 관한 사진을 촬영하여 이동 단말기(100)로 전송할 수 있다.
드론(300)으로부터 특정 피사체를 식별하기 위한 사진 정보가 수신된 경우, 제어부(150)는 얼굴 인식 또는 형상 인식 등을 이용하여 해당 피사체의 특징들을 추출할 수 있다. 제어부(150)는 상기 추출된 특징들을 메모리(140)에 기 저장된 정보(가령, 얼굴 데이터)와 비교하여 해당 피사체에 관한 정보를 획득할 수 있다. 그리고, 제어부(150)는 사용자의 주의를 환기시키기 위한 알림 신호를 출력하고, 상기 획득된 정보를 디스플레이부(120)에 표시할 수 있다.
제어부(150)는 드론 제어 애플리케이션이 종료될 때까지 상술한 610 단계 내지 645 단계를 반복적으로 수행할 수 있다(S650).
이상 상술한 바와 같이, 본 발명에 따른 드론 제어 방법은, 이동 단말기에서 드론의 촬영 영상을 분석하여 소정의 피사체를 탐색 및 추적하기 위한 구동 신호를 드론에 제공함으로써, 드론에 의한 연산을 최소화하여 드론의 비행 시간을 증가시킬 수 있다.
도 10은 드론 이동 시, 장애물을 회피하기 위한 이동 단말기의 동작을 설명하기 위해 참조되는 순서도이다.
도 10을 참조하면, 제어부(150)는 드론(300)으로부터 영상 신호와 함께 GPS 정보를 수신할 수 있다(S1010). 이때, 제어부(150)는 상기 GPS 정보와 함께 고도 정보를 수신할 수도 있다.
제어부(150)는 지도 정보 및 GPS 정보를 기반으로 주변 지역의 지형 및 고도 정보를 계산하여 안전 고도 값을 설정할 수 있다(S1020). 이때, 상기 안전 고도 값은, 드론(300)이 소정의 피사체를 탐색하기 위해 호버링하는 고도 값을 의미한다.
드론(300)은 이동 단말기(100)의 구동 명령에 따라 안전 고도 값을 유지하며 호버링하게 되고, 그 위치에서 카메라를 통해 영상을 촬영하여 이동 단말기(100)로 전송하게 된다. 소정의 피사체 탐색 시, 탐색된 피사체들 중 특정 피사체를 선택하는 명령이 사용자로부터 수신되면(S1030), 제어부(150)는 드론으로부터 수신된 영상을 분석하여 상기 선택된 피사체를 추적하기 위한 구동 신호를 생성하고, 상기 생성된 구동 신호를 드론(300)으로 전송할 수 있다(S1040).
드론(300)은, 이동 단말기(100)의 구동 명령에 따라, 상기 선택된 피사체의 정면을 촬영하기 위한 자세 제어를 실시한다. 그런데, 드론(300)이 군집된 피사체들 속에서 특정 피사체를 추적하기 위해 이동할 때 다른 피사체와 충돌할 우려가 있다. 이러한 충돌을 방지하기 위해, 드론(300)은 거리 센서를 통해 장애물을 감지하여, 장애물 감지 정보를 이동 단말기(100)로 전송할 수 있다.
드론(300)으로부터 장애물 감지 정보를 수신한 경우(S1050), 제어부(150)는 안전 고도 값으로 이동시키기 위한 구동 신호를 드론(300)으로 전송할 수 있다(S1060). 드론(300)은 이동 단말기(100)의 구동 명령에 따라 안전 고도 값으로 상승한 후 현재 진행 중인 방향으로 계속 이동할 수 있다. 드론(300)이 일정 거리만큼 이동한 경우, 제어부(150)는 상기 선택된 피사체 방향으로 이동시키기 위한 구동 신호를 드론(300)으로 전송할 수 있다.
가령, 도 11에 도시된 바와 같이, 드론(300)은 랜딩 기어의 사면에 배치된 거리 센서를 통해 자신의 주변에 위치하는 장애물들을 전 방향(즉, 360도 방향)에서 감지할 수 있다. 드론(300)이 위험 고도로 내려와 이동 중인 상태에서 장애물을 감지한 경우, 드론(300)은 장애물 감지 정보를 이동 단말기(100)로 전송할 수 있다. 드론(300)은 이동 단말기(100)의 구동 명령에 따라 안전 고도로 상승한 후 현재 진행 중인 방향으로 이동할 수 있다. 이후, 드론(300)은 이동 단말기(100)의 구동 명령에 따라 안전 고도에서 일정 거리만큼 이동한 다음, 다시 위험 고도로 내려와 특정 피사체(1110) 방향으로 계속 이동하게 된다.
제어부(150)는 특정 피사체에 대한 추적이 완료될 때까지 상술한 1040 단계 내지 1060 단계의 동작을 반복적으로 수행할 수 있다(S1070).
한편, 이상 본 실시 예에서는 이동 단말기(100)를 통해 장애물 회피 제어를 수행하는 것을 예시하고 있으나 이를 제한하지는 않으며, 서버(200)를 통해서도 동일한 장애물 회피 제어를 수행할 수 있음은 당업자에게 자명할 것이다.
도 12는 본 발명의 일 실시 예에 따른 서버의 동작을 설명하기 위해 참조되는 순서도이다.
도 12를 참조하면, 제어부(250)는 사용자 명령 등에 따라 드론 제어 프로그램을 실행할 수 있다(S1205).
제어부(250)는, 드론 제어 프로그램 실행 시, 해당 프로그램의 동작화면을 외부의 디스플레이 장치(520)로 전송할 수 있다. 디스플레이 장치(520)는 서버(200)로부터 전송 받은 화면을 표시하고, 사용자로부터 탐색 개시 명령 및/또는 탐색 범위 설정 명령 등을 입력 받을 수 있다.
디스플레이 장치(520)로부터 탐색 개시 명령이 수신된 경우(S1210), 제어부(250)는 사용자에 의해 설정된 탐색 영역(또는 탐색 지역)에 관한 정보를 드론(300)에게 전송할 수 있다. 또한, 제어부(250)는 탐색 영역을 스캔하기 위한 제1 구동 신호를 기지국을 통해 드론(300)으로 전송할 수 있다(S1215).
드론(300)은 서버(200)의 구동 명령에 따라 탐색 영역으로 이동할 수 있다. 탐색 영역 도달 시, 드론(300)은 서버(200)의 구동 명령에 따라 특정 위치에서 호버링하면서, 상기 탐색 영역에 관한 영상을 촬영하여 이동 단말기(100)로 전송할 수 있다.
제어부(250)는 드론(300)으로부터 송출된 영상을 수신하여 메모리(240)에 저장하고, 해당 영상을 디스플레이 장치(520)로 전송할 수 있다(S1220). 또한, 제어부(250)는 미리 결정된 영상인식 알고리즘을 이용하여 드론(300)의 촬영 영상을 분석할 수 있다(S1225). 영상 인식 결과, 소정의 피사체가 탐색된 경우, 제어부(250)는 사용자의 주의를 환기시키기 위한 알림 신호를 디스플레이 장치(520)로 출력할 수 있다(S1230).
특정 피사체 추적 명령이 디스플레이 장치(520)로부터 수신된 경우(S1235), 제어부(250)는 트랙킹 마크가 상기 특정 피사체에 표시되도록 디스플레이 장치(520)를 제어할 수 있다(S1240).
이와 동시에, 제어부(250)는 드론(300)으로부터 수신된 영상을 실시간으로 분석하여 특정 피사체를 추적하기 위한 제2 구동 신호를 생성하고, 상기 생성된 제2 구동 신호를 기지국을 통해 드론(200)으로 전송할 수 있다(S1245). 드론(300)은 서버(300)의 구동 명령에 따라 특정 피사체를 추적하기 위한 자세 제어를 수행할 수 있다.
제어부(250)는 드론 제어 프로그램이 종료될 때까지 상술한 1210 단계 내지 1245 단계를 반복적으로 수행할 수 있다(S1250).
이상 상술한 바와 같이, 본 발명에 따른 드론 제어 방법은, 서버에서 드론의 촬영 영상을 분석하여 소정의 피사체를 탐색 및 추적하기 위한 구동 신호를 드론에 제공함으로써, 드론에 의한 연산을 최소화하여 드론의 비행 시간을 증가시킬 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100: 이동 단말기 110: 무선 통신부
120: 디스플레이부 130: 입력부
140: 메모리 150: 제어부
200: 서버 300: 드론

Claims (14)

  1. 드론에서 송출한 영상을 수신하는 단계;
    소정의 영역을 탐색하기 위한 제1 구동 신호를 생성하여 상기 드론으로 전송하는 단계;
    상기 수신된 영상을 분석하여 미리 결정된 객체를 탐색하는 단계; 및
    상기 탐색된 객체 중 특정 객체 선택 시, 상기 수신된 영상을 기반으로 상기 선택된 객체를 추적하기 위한 제2 구동 신호를 생성하고, 상기 제2 구동 신호를 상기 드론으로 전송하는 단계를 포함하는 드론 제어 방법.
  2. 제1항에 있어서,
    지도화면을 디스플레이에 표시하고, 상기 지도화면에 대한 사용자 입력을 기반으로 상기 소정의 영역을 설정하는 단계를 더 포함하는 드론 제어 방법.
  3. 제1항에 있어서,
    상기 제1 구동 신호는 상기 미리 결정된 객체가 탐색될 때까지 주기적으로 전송되고, 상기 제2 구동 신호는 상기 선택된 객체가 추적될 때까지 주기적으로 전송되는 드론 제어 방법.
  4. 제1항에 있어서,
    상기 제1 및 제2 구동 신호는, 근거리 무선 통신 또는 이동 통신을 통해 전송되는 드론 제어 방법.
  5. 제1항에 있어서,
    상기 미리 결정된 객체 탐색 시, 알림 신호를 출력하는 단계를 더 포함하는 드론 제어 방법.
  6. 제1항에 있어서,
    상기 수신된 영상을 디스플레이에 표시하는 단계를 더 포함하는 드론 제어 방법.
  7. 제6항에 있어서,
    상기 특정 객체 선택 시, 미리 결정된 인디케이터를 상기 선택된 객체의 위치에 대응하는 디스플레이 영역에 표시하는 드론 제어 방법.
  8. 제1항에 있어서,
    상기 드론으로부터 수신된 GPS 정보를 기반으로 안전 고도 값을 설정하는 단계를 더 포함하는 드론 제어 방법.
  9. 제8항에 있어서,
    장애물 감지 신호 수신 시, 상기 안전 고도 값으로 이동시키기 위한 제3 구동 신호를 생성하여 상기 드론으로 전송하는 단계를 더 포함하는 드론 제어 방법.
  10. 제1항에 있어서,
    상기 특정 객체에 관한 사진 정보 수신 시, 영상 인식을 통해 해당 객체의 특징들을 추출하고, 상기 추출된 특징들을 메모리에 기 저장된 정보와 비교하여 해당 객체에 관한 정보를 획득하는 단계를 더 포함하는 드론 제어 방법.
  11. 드론에서 송출한 영상을 수신하는 무선 통신부;
    상기 무선 통신부를 통해 수신된 영상을 표시하는 디스플레이부; 및
    소정의 영역을 탐색하기 위한 제1 구동 신호를 생성하고, 상기 수신된 영상을 분석하여 미리 결정된 객체를 탐색하며, 상기 탐색된 객체 중 특정 객체 선택 시, 상기 수신된 영상을 기반으로 상기 선택된 객체를 추적하기 위한 제2 구동 신호를 생성하고, 상기 무선 통신부를 통해 상기 제1 또는 제2 구동 신호를 상기 드론으로 전송하는 제어부를 포함하는 이동 단말기.
  12. 제11항에 있어서,
    상기 무선 통신부는 근거리 통신을 이용하여 상기 제1 또는 제2 구동 신호를 상기 드론으로 전송하는 이동 단말기.
  13. 드론에서 송출한 영상을 수신하고, 상기 수신된 영상을 외부 디스플레이 장치로 전송하는 통신부; 및
    소정의 영역을 탐색하기 위한 제1 구동 신호를 생성하고, 상기 수신된 영상을 분석하여 미리 결정된 객체를 탐색하며, 상기 탐색된 객체 중 특정 객체 선택 시, 상기 수신된 영상을 기반으로 상기 선택된 객체를 추적하기 위한 제2 구동 신호를 생성하고, 상기 통신부를 통해 상기 제1 또는 제2 구동 신호를 상기 드론으로 전송하는 제어부를 포함하는 서버.
  14. 제13항에 있어서,
    상기 통신부는 상기 제1 또는 제2 구동 신호를 기지국을 통해 상기 드론으로 전송하는 서버.
KR1020160165984A 2016-12-07 2016-12-07 영상 인식을 이용한 드론 제어 방법 및 그 장치 KR20180065331A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160165984A KR20180065331A (ko) 2016-12-07 2016-12-07 영상 인식을 이용한 드론 제어 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160165984A KR20180065331A (ko) 2016-12-07 2016-12-07 영상 인식을 이용한 드론 제어 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20180065331A true KR20180065331A (ko) 2018-06-18

Family

ID=62767908

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160165984A KR20180065331A (ko) 2016-12-07 2016-12-07 영상 인식을 이용한 드론 제어 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR20180065331A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190107837A1 (en) * 2017-10-05 2019-04-11 Tae-Ki YUN Camera drone and controlling method thereof
KR20200021841A (ko) 2018-08-21 2020-03-02 한서대학교 산학협력단 드론을 이용한 감시 시스템
KR102128590B1 (ko) * 2019-09-19 2020-07-08 이창선 비행체 위치정보 제공시스템 및 그 구동방법
KR20220077617A (ko) * 2020-12-02 2022-06-09 주식회사 퍼플아이오 드론 제어 시스템 및 그것의 제어방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190107837A1 (en) * 2017-10-05 2019-04-11 Tae-Ki YUN Camera drone and controlling method thereof
KR20200021841A (ko) 2018-08-21 2020-03-02 한서대학교 산학협력단 드론을 이용한 감시 시스템
KR102128590B1 (ko) * 2019-09-19 2020-07-08 이창선 비행체 위치정보 제공시스템 및 그 구동방법
KR20220077617A (ko) * 2020-12-02 2022-06-09 주식회사 퍼플아이오 드론 제어 시스템 및 그것의 제어방법
WO2022119183A1 (ko) * 2020-12-02 2022-06-09 주식회사 퍼플아이오 드론 제어 시스템 및 그것의 제어방법

Similar Documents

Publication Publication Date Title
US11604479B2 (en) Methods and system for vision-based landing
US9977434B2 (en) Automatic tracking mode for controlling an unmanned aerial vehicle
JP6609833B2 (ja) 無人航空機の飛行を制御する方法及びシステム
KR101690502B1 (ko) 드론을 이용한 추적 시스템
Qi et al. Search and rescue rotary‐wing uav and its application to the lushan ms 7.0 earthquake
CN107168352B (zh) 目标追踪系统及方法
KR102254491B1 (ko) 지능형 영상 분석 모듈을 탑재한 자율비행 드론
US11531340B2 (en) Flying body, living body detection system, living body detection method, program and recording medium
JP2019507924A (ja) Uav軌道を調整するシステム及び方法
KR20180065331A (ko) 영상 인식을 이용한 드론 제어 방법 및 그 장치
WO2021073472A1 (en) Positioning systems and methods
US20220100208A1 (en) Autonomous Multifunctional Aerial Drone
EP4266143A1 (en) Control apparatus for aircraft and control method therefor
US12024284B2 (en) Information processing device, information processing method, and recording medium
US20190014456A1 (en) Systems and methods for collaborative vehicle mission operations
KR101796478B1 (ko) 360도 영상 촬영이 가능한 무인비행체
US10557718B2 (en) Auxiliary control method and system for unmanned aerial vehicle
KR102288079B1 (ko) 무인 비행체를 이용한 모니터링 시스템 및 그 방법
KR102467485B1 (ko) 픽셀좌표에 기반하여 객체를 추적하는 무인 비행체의 비행방법
KR20190094854A (ko) 산악 조난자 구조를 위한 무인항공용 드론을 이용한 수색 시스템
US20200019191A1 (en) Method for following wearable device and robot thereof
Gunasundari et al. Gesture Controlled Drone Swarm System for Violence Detection Using Machine Learning for Women Safety
JP2019179529A (ja) 管制装置
KR102289743B1 (ko) 복수의 무인항공기를 이용한 목표를 탐색하기 위한 장치 및 이를 위한 방법
KR102525912B1 (ko) 무인 비행체 및 그 제어 방법