KR20180060403A - Control apparatus for drone based on image - Google Patents

Control apparatus for drone based on image Download PDF

Info

Publication number
KR20180060403A
KR20180060403A KR1020160159851A KR20160159851A KR20180060403A KR 20180060403 A KR20180060403 A KR 20180060403A KR 1020160159851 A KR1020160159851 A KR 1020160159851A KR 20160159851 A KR20160159851 A KR 20160159851A KR 20180060403 A KR20180060403 A KR 20180060403A
Authority
KR
South Korea
Prior art keywords
image
drones
controlled
control
joystick
Prior art date
Application number
KR1020160159851A
Other languages
Korean (ko)
Inventor
문창근
Original Assignee
문창근
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 문창근 filed Critical 문창근
Priority to KR1020160159851A priority Critical patent/KR20180060403A/en
Publication of KR20180060403A publication Critical patent/KR20180060403A/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40—Correcting position, velocity or attitude
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05G—CONTROL DEVICES OR SYSTEMS INSOFAR AS CHARACTERISED BY MECHANICAL FEATURES ONLY
    • G05G9/00—Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously
    • G05G9/02—Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only
    • G05G9/04—Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only in which movement in two or more ways can occur simultaneously
    • G05G9/047—Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only in which movement in two or more ways can occur simultaneously the controlling member being movable by hand about orthogonal axes, e.g. joysticks
    • B64C2201/127—
    • B64C2201/146—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Abstract

Embodiments of the present invention relate to an image-based drone control device. The image-based drone control device comprises: a display displaying a first image, captured by a first camera, on a first region; and a processing device identifying a control target drone in the first image. The processing device displays a second image, obtained by a second camera installed in the control target drone, on a second region in the display, when a predetermined event occurs. According to an embodiment of the present invention, when controlling a drone based on the image, control for the drone can be continuously performed even if the drone is not identified in the image.

Description

영상 기반의 드론 제어장치{CONTROL APPARATUS FOR DRONE BASED ON IMAGE}TECHNICAL FIELD [0001] The present invention relates to an image-based drone control device,

본 발명은 드론 제어장치에 관련된 것으로, 더욱 구체적으로는 영상 기반의 드론 제어장치에 관련된다.The present invention relates to a dron control device, and more particularly to an image based dron control device.

[과제정보][Task information]

과제고유번호: 10025956Assignment number: 10025956

부처명: 중소기업청Department: Small and Medium Business Administration

연구관리전문기관: 창업진흥원Research Management Agency: Business Development Agency

연구사업명: 2015년 글로벌 창업활성화 사업해외 창업 진출 지원Research Project Name: 2015 Global Business Startup Business Overseas Business Support

연구과제명: 30kg 비행중량급 상업용 드론Project Title: 30kg flying heavyweight commercial drones

주관기관: 중소기업청 산하 창업진흥원Organized by: Small and Medium Business Administration

연구기간: 2015년 11월 13일 ~ 2016년 11월 30일Research period: November 13, 2015 - November 30, 2016

종래의 드론 제어는 드론을 육안으로 관찰하면서 수행되어 왔다. 그러나 이러한 드론이 실제 육안에서 사라져 관찰이 어려운 경우, 조종자는 드론을 제어함에 어려움을 겪게되었다.Conventional drones control has been performed while observing the drones with the naked eye. However, when these drones actually disappeared from the naked eye and were difficult to observe, the pilot had difficulty controlling the drones.

또한 종래의 드론 컨트롤러는 양손을 모두 이용해야 했다. 이에 따라서 드론 제어 중 조종자는 다른 행위를 전혀 할 수 없는 문제점이 있다.Also, the conventional dron controller had to use both hands. Therefore, there is a problem that the operator can not perform other actions at all during the drone control.

미국등록특허 9075136 B1US Patent No. 9075136 B1 한국등록특허 10-1652192Korean Patent No. 10-1652192

위와 같은 문제점을 해결하기 위해서, 영상을 통해 드론을 보고 제어하고, 이 영상내에서 드론이 사라지는 경우, 드론이 촬영하는 영상을 대안적으로 또는 함께 디스플레이상에 표시함으로써, 드론 제어에 영향을 받지 않고 연속적으로 제어를 수행할 수 있는 방안이 요구된다. 또한 한 손 제어가 가능한 컨트롤러를 이용하여, 드론 제어 중 드론 제어 외에 다른 동작도 할 수 있는 방안이 요구된다.In order to solve the above problems, when a dron is viewed and controlled through an image, and the dron is disappeared in the image, the image taken by the dron is displayed alternatively or together on the display, There is a need for a scheme that can continuously perform control. It is also required to use a controller capable of one-hand control to perform other operations besides drones control during drone control.

본 발명의 기술적 과제는 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problem of the present invention is not limited to those mentioned above, and another technical problem which is not mentioned can be clearly understood by those skilled in the art from the following description.

본 발명의 일 실시예에 따른 영상 기반의 드론 제어장치는 제1 카메라에의해 촬영된 제1 영상을 제1영역에 표시하는 디스플레이 및 상기 제1 영상 내 제어대상드론을 식별하는 처리장치를 포함하되, 상기 처리장치는, 소정의 이벤트가 발생하면 상기 제어대상드론에 설치된 제2 카메라에의해 획득된 제2 영상을 상기 디스플레이 내 제2 영역에 표시하게 할 수 있다.The image-based dron control device according to an embodiment of the present invention includes a display for displaying a first image photographed by a first camera in a first area and a processing device for identifying a controlled drones in the first image , The processing device may display a second image acquired by a second camera installed on the controlled subject drones in the second area in the display when a predetermined event occurs.

일 실시예에 있어서, 상기 소정의 이벤트는, 상기 제1 영상 내 상기 제어대상드론이 식별되지 않는 것, 상기 제어대상드론과 상기 드론 제어장치 간의 거리가 소정 범위를 초과하는 것, 상기 제2 영상 표시를 위한 사용자 입력을 상기 영상 기반의 드론 제어장치가 수신하는 것, 중 하나 이상을 포함할 수 있다.In one embodiment, the predetermined event may be one in which the control target drones in the first image are not identified, the distance between the control target drones and the drones control device exceeds a predetermined range, And the image-based drone control device receiving user input for display.

일 실시예에 있어서, 상기 처리장치는, 사용자가 지정한 상기 제1 영상 내 일 지점을 기초로 상기 제어대상드론을 식별하거나, 상기 영상 기반의 드론 제어장치로부터의 이동명령과 상기 제1 영상 내 드론의 이동상태를 기초로 상기 제어대상드론을 식별할 수 있다.In one embodiment, the processing apparatus may further include a control unit that identifies the control target drones based on a point in the first image designated by the user, The drones to be controlled can be identified based on the moving state of the drones.

일 실시예에 있어서, GPS 센서를 더 포함할 수 있고, 상기 처리장치는, 상기 제어대상드론으로부터 수신한 제1 GPS 정보와 상기 영상 기반의 드론 제어장치의 제2 GPS 정보를 기초로 차등(Differential)GPS 보정을 수행하여 상기 제어대상드론의 위치를 결정할 수 있다.In one embodiment, the processing apparatus may further include a GPS sensor, wherein the processing apparatus is configured to perform a differential search based on the first GPS information received from the controlled drones and the second GPS information of the image- ) GPS correction may be performed to determine the location of the controlled drones.

일 실시예에 있어서, 상기 제어대상드론을 무선 제어하기위한 컨트롤러를 더 포함하고, 상기 컨트롤러는, 스틱형의 바디, 상기 바디의 제1 위치에 설치된, 제1 조이스틱, 상기 제1 조이스틱과 90도 이상 180도 이하의 사이각을 갖도록 상기 바디의 제2 위치에 설치된 제2 조이스틱, 및 상기 제1 및 제2 위치와 다른 제3 위치에 설치된 고도제어를 위한 제3 조이스틱을 포함하고, 상기 제1 조이스틱은 상기 제어대상드론의 X축 및 Y축 회전 제어에 관련되고, 상기 제2 조이스틱은 상기 제어대상드론의 Z축 회전 제어에 관련될 수 있다.In one embodiment, the controller further comprises a controller for wirelessly controlling the drones to be controlled, the controller comprising: a stick-shaped body; a first joystick disposed at a first position of the body; A second joystick provided at a second position of the body so as to have an angle between 180 degrees and 180 degrees and a third joystick for height control at a third position different from the first and second positions, The joystick is related to the X-axis and Y-axis rotation control of the controlled drones, and the second joystick may be related to the Z-axis rotation control of the controlled drones.

일 실시예에 있어서, 상기 디스플레이는, 헤드마운티드 디스플레이 장치일 수 있다.In one embodiment, the display may be a head-mounted display device.

일 실시예에 있어서, 상기 제2영상은 상기 제1영상을 대체하거나, 상기 제1영상과 함께 표시될 수 있다.In one embodiment, the second image may replace the first image or be displayed together with the first image.

본 발명의 일 실시예에 따르면, 영상 기반으로 드론을 제어할 시, 드론이 영상에서 식별되지 않더라도, 드론에 대한 제어를 연속적으로 수행할 수 있다.According to an embodiment of the present invention, when controlling the drone on an image basis, control of the drone can be continuously performed even if the drone is not identified in the image.

또한 본 발명의 일 실시예에 따른 컨트롤러를 사용하면 한 손으로 효과적으로 드론의 3축 및 상하고도를 제어할 수 있어 다른 한 손의 자유도가 높아질 수 있다.Further, by using the controller according to an embodiment of the present invention, the three axes and the upper and lower axes of the drone can be effectively controlled by one hand, and the degree of freedom of the other hand can be increased.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description of the claims.

도 1은 본 발명의 일 실시예에 따른 영상 기반의 드론 제어장치(100)의 구성 및 동작 상태를 나타내는 개념도이다.
도 2는 본 발명의 일 실시이예에 따른 영상 기반의 드론 제어장치(100)와 제어대상드론(200) 사이에서 교환되는 정보를 나타내기 위한 도이다.
도 3은 본 발명의 일 실시예에 따른 제어대상드론(200)의 블록도이다.
도 4는 본 발명의 일 실시예에 따라서, 제1카메라(150)가 촬영한 제1 영상이 디스플레이(120) 상에 표시된 것을 나타내고, 도 5는 제어대상드론(200)이 촬영한 제2 영상이 추가적으로 제1 영상과 함께 표시되는 것을 나타낸다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따라서, 제1영상에서 제어대상드론(200)을 식별하는 과정을 설명하기 위한 도이다.
도 7a 내지 도 7c는 본 발명의 일 실시예에 따라, 이벤트가 발생되는 예시를 나타낸다.
도 8a 내지 도8c는 본 발명의 일 실시예에 따른 컨트롤러(160)를 나타낸다.
도 9는 본 발명의 일 실시예에 따른 드론 제어장치(100)의 예시적인 형태이다.FIG. 1 is a conceptual diagram illustrating the configuration and operation of an image-based dron control device 100 according to an embodiment of the present invention.
FIG. 2 illustrates information exchanged between the image-based drones control apparatus 100 and the controlled drones 200 according to an embodiment of the present invention.
3 is a block diagram of a controlled drones 200 according to an embodiment of the present invention.
FIG. 4 illustrates a first image captured by the first camera 150 displayed on the display 120 according to an exemplary embodiment of the present invention, FIG. 5 illustrates a second image captured by the controlled- Is additionally displayed together with the first image.
FIGS. 6A and 6B are views for explaining the process of identifying the controlled drones 200 in the first image, according to an embodiment of the present invention.
Figures 7A-7C illustrate an example in which an event is generated, in accordance with one embodiment of the present invention.
8A-8C illustrate a controller 160 according to one embodiment of the present invention.
Figure 9 is an exemplary form of the drones control device 100 according to one embodiment of the present invention.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises ", or" having ", or the like, specify that there is a stated feature, number, step, operation, , Steps, operations, components, parts, or combinations thereof, as a matter of principle.

본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다.Embodiments described herein may be wholly hardware, partially hardware, partially software, or entirely software. A "unit," "module," "device," or "system" or the like in this specification refers to a computer-related entity such as a hardware, a combination of hardware and software, or software. A processor, an object, an executable, a thread of execution, a program, and / or a computer, for example, a computer, but is not limited to, a computer. For example, both an application running on a computer and a computer may correspond to a part, module, device or system of the present specification.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 영상 기반의 드론 제어장치(100)의 구성 및 동작 상태를 나타내는 개념도이다. 도 1을 참조하면, 영상 기반의 드론 제어장치(100)는 제어대상드론(200)을 촬영하고, 제어할 수 있다. 특히 영상 기반의 드론 제어장치(100)는 제어대상드론(200)을 촬영한 영상을 기초로 제어대상드론(200)을 제어하는 사용자에게 편리한 사용자 인터페이스를 제공할 수 있다.FIG. 1 is a conceptual diagram illustrating the configuration and operation of an image-based dron control device 100 according to an embodiment of the present invention. Referring to FIG. 1, the image-based drones control apparatus 100 can photograph and control the drones 200 to be controlled. In particular, the image-based drones control apparatus 100 can provide a convenient user interface for the user to control the drones 200 to be controlled based on the images of the drones 200 to be controlled.

제어대상드론(200)은 비행 가능하고 무선 통신이 가능한 임의의 비행체를 포함할 수 있다.The controlled drones 200 may include any aviation body capable of flying and radio communication.

영상 기반의 드론 제어장치(100)는 처리장치(110)를 포함할 수 있다. 처리장치(110)는 제어대상드론(200)을 촬영한 영상을 처리하여 해당 영상 내에서 제어대상드론을 식별하거나, 촬영한 영상을 디스플레이장치(120)상에 표시할 수 있다. 이 외에도 처리장치(110)는 영상 기반의 드론 제어장치(100)에 포함되는 구성요소들과 통신하고 이들을 제어할 수 있다. The image-based drones control device 100 may include a processing unit 110. The processor 110 processes the photographed image of the drones 200 to be controlled, identifies the drones to be controlled in the corresponding images, or displays the photographed images on the display device 120. In addition, the processing unit 110 may communicate with and control the components included in the image-based dron control device 100.

일 실시예에서 상기 처리장치와 디스플레이는 스마트폰의 일 부분일 수도 있다. 이 경우 영상 기반의 드론 제어장치(100)는 스마트폰을 장착할 수 있는 장착부를 포함할 수 있다.In one embodiment, the processing device and the display may be part of a smart phone. In this case, the image-based drones control device 100 may include a mounting portion for mounting a smartphone.

또한 영상 기반의 드론 제어장치(100)는 영상 촬영을 위한 제1 카메라(150)를 더 포함할 수 있다. 여기서 제1 카메라(150)는 깊이 카메라, 깊이 컬러 카메라, CCD 카메라, 적외선 카메라 중 하나 이상을 포함할 수 있다. The image-based drones controller 100 may further include a first camera 150 for capturing an image. Here, the first camera 150 may include at least one of a depth camera, a depth color camera, a CCD camera, and an infrared camera.

도 2는 본 발명의 일 실시이예에 따른 영상 기반의 드론 제어장치(100)와 제어대상드론(200) 사이에서 교환되는 정보를 나타내기 위한 도이다. 도 2를 참조하면, 영상 기반의 드론 제어장치(100)와 제어대상드론(200)은 무선 네트워크를 통해 통신할 수 있다. 무선 통신 방식은, 블루투스, NFC, 3G, 4G, 5G 등 임의의 통신 방식이 채용될 수 있다.FIG. 2 illustrates information exchanged between the image-based drones control apparatus 100 and the controlled drones 200 according to an embodiment of the present invention. Referring to FIG. 2, the image-based drones control device 100 and the controlled-object drones 200 may communicate with each other through a wireless network. As the wireless communication method, any communication method such as Bluetooth, NFC, 3G, 4G, and 5G may be employed.

영상 기반의 드론 제어장치(100)는 제어대상드론(200)에 대하여 다양한 동작 명령(22)을 제공할 수 있다. 동작 명령은, 요, 피치, 롤, 상승, 하강과 같은 이동명령을 포함하며, 필요에 따라서, 영상 촬영, 물건 이동, 타 드론과의 결합 등을 포함할 수 있다. 또한 본 발명이 위 열거한 예시에 제한되는 것은 아니다.The image-based drones controller 100 may provide various motion commands 22 to the drones 200 to be controlled. The motion command includes movement commands such as yaw, pitch, roll, rise, and fall, and may include image capturing, moving objects, combining with a treadmill, and the like, if necessary. The present invention is not limited to the above-mentioned examples.

제어대상드론(200)은 영상 기반의 드론 제어장치(100)에 위치 및 센싱정보(21)를 전달할 수 있다. 위치정보는, 해당 제어대상드론(200)이 위치한 현재 위치 또는 이동한/이동할 이동경로에 대한 정보를 포함할 수 있다. 센싱정보는 제어대상드론(200)에 설치된 센서로 획득한 영상정보, 자세정보(기울기), 온도 정보 등을 포함할 수 있다.The control target drones 200 may transmit the position and sensing information 21 to the image-based drones control device 100. The location information may include information on a current location where the corresponding drones 200 to be controlled are located, or information on movement paths to be moved / moved. The sensing information may include image information, attitude information (slope), temperature information, and the like acquired by a sensor installed in the controlled drones 200.

도 3은 본 발명의 일 실시예에 따른 제어대상드론(200)의 블록도이다. 도 3을 참조하면 제어대상드론(200)은 비행을 위한 구동부(210) 및 제2 카메라(220)를 포함할 수 있다. 3 is a block diagram of a controlled drones 200 according to an embodiment of the present invention. Referring to FIG. 3, the controlled drones 200 may include a driving unit 210 and a second camera 220 for flight.

구동부(210)는 프로펠러, 배터리(또는 연료통), 모터(또는 엔진) 등 제어대상드론(200)의 이동을 위한 임의의 장비를 모두 포함할 수 있다. The driving unit 210 may include any equipment for moving the controlled drones 200 such as a propeller, a battery (or a fuel cell), and a motor (or an engine).

제2 카메라(220)는 제어대상드론(200)에 장착되어 영상 기반의 드론 제어장치(100)의 명령에 따라서 영상을 촬영할 수 있다. 제2 카메라(220)는 앞서 설명한 제1 카메라(150)의 종류 중 하나 이상일 수 있다.The second camera 220 can be mounted on the controlled drones 200 and take images according to commands of the image-based drones controller 100. The second camera 220 may be one or more of the types of the first camera 150 described above.

제어대상드론(200)은 위치센서(230)를 더 포함할 수 있다. 위치 센서(230)는 GPS 센서일 수 있다. 또한 제어대상드론(220)는 자이로센서를 더 포함할 수 있다. 자이로센서(240)는 제어대상드론(200)의 수평 자세를 유지하는데 이용될 수 있다. The drones 200 to be controlled may further include a position sensor 230. The position sensor 230 may be a GPS sensor. Further, the control target drone 220 may further include a gyro sensor. The gyro sensor 240 can be used to maintain the horizontal posture of the drones 200 to be controlled.

본 설명에 있어서, 영상 기반의 드론 제어장치(100) 및 제어대상드론(200)은 다양한 통신표준에 따라 상호간에 통신할 수 있도록 통신부(미도시)를 포함할 수 있다.In the present description, the image-based dron controller 100 and the controlled drones 200 may include a communication unit (not shown) so as to communicate with each other according to various communication standards.

일 실시예에 있어서, 영상 기반의 드론 제어장치(100)는 처리장치(110) 및 디스플레이(120)를 포함할 수 있다. 디스플레이(120)는 평면 또는 곡면 디스플레이를 포함할 수 있으며, 바람직하게는 헤드마운티드 디스플레이일 수 있다. 이 경우 영상 기반의 드론 제어장치(100)는 사용자가 착용 가능한 웨어러블 장비일 수 있다.In one embodiment, the image-based dron control device 100 may include a processing unit 110 and a display 120. Display 120 may include a planar or curved display, and may preferably be a head-mounted display. In this case, the image-based drones control device 100 may be a wearable device that can be worn by a user.

도 4는 본 발명의 일 실시예에 따라서, 제1카메라(150)가 촬영한 제1 영상이 디스플레이(120) 상에 표시된 것을 나타내고, 도 5는 제어대상드론(200)이 촬영한 제2 영상이 추가적으로 제1 영상과 함께 표시되는 것을 나타낸다. 본 명세서에 있어서, 영상 기반의 드론 제어장치(100)가 촬영한 영상을 제1 영상이라고 하고, 제어대상드론(200)이 촬영한 영상은 제2 영상이라고 언급한다.FIG. 4 illustrates a first image captured by the first camera 150 displayed on the display 120 according to an exemplary embodiment of the present invention, FIG. 5 illustrates a second image captured by the controlled- Is additionally displayed together with the first image. In this specification, an image captured by the image-based drones control apparatus 100 is referred to as a first image, and an image captured by the controlled drones 200 is referred to as a second image.

도 4에 나타난 바와 같이, 실제로 시계탑(B2)은 사용자로부터(즉 카메라)로부터 3km 정도 떨어져 있고, 제어대상드론(200)은 10m, 집(B1)은 1km 정도 떨어져 있는 상황인 것으로 가정한다. 따라서 사용자는 현재 시계탑(B2)이 가리키는 현재 시간 또는 시계탑의 시계의 구체적인 모양을 확인할 수 없는 상황이다.As shown in FIG. 4, it is assumed that the clock tower B2 is actually 3 km away from the user (that is, the camera), the controlled drones 200 are 10 meters away, and the house B1 is 1 km apart. Therefore, the user can not confirm the current time indicated by the clock tower B2 or the specific shape of the clock of the clock tower.

처리장치(110)는 디스플레이(120) 상에 제1 카메라(150)에의해 촬영된 제1 영상을 제1영역(10)에 표시하게 할 수 있다. 제1 영역(10)은 디스플레이(120)의 전체 스크린을 포함하거나, 일 부분일 수 있다. 도 4를 참조하면, 사용자는 디스플레이(120)를 통해서, 들판에 위치한 제어대상드론(200), 사물1(B1; 집)과 사물2(B2; 시계탑)을 볼 수 있다.The processing unit 110 may cause the first region 10 to display a first image photographed by the first camera 150 on the display 120. [ The first region 10 may include the entire screen of the display 120, or may be a portion. Referring to FIG. 4, the user can view the controlled object dron 200, object 1 (B1), and object 2 (B2) located on the field through the display 120.

헤드마운티드 디스플레이가 이용되는 경우, 사용자는 실제 사물을 보는 것이 아니라, 제1카메라에의해 촬영된 제1영상을 디스플레이를 통해 볼 수 있다. 그리고 디스플레이에 표시되는 제1영상을 보면서 제어대상드론을 제어할 수 있다. 눈으로 직접 보는 것보다, 제1 카메라를 통한 영상을 보고 제어대상드론을 제어하는 경우, 직접 보는 것보다 더 넓은 화각을 가지는 점, 다른 정보들을 오법랩하여 표현시킴으로써 여러 정보를 함께 확인할 수 있는 점, 야간에 사물을 더 자세히 볼 수 있는 점등의 이점이 있을 수 있다.When the head-mounted display is used, the user can view the first image photographed by the first camera through the display, instead of viewing the actual object. The control target drones can be controlled while viewing the first image displayed on the display. When controlling the target drones by watching the image through the first camera rather than directly by the eyes, points that have a wider angle of view than those seen directly, and other information can be displayed by misrepresentation, , And the ability to see things in more detail at night.

일 실시예에 있어서, 처리장치(110)는 제1 영상 내 제어대상드론(110)을 식별할 수 있다. 제1 영상 내에서 특정 객체를 식별하는 사항은 아래에서 구체적으로 설명한다.In one embodiment, the processing unit 110 may identify the controlled drones 110 in the first image. Identification of a specific object in the first image will be described in detail below.

처리장치(110)는, 소정의 이벤트가 발생하면 상기 제어대상드론(200)에 설치된 제2 카메라(220)에의해 획득된 제2 영상을 디스플레이(120) 내 제2 영역(20)에 표시하게할 수 있다. 도 5에서 제어대상드론(200)은 도 4에서와 달리 시계탑(B2) 근처로 이동한 상태이다. 도 5를 참조하면, 제2 영상이 제2영역(20)에 제1영상과 함께 표시된다. The processor 110 displays a second image obtained by the second camera 220 installed on the controlled subject dron 200 in the second region 20 in the display 120 when a predetermined event occurs can do. In FIG. 5, the controlled drones 200 are moved near the clock tower B2, unlike FIG. Referring to FIG. 5, a second image is displayed in the second region 20 together with the first image.

다른 일 실시예에서 제2 영상은 제1 영상을 대체하여 표시될 수도 있다. 또한 도 5에서 표시된 제1영역(10)과 제2영역(20)의 크기 및 위치는 예시적인 것으로 제2영역(20)이 제1영역(10)보다 더 크거나 서로 동일한 크기일 수도 있다. 도 5에서, 제어대상드론(200)은 시계탑(B2) 근처에서 시계탑(B2)을 촬영하고 있으므로, 제2영역에 표시되는 제2 영상은 시계탑(B2)은 더욱 명확하게 표시될 수 있다. 도 5의 제2영역(20)을 참고하면 시계탑의 시계의 각 시각 표시 및 현재 시간을 확인할 수 있다.In another embodiment, the second image may be displayed by replacing the first image. Also, the sizes and positions of the first region 10 and the second region 20 shown in FIG. 5 are illustrative, and the second region 20 may be larger than or equal to the first region 10. In FIG. 5, since the control target dron 200 photographs the clock tower B2 near the clock tower B2, the second image displayed in the second area can be displayed more clearly in the clock tower B2. Referring to the second area 20 of FIG. 5, each time display and current time of the clock of the clock tower can be confirmed.

제1영상 내 식별되어 이동이 추적되던 제어대상드론(200)이 어느 순간 식별되지 않게되면, 처리장치(110)는 제2영상을 표시하게 할 수 있다. 제1영상에서 제어대상드론(200)을 식별하기위해서, 처리장치(110)는 영상처리기법 또는 사용자 입력 정보를 이용할 수 있다.When the control target drone 200 whose movement is identified in the first image is not identified at any moment, the processing apparatus 110 may display the second image. In order to identify the controlled drones 200 in the first image, the processing unit 110 may use image processing techniques or user input information.

도 6a 및 도 6b는 본 발명의 일 실시예에 따라서, 제1영상에서 제어대상드론(200)을 식별하는 과정을 설명하기 위한 도이다. FIGS. 6A and 6B are views for explaining the process of identifying the controlled drones 200 in the first image, according to an embodiment of the present invention.

도 6a를 참조하면 처리장치(110)는 사용자가 지정한 제1 영상 내 일 지점을 기초로 제어대상드론(200)을 식별할 수 있다. 예컨대 사용자는 제1영상 내 제어대상드론(200)을 선택함으로써, 처리장치(110)는 제1 영상 내 해당 객체를 제어대상드론(200)으로 결정할 수 있다. 이를 위해서, 디스플레이장치(120)가 터치입력이 가능한 디스플레이이거나, 사용자 입력을 수신하기 위한 수단이 마련될 수 있다. 터치입력이 가능한 디스플레이인 경우 사용자는 제1영역(10) 상에 해당 제어대상드론(200)을 터치함으로써 드론을 선택할 수 있다. 영상 내에서 특정 드론을 식별하기 위해서, 종래 이용되는 영상 내 객체인식 기술이 이용될 수 있다. Referring to FIG. 6A, the processing apparatus 110 can identify the controlled drones 200 based on a point in the first image designated by the user. For example, the user can select the controlled object drones 200 in the first image, so that the processing device 110 can determine the corresponding objects in the first image as the controlled drones 200. [ To this end, the display device 120 may be a touch-enabled display or a means for receiving user input may be provided. In the case of a touch-enabled display, the user can select a dron by touching the control target dron 200 on the first area 10. In order to identify a specific drones in an image, conventionally used in-image object recognition techniques can be used.

한편 사용자 입력 수단을 이용하는 경우, 도 6a에 도시된 바와 같이 표시자(P)가 제1영상 내 표시되고, 사용자는 표시자를 이동시켜 제어대상드론(200)을 결정할 수 있다. 도 6a에서 사용자가 제어대상드론(200)이 아닌 나무(B3)에 표시자를 가져다 놓고 선택하는 경우, 처리장치(110)는 나무(B3)를 제어대상드론으로 식별할 수 있다. 그러나 일 예에서 처리장치(100)는 선택된 객체의 외형이 일반적인 드론의 외형과 소정 확률 이상 다른 경우, 사용자에게 재선택을 요청할 수도 있다. On the other hand, when the user input means is used, the indicator P is displayed in the first image as shown in FIG. 6A, and the user can determine the controlled drones 200 by moving the indicator. In FIG. 6A, when the user selects and places an indicator on the tree B3 rather than the controlled drones 200, the processing apparatus 110 can identify the tree B3 as the controlled drones. However, in one example, the processing apparatus 100 may request the user to reselect if the shape of the selected object differs from the general shape of the dron by a predetermined probability or more.

이를 위해서 제어대상드론의 외형에 대한 참고 이미지가 데이터베이스(140)에 구비될 수 있다. 처리장치(110)는 데이터베이스(140)에 저장된 이미지와 제1영상 내 선택된 객체의 이미지를 비교하여 그것이 드론에 해당되는지 여부등을 판단할 수 있다. 이러한 판단을 위해 기계학습법이 이용될 수도 있다.For this purpose, a reference image of the external shape of the controlled drones may be provided in the database 140. The processing unit 110 may compare the image stored in the database 140 with the image of the selected object in the first image so as to determine whether or not the image corresponds to the drones. Machine learning methods may be used to make this judgment.

또한 사용자 입력 수단은, 상술한 터치 스크린 외에, 물리버튼, 또는 3차원 동작인식을 포함할 수 있다. 예컨대 사용자 신체에 부착된 자이로 또는 가속도 센서를 이용하여 사용자의 모션에 대응되도록 표시자(P)를 이동시키고, 선택 입력을 수신할 수도 있다.The user input means may include physical buttons, or three-dimensional motion recognition, in addition to the above-described touch screen. For example, a gyro or an acceleration sensor attached to the user's body may be used to move the indicator P to correspond to the motion of the user and receive the selection input.

도 6b는 본 발명의 일 실시예에서 이동명령과 제어대상드론의 실제 이동을 기초로 제어대상드론을 식별하는 과정을 설명하기 위한 도이다. 제1영상이 입력되어 디스플레이에 표시되는 동안, 사용자는 제어대상드론 식별모드를 실행할 수 있다. 제어대상드론 식별모드가 실행되는 동안, 처리장치(110)는 영상 기반의 드론 제어장치(100)가 발생시키는 이동명령과 제1 영상 내 드론의 이동상태를 비교하여 제1영상 내에서 제어대상드론을 식별할 수 있다. 여기서 이동상태는 이동경로 또는 이동 시간 정보를 포함할 수 있다.FIG. 6B is a diagram for explaining a process of identifying a dron to be controlled based on a movement instruction and an actual movement of the controlled dron according to an embodiment of the present invention. While the first image is input and displayed on the display, the user can execute the controlled drones identification mode. While the control target drones identification mode is being executed, the processing unit 110 compares the movement state of the drones in the first image with the movement command generated by the image-based dron controller 100, Can be identified. The movement state may include movement path or movement time information.

예컨대 제1영상 내 다수의 드론이 존재하는 경우, 이러한 방식이 매우 유용할 수 있다. 도 6b를 참조하면, 사용자가 제어대상드론에 대하여 상승명령 후 약 1초 후 전진을 2회 명령한 경우, 제1영상 내 제어대상드론(200)이 상승 후 약 1초 후 2회 전진하는 경우, 처리장치(110)는 제1영상 내에서 해당 드론을 제어대상드론으로 결정할 수 있다. For example, if there are multiple drones in the first image, this approach can be very useful. Referring to FIG. 6B, when the user instructs the control target dron to advance about one second after the up command, twice, and when the control target dron 200 in the first image advances about two seconds after about one second , The processing apparatus 110 can determine the corresponding dron as the controlled drones in the first image.

또한 다른 일 실시예에 있어서, 처리장치(110)는 도 6a 및 도 6b에서 설명한 방식을 조합하여 제어대상드론(200)을 식별할 수도 있다. 예컨대 제1영상 내 특정 객체를 사용자로부터 선택받고, 영상 기반의 드론 제어장치의 이동명령과 선택받은 객체의 이동 경로 또는 이동 시간을 비교하여 제어대상드론(200)을 결정할 수 있다.In yet another embodiment, the processing apparatus 110 may identify the controlled drones 200 in combination with the schemes illustrated in Figures 6A and 6B. For example, a specific object in the first image may be selected from the user, and the controlled drones 200 may be determined by comparing the movement command of the image-based dron control device with the movement path or movement time of the selected object.

처리장치(110)는 소정의 이벤트가 발생한 경우에 제2 영상이 디스플레이상에 나타나게 할 수 있다. 여기서, 소정의 이벤트는, 상기 제1 영상 내 상기 제어대상드론이 식별되지 않는 것 상기 제어대상드론과 상기 드론 제어장치 간의 거리가 소정 범위를 초과하는 것, 상기 제2 영상 표시를 위한 사용자 입력을 상기 영상 기반의 드론 제어장치가 수신하는 것, 중 하나 이상을 포함할 수 있다. 여기서 사용자 입력은 영상 기반의 드론 제어장치(100)에 장착된 물리버튼 또는 디스플레이 상의 터치 입력 또는 임의의 사용자 입력 방식을 포함할 수 있다. The processing unit 110 may cause the second image to be displayed on the display when a predetermined event occurs. Here, the predetermined event is that the control target drones in the first image are not identified. That the distance between the control target drones and the drones control device exceeds a predetermined range, a user input for the second video display And the image-based drone control device receives the image. The user input may include a physical button mounted on the image-based drone control device 100 or a touch input on the display or any user input method.

도 7a 내지 도 7c는 본 발명의 일 실시예에 따라, 이벤트가 발생되는 예시를 나타낸다. 제1 영상 내 제어대상드론(200)이 식별되지 않는 경우는 제1 카메라의 방향이 제어대상드론(200)을 비추지 않는 쪽으로 이동하거나, 제어대상드론(200)이 제1 카메라의 화각을 벗어난 곳으로 이동하는 경우를 포함할 수 있다(도 7a). 도 7a를 참조하면 영상 기반의 드론 제어장치(100)의 제1카메라에의해 영상을 취득할 수 있는 범위(R)가 나타난다. 제어대상드론(200)은 이러한 영상취득범위(R)를 벗어난 곳(OR)에 위치하기 때문에, 이 경우 제1 영상 내 제어대상드론(200)은 나타나지 않고 그 결과 처리장치(110)는 제어대상드론(200)을 제1영상 내에서 식별할 수 없게된다.Figures 7A-7C illustrate an example in which an event is generated, in accordance with one embodiment of the present invention. When the control target drones 200 in the first image are not identified, the direction of the first camera is shifted to the side not shining the controlled drones 200, or when the controlled drones 200 are moved out of the viewing angle of the first camera 200 (Fig. 7A). Referring to FIG. 7A, a range R in which an image can be acquired by the first camera of the image-based drones control apparatus 100 appears. In this case, since the control target drones 200 are located outside the image acquisition range R, in this case, the control target drones 200 do not appear in the first image, The drone 200 can not be identified in the first image.

또한 다른 일 예로 도 7b에 도시된 바와 같이, 영상취득범위(R) 내 장애물(B1)이 존재하고, 제어대상드론(200)이 이 장애물(B1) 뒤 막힌 영역(BR)에 위치하는 경우, 제1영상 내에서 제어대상드론(200)은 나타나지 않는다. 7B, when the obstacle B1 in the image acquisition range R exists and the controlled drones 200 are located in the obstructed area BR behind the obstacle B1, The control target drones 200 do not appear in the first image.

도 7c를 참조하면, 영상 기반의 드론 제어장치(100)에서 제어대상드론(200)까지의 거리D가 소정범위를 초과하는 경우도 상기 소정의 이벤트로 볼 수 있다. 이와 같이 제어대상드론(200)이 멀리 떨어져 있는 경우 제1영상 내 제어대상드론(200)의 크기가 매우 작기 때문에 사용자는 제어대상드론(200)을 확인하기 어려울 수 있기 때문이다. Referring to FIG. 7C, a case where the distance D from the image-based drones control device 100 to the drones 200 to be controlled exceeds a predetermined range may be regarded as the predetermined event. This is because, when the controlled subject drones 200 are far away, the size of the controlled subject drones 200 in the first image is very small, so that it is difficult for the user to check the controlled drones 200.

이상과 같이 소정의 이벤트가 발생되는 경우, 특히 제1영상 내에서 제어대상드론(200)이 나타나게 되지 않는 경우 처리장치(110)는 제어대상드론(200)이 촬영하고 있는 제2영상을 디스플레이(120) 상에 표시할 수 있다. 그 결과 사용자는 디스플레이(120) 상에 나타나는 제2 영상을 보면서 제어대상드론(200)에 대한 제어를 계속해 나갈 수 있다.In the case where a predetermined event is generated as described above and the control target dron 200 is not displayed in the first image, the processing device 110 displays the second image captured by the controlled drones 200 120). ≪ / RTI > As a result, the user can continue to control the controlled drones 200 while watching the second image appearing on the display 120. [

제어대상드론(200)의 이동을 제어하거나, 정확한 위치를 확인하거나, 제어대상드론(200)에서 영상 기반의 드론 제어장치(100)까지의 거리를 계산하기 위해서, 처리장치(110)는 제어대상드론(200)에 포함된 위치센서(230, GPS센서) 정보와 영상 기반의 드론 제어장치(100)에 포함된 위치센서(130, GPS 센서) 정보를 함께 이용할 수 있다. 이를 위해서, 드론 제어장치(130)는 위치센서(130)를 더 포함할 수 있다. 한편 일 실시예에서 위치센서(130)는 컨트롤러(160) 내에 내장될 수도 있다.In order to control the movement of the control target drill 200 or to confirm the exact position or to calculate the distance from the control target drill 200 to the image based drone control device 100, The information of the position sensor 230 (GPS sensor) included in the drone 200 and the information of the position sensor 130 (GPS sensor) included in the image-based drone control device 100 can be used together. To this end, the drones controller 130 may further include a position sensor 130. In one embodiment, the position sensor 130 may be embedded in the controller 160.

일 실시예에서 처리장치(110)는, 제어대상드론(200)으로부터 수신한 GPS 정보와 드론 제어장치의 GPS 정보를 기초로 차등(Differential)GPS 보정을 수행하여 상기 제어대상드론의 위치를 결정할 수 있다. 제어대상드론(200)의 GPS 정보만으로는 실제로 정확한 제어대상드론의 위치를 확인하기 어렵다. 따라서 본 발명에서는 영상 기반의 드론 제어장치(100)에 부착된 GPS 센서의 정보를 활용하여, 차등 GPS 보정을 수행할 수 있고, 그 결과 제어대상드론이 보내는 GPS값을 보정하여 정확한 드론의 위치를 추정할 수 있다.In one embodiment, the processing apparatus 110 may perform differential GPS correction based on the GPS information received from the controlled subject drone 200 and the GPS information of the drones control device to determine the position of the controlled drones have. It is difficult to confirm the position of the dron actually to be controlled with only the GPS information of the drones 200 to be controlled. Accordingly, in the present invention, differential GPS correction can be performed using the information of the GPS sensor attached to the image-based dron controller 100, and as a result, the GPS value sent from the controlled drones is corrected, Can be estimated.

도 1을 다시 참조하면, 영상 기반의 드론 제어장치(100)는 제어대상드론(200)을 무선 제어하기위한 컨트롤러(160)를 더 포함할 수 있다. 컨트롤러(160)는 처리장치(110)와 하나의 케이스에 내장될 수도 있고 또는 독립적인 케이스에 내장될 수 있다. 컨트롤러(160)는 디스플레이(120)가 내장된 회로와 유선 또는 무선으로 연결될 수 있다. Referring back to FIG. 1, the image-based dron controller 100 may further include a controller 160 for wirelessly controlling the drones 200 to be controlled. The controller 160 may be embedded with the processing unit 110 in one case or in a separate case. The controller 160 may be connected to the circuit in which the display 120 is built, either in a wired or wireless manner.

도 8a 내지 도8c는 본 발명의 일 실시예에 따른 컨트롤러(160)를 나타낸다. 도8a 내지 도 8c 를 참조하면 컨트롤러(160)는, 스틱형의 바디(161), 바디(161)의 제1 위치에 설치된 제1 조이스틱(162), 제1 조이스틱(162)과 90도 이상 180도 이하의 사이각을 갖도록 상기 바디(161)의 제2 위치에 설치된 제2 조이스틱(163)을 포함할 수 있다. 여기서 제1 조이스틱은 2축 제어를 위해 2방향 이상 이동이 가능한 스틱 또는 버튼으로 구성될 수 있다. 또한 제2 조이스틱(163)은 바디(161)의 중심의 길이방향을 축으로 제1 조이스틱(162)의 방향에서 90도 이상 180 이하의 위치에 배치될 수 있다. 즉, 사용자가 한 손으로 컨트롤러(160)를 잡았을 때, 제1 조이스틱(162)에 엄지가 위치하고, 검지(또는 중지)가, 제2 조이스틱(163)에 위치할 수 있도록 제2 조이스틱(163)의 위치가 결정될 수 있다. 8A-8C illustrate a controller 160 according to one embodiment of the present invention. 8A to 8C, the controller 160 includes a stick type body 161, a first joystick 162 installed at a first position of the body 161, a first joystick 162, And a second joystick 163 installed at a second position of the body 161 so as to have an angle of not more than a predetermined angle. Here, the first joystick may be configured as a stick or button capable of moving in two or more directions for biaxial control. Also, the second joystick 163 may be disposed at a position of 90 degrees or more and 180 degrees or less from the direction of the first joystick 162 about the longitudinal direction of the center of the body 161. That is, when the user holds the controller 160 with one hand, the second joystick 163 is positioned so that the thumb is positioned on the first joystick 162 and the detection (or stop) is positioned on the second joystick 163. [ Can be determined.

또한 컨트롤러(160)는 제1 및 제2 위치와 다른 제3 위치에 설치된 고도제어를 위한 제3 조이스틱(164)을 더 포함할 수 있다. 여기서 제1 조이스틱은 제어대상드론의 X축, Y축 제어에 관련되고, 제2 조이스틱은 제어대상드론의 Z축 제어에 관련된다. XYZ 축 제어에 비하여 고도제어는 상대적으로 적은 회수의 제어를 필요로 한다. 따라서 제3 조이스틱은 사용자가 컨트롤러를 한 손으로 잡았을 때, 손가락으로부터의 거리가 제1 조이스틱과 제2 조이스틱에 비하여 더 먼 곳에 위치할 수 있다. 도 8c에 도시된 바와 같이 제2 조이스틱(162)의 위쪽에 제3 조이스틱이 설치되는 경우, 사용자는 제2조이스틱에 놓인 검지를 제3 조이스틱으로 옮겨 제어대상드론의 고도제어를 수행할 수 있다. 일 실시예에서 제3 조이스틱은 조그셔틀일 수 있다.In addition, the controller 160 may further include a third joystick 164 for altitude control provided in a third position different from the first and second positions. Here, the first joystick relates to the X-axis and Y-axis control of the controlled drones, and the second joystick relates to the Z-axis control of the controlled drones. Compared to the XYZ axis control, the elevation control requires a relatively small number of controls. Therefore, when the user holds the controller with one hand, the third joystick can be located farther from the finger than the first joystick and the second joystick. When the third joystick is installed above the second joystick 162 as shown in FIG. 8C, the user can move the detection placed on the second joystick to the third joystick to perform the height control of the controlled drones. In one embodiment, the third joystick may be a jog shuttle.

한편 다른 일실시예에 있어서, 제어대상드론의 상하 고도 제어는, 컨트롤러 상의 물리버튼 또는 가속도 센서를 이용한 모션 컨트롤에 의해 수행될 수도 있다. On the other hand, in another embodiment, the up-and-down elevation control of the controlled drones may be performed by motion control using a physical button on the controller or an acceleration sensor.

도 9는 본 발명의 일 실시예에 따른 드론 제어장치(100)의 예시적인 형태이다. 도 9는 드론 제어장치(100)의 컨트롤러가 생략된 도이다. 도 9를 참조하면 사용자는 드론 제어장치(100)를 안면부에 부착할 수 있다. 전면에 위치한 제1카메라(150)를 통해 전면의 영상을 획득하고, 후면에 위치한 디스플레이를 통해 제1카메라의 제1영상을 출력할 수 있다. 제2 영상을 디스플레이상에 출력하거나, 출력 형태를 제어하기 위해 물리버튼이 구비될 수 있다. 상술한 출력 형태는 제1영상과 제2영상의 디스플레이 내 위치 및 비율을 포함할 수 있다.Figure 9 is an exemplary form of the drones control device 100 according to one embodiment of the present invention. FIG. 9 is a diagram in which the controller of the drone control device 100 is omitted. Referring to FIG. 9, a user may attach the drones control device 100 to the face portion. An image of the front side can be obtained through the first camera 150 located on the front side and a first image of the first camera can be outputted through the rear side display. A physical button may be provided for outputting the second image on the display or for controlling the output form. The above-described output format may include positions and ratios in the display of the first image and the second image.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.While the invention has been shown and described with reference to certain embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. However, it should be understood that such modifications are within the technical scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

Claims (7)

제1 카메라에의해 촬영된 제1 영상을 제1영역에 표시하는 디스플레이; 및
상기 제1 영상 내 제어대상드론을 식별하는 처리장치를 포함하되,
상기 처리장치는, 소정의 이벤트가 발생하면 상기 제어대상드론에 설치된 제2 카메라에의해 획득된 제2 영상을 상기 디스플레이 내 제2 영역에 표시하게 하는, 영상 기반의 드론 제어장치.
A display for displaying a first image photographed by the first camera in a first area; And
And a processing device for identifying the controlled object drones in the first image,
Wherein the processing device displays a second image acquired by a second camera installed on the controlled subject drones in a second area in the display when a predetermined event occurs.
제1항에 있어서,
상기 소정의 이벤트는,
상기 제1 영상 내 상기 제어대상드론이 식별되지 않는 것
상기 제어대상드론과 상기 드론 제어장치 간의 거리가 소정 범위를 초과하는 것,
상기 제2 영상 표시를 위한 사용자 입력을 상기 영상 기반의 드론 제어장치가 수신하는 것, 중 하나 이상을 포함하는 것을 특징으로 하는 영상 기반의 드론 제어장치.
The method according to claim 1,
The predetermined event may be,
The control target drones in the first image are not identified
The distance between the control target drones and the drones control device exceeds a predetermined range,
And wherein the image-based drones control device receives user input for the second image display.
제2항에 있어서,
상기 처리장치는,
사용자가 지정한 상기 제1 영상 내 일 지점을 기초로 상기 제어대상드론을 식별하거나,
상기 영상 기반의 드론 제어장치로부터의 이동명령과 상기 제1 영상 내 드론의 이동상태를 기초로 상기 제어대상드론을 식별하는 것을 특징으로 하는 영상 기반의 드론 제어장치.
3. The method of claim 2,
The processing apparatus includes:
The control target drones may be identified based on the one point in the first image designated by the user,
Wherein the control unit identifies the control target drones based on a movement command from the image-based dron controller and a movement state of the first image dronon.
제2항에 있어서,
GPS 센서를 더 포함할 수 있고,
상기 처리장치는,
상기 제어대상드론으로부터 수신한 제1 GPS 정보와 상기 영상 기반의 드론 제어장치의 제2 GPS 정보를 기초로 차등(Differential)GPS 보정을 수행하여 상기 제어대상드론의 위치를 결정하는 것을 특징으로 하는 영상 기반의 드론 제어장치.
3. The method of claim 2,
A GPS sensor,
The processing apparatus includes:
Wherein the position of the controlled drones is determined by performing differential GPS correction based on the first GPS information received from the controlled drones and the second GPS information of the image-based dron controller. Based drones.
제1항에 있어서,
상기 제어대상드론을 무선 제어하기위한 컨트롤러를 더 포함하고,
상기 컨트롤러는,
스틱형의 바디,
상기 바디의 제1 위치에 설치된, 제1 조이스틱,
상기 제1 조이스틱과 90도 이상 180도 이하의 사이각을 갖도록 상기 바디의 제2 위치에 설치된 제2 조이스틱, 및
상기 제1 및 제2 위치와 다른 제3 위치에 설치된 고도제어를 위한 제3 조이스틱을 포함하고,
상기 제1 조이스틱은 상기 제어대상드론의 X축 및 Y축 회전 제어에 관련되고,
상기 제2 조이스틱은 상기 제어대상드론의 Z축 회전 제어에 관련되는 것을 특징으로 하는 영상 기반의 드론 제어장치.
The method according to claim 1,
Further comprising a controller for wirelessly controlling the drones to be controlled,
The controller comprising:
Stick type body,
A first joystick disposed at a first position of the body,
A second joystick provided at a second position of the body so as to have an angle of 90 degrees or more and 180 degrees or less with respect to the first joystick,
And a third joystick for altitude control provided in a third position different from the first and second positions,
The first joystick is related to the X-axis and Y-axis rotation control of the controlled drones,
Wherein the second joystick is related to Z-axis rotation control of the controlled drones.
제1항에 있어서,
상기 디스플레이는, 헤드마운티드 디스플레이 장치인 것을 특징으로 하는 영상 기반의 드론 제어장치.
The method according to claim 1,
Wherein the display is a head-mounted display device.
제1항에 있어서,
상기 제2영상은 상기 제1영상을 대체하거나,
상기 제1영상과 함께 표시되는 것을 특징으로 하는 영상 기반의 드론 제어장치.The method according to claim 1,
The second image may replace the first image,
And the second image is displayed together with the first image.
KR1020160159851A 2016-11-29 2016-11-29 Control apparatus for drone based on image KR20180060403A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160159851A KR20180060403A (en) 2016-11-29 2016-11-29 Control apparatus for drone based on image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160159851A KR20180060403A (en) 2016-11-29 2016-11-29 Control apparatus for drone based on image

Publications (1)

Publication Number Publication Date
KR20180060403A true KR20180060403A (en) 2018-06-07

Family

ID=62622053

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160159851A KR20180060403A (en) 2016-11-29 2016-11-29 Control apparatus for drone based on image

Country Status (1)

Country Link
KR (1) KR20180060403A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11883761B2 (en) 2020-11-12 2024-01-30 Universal City Studios Llc System and method for interactive drone experience
KR102638951B1 (en) 2023-08-09 2024-02-21 (주)모빌리티원 Heterogeneous drone/robot Unified Remote-Control system and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9075136B1 (en) 1998-03-04 2015-07-07 Gtj Ventures, Llc Vehicle operator and/or occupant information apparatus and method
KR101617411B1 (en) * 2015-08-17 2016-05-18 박시몽 Method and system for controlling a drone
KR101652192B1 (en) 2015-01-30 2016-08-30 주식회사 드론오렌지 Livestocks tracking and management system using individual identification apparatus and drone

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9075136B1 (en) 1998-03-04 2015-07-07 Gtj Ventures, Llc Vehicle operator and/or occupant information apparatus and method
KR101652192B1 (en) 2015-01-30 2016-08-30 주식회사 드론오렌지 Livestocks tracking and management system using individual identification apparatus and drone
KR101617411B1 (en) * 2015-08-17 2016-05-18 박시몽 Method and system for controlling a drone

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11883761B2 (en) 2020-11-12 2024-01-30 Universal City Studios Llc System and method for interactive drone experience
KR102638951B1 (en) 2023-08-09 2024-02-21 (주)모빌리티원 Heterogeneous drone/robot Unified Remote-Control system and method

Similar Documents

Publication Publication Date Title
US10551834B2 (en) Method and electronic device for controlling unmanned aerial vehicle
CN107402000B (en) Method and system for correlating a display device with respect to a measurement instrument
US11557134B2 (en) Methods and systems for training an object detection algorithm using synthetic images
US10852847B2 (en) Controller tracking for multiple degrees of freedom
US9086724B2 (en) Display control system, display control method, computer-readable storage medium having stored thereon display control program, and display control apparatus
JP6611501B2 (en) Information processing apparatus, virtual object operation method, computer program, and storage medium
US10438411B2 (en) Display control method for displaying a virtual reality menu and system for executing the display control method
JP2016167688A (en) Image generation method, system, device, and terminal
JP2013258614A (en) Image generation device and image generation method
JP6399692B2 (en) Head mounted display, image display method and program
JP2003267295A (en) Remote operation system
CN113508351A (en) Control method, intelligent glasses, movable platform, holder, control system and computer-readable storage medium
US11960635B2 (en) Virtual object display device and virtual object display method
US20210042513A1 (en) Information processing apparatus, information processing method, and program
CN113448343B (en) Method, system and readable medium for setting a target flight path of an aircraft
JP2017183852A (en) Display device and display control method
KR20180060403A (en) Control apparatus for drone based on image
CN113677412A (en) Information processing apparatus, information processing method, and program
WO2022176450A1 (en) Information processing device, information processing method, and program
US20220166917A1 (en) Information processing apparatus, information processing method, and program
JP6890759B2 (en) Flight route guidance system, flight route guidance device and flight route guidance method
US10845603B2 (en) Imaging assisting device and program
US20230245397A1 (en) Information processing method, program, and system
JPWO2020110293A1 (en) Display control system, display control device and display control method
WO2024057783A1 (en) Information processing device provided with 360-degree image viewpoint position identification unit

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application