KR20170090603A - Method and system for controlling drone using hand motion tracking - Google Patents

Method and system for controlling drone using hand motion tracking Download PDF

Info

Publication number
KR20170090603A
KR20170090603A KR1020160011144A KR20160011144A KR20170090603A KR 20170090603 A KR20170090603 A KR 20170090603A KR 1020160011144 A KR1020160011144 A KR 1020160011144A KR 20160011144 A KR20160011144 A KR 20160011144A KR 20170090603 A KR20170090603 A KR 20170090603A
Authority
KR
South Korea
Prior art keywords
hand
control signal
movement
drones
controlling
Prior art date
Application number
KR1020160011144A
Other languages
Korean (ko)
Inventor
박상욱
강찬우
황혜진
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020160011144A priority Critical patent/KR20170090603A/en
Publication of KR20170090603A publication Critical patent/KR20170090603A/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C27/00—Rotorcraft; Rotors peculiar thereto
    • B64C27/04—Helicopters
    • B64C27/08—Helicopters with two or more rotors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G06K9/00355—
    • G06K9/00389—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/06—Terminal devices adapted for operation in multiple networks or having at least two operational modes, e.g. multi-mode terminals
    • B64C2201/024—
    • B64C2201/146—

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명의 일 실시예에 따르면, 키넥트 센서로부터 획득한, 손의 움직임에 대한 입체 영상 데이터의 영상 처리에 기초하여 제1 제어 신호 및 제2 제어 신호를 생성하는 컴퓨팅 장치; 제1 통신망을 통해 수신된 상기 제1 제어 신호에 기초하여 이동이 제어되는, 드론의 비행 장치를 포함하는 비행부; 제2 통신망을 통해 수신된 상기 제2 제어 신호에 기초하여 물체의 장착 또는 분리가 가능하도록 제어되며, 상기 드론의 비행 장치에 장착된 구동 장치를 포함하는 구동부; 를 포함하는 손의 움직임 인식을 이용한 드론 제어 시스템이 제공된다.According to an embodiment of the present invention, there is provided a computing device for generating a first control signal and a second control signal based on image processing of stereoscopic image data on motion of a hand obtained from a Kinect sensor; A flight unit including a flight device of the drones, the movement of which is controlled based on the first control signal received via the first communication network; A driving unit including a driving device mounted on a flying device of the drones, the driving device being controlled to be able to mount or separate an object based on the second control signal received via a second communication network; A drones control system using a motion recognition of a hand including a hand.

Description

손의 움직임 인식을 이용한 드론 제어 시스템 및 방법{METHOD AND SYSTEM FOR CONTROLLING DRONE USING HAND MOTION TRACKING}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a drones control system,

본 발명은 손의 움직임 인식을 이용한 드론 제어 시스템 및 방법에 관한 것으로, 보다 상세하게는 손의 이동에 대응하여 드론의 비행 장치가 제어되고, 손의 제스처에 대응하여 드론의 구동 장치가 제어되므로, 손의 움직임만으로 드론을 제어하여 물체를 이동시킬 수 있는 시스템 및 방법에 관한 것이다.[0001] The present invention relates to a drones control system and method using hand motion recognition, and more particularly to a drones control system for a dron in response to the movement of a hand, And more particularly, to a system and method capable of moving an object by controlling a dron only by the movement of a hand.

드론(Drone)이란 비행기나 헬리콥터와 유사한 형태로 제작된 소형 무인비행체를 지칭한다. 최초 군사 목적을 수행했던 이 무인항공기는 일상으로 나와 현재 농경, 촬영, 배송 등 여러 분야에 사용되고 있으며 연평균 8% 성장률을 기록하며 새로운 산업으로 떠오르고 있다. 드론 산업은 향후 큰 규모로 확대될 것으로 전망되고 있으며 그 가능성은 무궁무진하다 볼 수 있다. 그러나, 기존의 드론은 RC조종기를 통한 제어 방식을 사용하므로, 사용자의 편의성이 부족하다는 점 과 정교한 조작이 불가능하다는 단점을 지닌다.Drone refers to a small unmanned aerial vehicle that is similar to a plane or helicopter. This unmanned aerial vehicle, which was the first to be used for military purposes, is routinely used in a variety of fields such as agriculture, shooting and shipping, and is emerging as a new industry with an average annual growth rate of 8%. The drones industry is expected to expand to a large scale in the future, and the possibilities are endless. However, since the existing drone uses the control method through the RC controller, there is a disadvantage that the convenience of the user is insufficient and the operation can not be precisely performed.

한편, 키넥트 센서란 인체 관절의 추출 및 추적에 특화된 카메라 센서를 말한다. 키넥트 센서는 3차원 입체 영상 데이터를 사용하여 사용자의 위치와 움직임을 감지할 수 있다.On the other hand, the Kinect sensor is a camera sensor specialized in the extraction and tracking of human joints. The Kinect sensor can detect the user's position and motion using 3D stereoscopic image data.

본 발명은 손의 움직임만으로 드론을 제어하는 것을 일 목적으로 한다.The purpose of the present invention is to control the drone by only the movement of the hand.

본 발명은 손의 움직임만으로 드론을 제어하여 물체를 이동시키는 것을 다른 목적으로 한다.Another object of the present invention is to move an object by controlling a dron by only the movement of a hand.

본 발명은 드론 제어에 있어 기존의 통신망 및 송수신기를 사용하는 방법을 제공하는 것을 다른 목적으로 한다.It is another object of the present invention to provide a method of using an existing communication network and a transceiver in drones control.

본 발명의 일 실시예에 따르면, 키넥트 센서로부터 획득한, 손의 움직임에 대한 입체 영상 데이터의 영상 처리에 기초하여 제1 제어 신호 및 제2 제어 신호를 생성하는 컴퓨팅 장치; 제1 통신망을 통해 수신된 상기 제1 제어 신호에 기초하여 이동이 제어되는, 드론의 비행 장치를 포함하는 비행부; 제2 통신망을 통해 수신된 상기 제2 제어 신호에 기초하여 물체의 장착 또는 분리가 가능하도록 제어되며, 상기 드론의 비행 장치에 장착된 구동 장치를 포함하는 구동부; 를 포함하는 손의 움직임 인식을 이용한 드론 제어 시스템이 제공된다.According to an embodiment of the present invention, there is provided a computing device for generating a first control signal and a second control signal based on image processing of stereoscopic image data on motion of a hand obtained from a Kinect sensor; A flight unit including a flight device of the drones, the movement of which is controlled based on the first control signal received via the first communication network; A driving unit including a driving device mounted on a flying device of the drones, the driving device being controlled to be able to mount or separate an object based on the second control signal received via a second communication network; A drones control system using a motion recognition of a hand including a hand.

본 발명에 있어서, 상기 컴퓨팅 장치는, 사용자의 동작을 입체적으로 촬상하여 입체 영상 데이터를 획득하는 키넥트 센서; 상기 키넥트 센서가 획득한 영상 데이터로부터 골격을 인식하는 골격 인식부; 인식된 골격에 기초하여 손의 움직임을 판단하는 손 움직임 판단부; 상기 손의 움직임으로부터 상기 제1 제어 신호 또는 상기 제2 제어 신호를 생성하는 제어 신호 생성부; 를 포함할 수 있다.In the present invention, the computing device may include: a Kinect sensor for three-dimensionally capturing an operation of a user to acquire stereoscopic image data; A skeleton recognition unit for recognizing a skeleton from the image data acquired by the kinect sensor; A hand motion determination unit for determining a motion of the hand based on the recognized skeleton; A control signal generator for generating the first control signal or the second control signal from the motion of the hand; . ≪ / RTI >

본 발명에 있어서, 상기 제어 신호 생성부는 판단된 손의 움직임에 유효한 손의 이동이 존재하는지를 감지하여, 유효한 손의 이동이 존재하는 경우 상기 드론의 비행 장치를 제어할 수 있는 제1 제어 신호를 생성할 수 있다.In the present invention, the control signal generator detects whether there is a movement of a hand that is effective in the movement of the determined hand, and generates a first control signal capable of controlling the flight device of the drones when there is movement of a valid hand can do.

본 발명에 있어서, 상기 제어 신호 생성부는 판단된 손의 움직임에 유효한 손의 체스처가 존재하는지를 감지하여, 유효한 손의 제스처가 존재하는 경우 상기 드론의 구동 장치를 제어할 수 있는 상기 제2 제어 신호를 생성할 수 있다.In the present invention, the control signal generator detects whether there is a chess piece of a hand available for the determined hand movement, and when the hand gesture of a valid hand is present, the control signal generator generates the second control signal Can be generated.

본 발명에 있어서, 상기 구동 장치는 전기적 신호에 따라 ON/OFF 되는 전자석일 수 있다.In the present invention, the driving device may be an electromagnet which is turned on / off according to an electrical signal.

본 발명에 있어서, 상기 제1 통신망은 WiFi 통신망이고, 상기 제2 통신망은 블루투스(Bluetooth) 통신망일 수 있다.In the present invention, the first communication network may be a WiFi communication network, and the second communication network may be a Bluetooth communication network.

본 발명에 있어서, 상기 구동부는 상기 제2 제어 신호를 상기 구동 장치를 제어하기 위한 전기적 신호로 변환하는 컨트롤러를 더 포함할 수 있다.In the present invention, the driving unit may further include a controller for converting the second control signal into an electrical signal for controlling the driving unit.

본 발명에 있어서, 상기 영상 처리는 사용자의 손의 움직임을 감지하기 위하여 골격 인식, 핸드 트랙킹(Hand Tracking) 또는 핑거 트랙킹(Finger Tracking)을 수행할 수 있다.In the present invention, the image processing may perform skeleton recognition, hand tracking, or finger tracking to detect movement of a user's hand.

본 발명에 있어서, 상기 제1 제어 신호는 상기 손의 이동에 대응하여 상기 드론이 이동할 수 있도록 상기 드론의 비행장치를 제어하는 신호일 수 있다.In the present invention, the first control signal may be a signal for controlling the flying device of the drones so that the dron can move in correspondence with the movement of the hand.

본 발명에 있어서, 상기 제2 제어 신호는 상기 손의 움직임에 의해 판단된 상기 손의 제스처가 주먹을 쥐는 제스처인 경우 상기 구동 장치가 물체를 장착하도록 제어하고, 상기 손의 제스처가 손을 펴는 제스처인 경우 상기 구동 장치가 물체를 분리하도록 제어하는 신호일 수 있다.In the present invention, the second control signal controls the driving device to mount an object when the gesture of the hand determined by the movement of the hand is a gesture to grasp the fist, and the gesture of the hand causes a gesture The driving device may be a signal for controlling the object to be separated.

본 발명의 다른 일 실시예에 의하면, 키넥트 센서로부터 획득한, 손의 움직임에 대한 입체 영상 데이터의 영상 처리에 기초하여 제1 제어 신호 및 제2 제어 신호를 생성하는 단계; 제1 통신망을 통해 수신된 상기 제1 제어 신호에 기초하여 드론의 비행 장치의 이동을 제어하는 단계; 제2 통신망을 통해 수신된 상기 제2 제어 신호에 기초하여 물체의 장착 또는 분리가 가능하도록 제어되며, 상기 드론의 비행 장치에 장착된 구동 장치를 제어하는 단계; 를 포함하는 손의 움직임 인식을 이용한 드론 제어 방법이 제공된다.According to another embodiment of the present invention, there is provided a method of generating stereoscopic image data, comprising the steps of: generating a first control signal and a second control signal based on image processing of stereoscopic image data on movement of a hand obtained from a Kinect sensor; Controlling movement of the drones of the flight device based on the first control signal received via the first communication network; Controlling the driving device mounted on the flying device of the drones so as to be able to mount or separate objects based on the second control signal received through the second communication network; There is provided a dron control method using motion recognition of a hand.

본 발명에 있어서, 상기 제1 제어 신호 및 제2 제어 신호를 생성하는 단계는; 키넥트 센서를 사용하여 사용자의 동작을 입체적으로 촬상하여 입체 영상 데이터를 획득하는 단계; 상기 키넥트 센서가 획득한 영상 데이터로부터 골격을 인식하는 단계; 인식된 골격에 기초하여 손의 움직임을 판단하는 단계; 상기 손의 움직임으로부터 상기 제1 제어 신호 또는 상기 제2 제어 신호를 생성하는 제어 신호 생성 단계;를 포함할 수 있다.In the present invention, the step of generating the first control signal and the second control signal includes: Acquiring stereoscopic image data by stereoscopically capturing an operation of a user using a Kinect sensor; Recognizing a skeleton from the image data acquired by the Kinect sensor; Determining movement of the hand based on the recognized skeleton; And a control signal generating step of generating the first control signal or the second control signal from the motion of the hand.

본 발명에 있어서, 상기 제어 신호 생성 단계는 판단된 손의 움직임에 유효한 손의 이동이 존재하는지를 감지하여, 유효한 손의 이동이 존재하는 경우 상기 드론의 비행 장치를 제어할 수 있는 제1 제어 신호를 생성할 수 있다.In the present invention, the control signal generation step may include a step of detecting whether there is a movement of a hand corresponding to the determined movement of the hand, and if the movement of the hand is valid, a first control signal capable of controlling the flight device of the dron Can be generated.

본 발명에 있어서, 상기 제어 신호 생성 단계는 판단된 손의 움직임에 유효한 손의 체스처가 존재하는지를 감지하여, 유효한 손의 제스처가 존재하는 경우 상기 드론의 구동 장치를 제어할 수 있는 상기 제2 제어 신호를 생성할 수 있다.In the present invention, the control signal generation step may include detecting the presence of a valid chess piece of the hand in the determined hand movement, and if the effective hand gesture exists, Lt; / RTI >

본 발명에 있어서, 상기 구동 장치는 전기적 신호에 따라 ON/OFF 되는 전자석일 수 있다.In the present invention, the driving device may be an electromagnet which is turned on / off according to an electrical signal.

본 발명에 있어서, 상기 제1 통신망은 WiFi 통신망이고, 상기 제2 통신망은 블루투스(Bluetooth) 통신망일 수 있다.In the present invention, the first communication network may be a WiFi communication network, and the second communication network may be a Bluetooth communication network.

본 발명에 있어서, 상기 구동 장치를 제어하는 단계는, 상기 제2 제어 신호를 상기 구동 장치를 제어하기 위한 전기적 신호로 변환하는 단계를 포함할 수 있다.In the present invention, controlling the driving device may include converting the second control signal into an electrical signal for controlling the driving device.

본 발명에 있어서, 상기 영상 처리는 사용자의 손의 움직임을 감지하기 위하여 골격 인식, 핸드 트랙킹(Hand Tracking) 또는 핑거 트랙킹(Finger Tracking)을 수행할 수 있다.In the present invention, the image processing may perform skeleton recognition, hand tracking, or finger tracking to detect movement of a user's hand.

본 발명에 있어서, 상기 제1 제어 신호는 상기 손의 이동에 대응하여 상기 드론이 이동할 수 있도록 상기 드론의 비행장치를 제어하는 신호일 수 있다.In the present invention, the first control signal may be a signal for controlling the flying device of the drones so that the dron can move in correspondence with the movement of the hand.

본 발명에 있어서, 상기 제2 제어 신호는 상기 손의 움직임에 의해 판단된 상기 손의 제스처가 주먹을 쥐는 제스처인 경우 상기 구동 장치가 물체를 장착하도록 제어하고, 상기 손의 제스처가 손을 펴는 제스처인 경우 상기 구동 장치가 물체를 분리하도록 제어하는 신호일 수 있다.In the present invention, the second control signal controls the driving device to mount an object when the gesture of the hand determined by the movement of the hand is a gesture to grasp the fist, and the gesture of the hand causes a gesture The driving device may be a signal for controlling the object to be separated.

본 발명에 의하면, 손의 이동에 대응하여 드론의 비행 장치가 제어되고, 손의 제스처에 따라 드론의 구동 장치가 제어되므로, 손의 움직임만으로 드론을 제어하여 물체를 이동시킬 수 있어 작업의 효율을 증대시킬 수 있다.According to the present invention, the flight device of the dron is controlled in response to the movement of the hand, and the driving device of the dron is controlled according to the gesture of the hand, so that the object can be moved by controlling the dron only by the movement of the hand, Can be increased.

본 발명에 의하면, 기존의 RC(Radio Control) 조종기에 의한 드론 조종 방법이 아닌, 사용자의 손의 움직임 인식에 의한 드론 제어 방법이 제공되므로, 드론 제어의 편의성이 향상될 수 있다. 즉, 본 발명의 일 실시예에 의하면 별도의 조종 장치 없이도 사용자의 손의 움직임을 영상 처리를 통해 분석하고, 이로부터 드론의 제어 데이터를 생성하므로, 드론을 제어하는 방식에 있어 자유도가 높아지고 장치 수의 절감을 달성할 수 있다.According to the present invention, the dron control method by the motion recognition of the user's hand is provided instead of the dron control method using the conventional RC (Radio Control) controller, so that the convenience of the dron control can be improved. That is, according to the embodiment of the present invention, since the motion of the user's hand is analyzed through the image processing and the control data of the drone is generated therefrom without a separate control device, the degree of freedom in the method of controlling the dron is increased, Can be achieved.

또한, 본 발명의 일 실시예에 의하면 손의 움직임 인식으로 인하여 드론의 이동뿐 아니라 드론이 특정 행위를 하도록 구현할 수 있으므로, 기존의 RC 조종기로는 불가능했던 정교한 동작을 드론이 수행하도록 할 수 있다.In addition, according to the embodiment of the present invention, it is possible to implement not only the movement of the dron but also the dron as a specific action due to the motion recognition of the hand, so that the drone can perform a sophisticated operation impossible with the conventional RC controller.

또한, 본 발명의 일 실시예에 의하면 기존의 통신망 및 송수신기를 사용하므로, 드론 제어의 활용 범위를 넒힐 수 있다.In addition, according to one embodiment of the present invention, since the conventional communication network and the transceiver are used, it is possible to broaden the application range of the drone control.

도 1 은 본 발명의 일 실시예에 따른 손의 움직임 인식을 이용한 드론 제어 시스템에서 사용되는 장치들을 간략히 도시한 도면이다.
도 2 는 본 발명의 일 실시예에 따른 손의 움직임 인식을 이용한 드론 제어 시스템의 내부 구성도를 도시한 도면이다.
도 3a 내지 도 3c 는 본 발명의 일 실시예에 있어서 제1 제어 신호에 대응하여 이동하는 드론을 도시한 도면이다.
도 4a 및 4b 는 본 발명의 일 실시예에 있어서 제2 제어 신호에 대응하여 동작하는 드론을 도시한 도면이다.
도 5 는 본 발명의 일 실시예에 따른 손의 움직임 인식을 이용한 드론 제어 방법을 시간 순으로 도시한 순서도이다.FIG. 1 is a schematic view of apparatuses used in a drones control system using hand motion recognition according to an embodiment of the present invention. Referring to FIG.
FIG. 2 is a diagram illustrating an internal configuration of a drones control system using hand motion recognition according to an embodiment of the present invention. Referring to FIG.
FIGS. 3A through 3C are diagrams illustrating a drone moving in response to a first control signal according to an embodiment of the present invention. FIG.
4A and 4B are diagrams illustrating a dron that operates in response to a second control signal in an embodiment of the present invention.
FIG. 5 is a flowchart illustrating a dron control method using hand motion recognition according to an embodiment of the present invention in time sequence.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.The following detailed description of the invention refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different, but need not be mutually exclusive. For example, the specific shapes, structures, and characteristics described herein may be implemented by changing from one embodiment to another without departing from the spirit and scope of the invention. It should also be understood that the location or arrangement of individual components within each embodiment may be varied without departing from the spirit and scope of the present invention. Therefore, the following detailed description is not to be taken in a limiting sense, and the scope of the present invention should be construed as encompassing the scope of the appended claims and all equivalents thereof. In the drawings, like reference numbers designate the same or similar components throughout the several views.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to facilitate a person skilled in the art to which the present invention pertains.

도 1 은 본 발명의 일 실시예에 따른 손의 움직임 인식을 이용한 드론 제어 시스템에서 사용되는 장치들을 간략히 도시한 도면이다.FIG. 1 is a schematic view of apparatuses used in a drones control system using hand motion recognition according to an embodiment of the present invention. Referring to FIG.

도 1 을 참조하면, 본 발명의 일 실시예에 따른 드론 제어 시스템은 컴퓨팅 장치(1), 비행 장치(2) 및 전자석(3)을 포함한다. 본 발명의 일 실시예에 따르면, 비행 장치(2)에 전자석(3)이 장착된 형태가 드론(4)(drone)을 구성할 수 있다. 즉, 본 발명의 일 실시에에 따른 드론(4)은 비행 장치(2)를 이용하여 3 차원 상의 이동이 가능하고, 비행 장치(2)에 장착된 전자석(3)을 이용해 물체를 탈부착할 수 있는 특성을 가진다.1, a drones control system according to an embodiment of the present invention includes a computing device 1, a flight device 2, and an electromagnet 3. According to an embodiment of the present invention, a configuration in which the electromagnet 3 is mounted on the flight device 2 can constitute a drone 4. That is, the drone 4 according to one embodiment of the present invention is capable of moving in three dimensions using the flight device 2, and is capable of detaching and attaching the object using the electromagnet 3 mounted on the flight device 2 .

보다 상세히, 본 발명의 일 실시예에 따르면 컴퓨팅 장치(1)는 영상 처리를 통해 사용자의 손의 움직임을 인식 및 판단하고, 드론(4)의 제어 신호를 생성한다. 이때, 컴퓨팅 장치(1)가 생성하는 제어 신호는 드론(4)의 비행 장치(2)를 제어하는 제1 제어 신호 및 드론(4)의 전자석(3)을 제어하는 제2 제어 신호를 포함할 수 있다. 또한, 제1 제어 신호는 손의 이동과 매칭되는 신호이고, 제2 제어 신호는 손의 제스처와 매칭되는 신호이다. 제1 제어 신호를 수신한 드론(4)의 비행 장치(2)는 손의 이동과 대응되도록 목표 위치로 이동하고, 제2 제어 신호를 수신한 전자석(3)은 손의 제스처와 대응되도록 전자석(3)의 ON/OFF를 수행한다.In more detail, according to an embodiment of the present invention, the computing device 1 recognizes and determines movement of a user's hand through image processing, and generates a control signal of the drones 4. At this time, the control signal generated by the computing device 1 includes a first control signal for controlling the flight device 2 of the drone 4 and a second control signal for controlling the electromagnet 3 of the drone 4 . Also, the first control signal is a signal that matches the movement of the hand, and the second control signal is a signal that matches the gesture of the hand. The flying device 2 of the drones 4 that has received the first control signal moves to the target position so as to correspond to the movement of the hand and the electromagnet 3 that has received the second control signal moves to the electromagnet 3) is ON / OFF.

또한 본 발명의 일 실시예에 따른 비행 장치(2)는 드론(4)이 3차원 입체 공간 상에서 이동할 수 있도록 하는 장치로, 제1 제어 신호에 따라 자세 및 프로펠러를 제어하여 목표 위치로 이동할 수 있다. 드론(4)의 비행 장치(2)와 관련하여, 공지의 드론 비행 장치들이 제한없이 사용될 수 있다.In addition, the flight device 2 according to an embodiment of the present invention is an apparatus that allows the drones 4 to move on a three-dimensional space, and can control the posture and the propeller according to the first control signal to move to the target position . With respect to the flight device 2 of the drone 4, known drone flight devices can be used without limitation.

또한, 본 발명의 일 실시예에 따른 전자석(3)은 드론(4)에 철을 포함하거나 자성을 지닌 물체가 탈부착될 수 있도록 전기적 신호에 의해 ON/OFF 되는 자석이다. 본 발명의 일 실시예에 의하면, 전자석(3)에 물체가 부착된 채로 드론(4)이 이동하므로, 드론(4)에 의한 물체 이동이 가능하다.In addition, the electromagnet 3 according to an embodiment of the present invention is a magnet that includes iron or is turned on / off by an electrical signal so that an object having magnetism can be detached and attached to the dron 4. According to the embodiment of the present invention, since the drone 4 moves with the object attached to the electromagnet 3, the object can be moved by the drone 4.

이하에서는, 도 1 의 컴퓨팅 장치(1), 드론(4)의 비행 장치(2), 드론(4)의 전자석(3)을 포함하는 손의 움직임 인식을 이용한 드론 제어 시스템의 동작 방법을 내부 구성도와 함께 알아보기로 한다.Hereinafter, the operation method of the drones control system using the hand motion recognition including the computing device 1, the flying device 2 of the drone 4, and the electromagnet 3 of the drone 4 will be described with reference to the internal configuration Let's find out with help.

도 2 는 본 발명의 일 실시예에 따른 손의 움직임 인식을 이용한 드론 제어 시스템의 내부 구성도를 도시한 도면이다.FIG. 2 is a diagram illustrating an internal configuration of a drones control system using hand motion recognition according to an embodiment of the present invention. Referring to FIG.

도 2 를 참조하면, 본 발명의 드론 제어 시스템은 제어 서버(100), 비행부(200), 구동부(300)와, 제어 서버(100)와 비행부(200) 사이의 통신을 수행하는 제1 통신망(400a), 제어 서버(100)와 구동부(300) 사이의 통신을 수행하는 제2 통신망(400b)을 포함할 수 있다.Referring to FIG. 2, the dron control system of the present invention includes a control server 100, a flight unit 200, a driving unit 300, a first control unit 100 for controlling communication between the control server 100 and the flight unit 200, A communication network 400a, and a second communication network 400b for performing communication between the control server 100 and the driving unit 300. [

먼저, 드론 제어 시스템의 제어 서버(100)는 도 1 에서 도시된 컴퓨팅 장치(1)로 구현되는 서버이거나, 하나 이상의 컴퓨팅 장치(1)로 구현되는 서버일 수 있다. 보다 상세히, 제어 서버(100)는 키넥트 센서(110), 골격 인식부(120), 손 움직임 판단부(130), 제어 신호 생성부(140), 제1 송수신부(150a), 제2 송수신부(150b) 및 제어부(160)를 포함한다.First, the control server 100 of the drones control system may be a server implemented in the computing device 1 shown in FIG. 1, or a server implemented in one or more computing devices 1. More specifically, the control server 100 includes a Kinect sensor 110, a skeleton recognition unit 120, a hand motion determination unit 130, a control signal generation unit 140, a first transceiver 150a, And a control unit 160. The control unit 160 includes a control unit 160,

제어 서버(100)의 키넥트(Kinect) 센서(110)는 사용자의 움직임을 촬상하여 입체 영상 데이터를 획득한다. 키넥트 센서(110)란, 별도의 컨트롤러 없이 사용자의 신체의 움직임에 대한 정보를 알 수 있는 3차원 영상 데이터를 생성할 수 있는 센서를 말한다. 본 발명의 일 실시예에 의하면 키넥트 센서(110)를 이용하여 RC 조정기와 같이 별도의 조종 장치 없이도 사용자의 손의 움직임을 영상 처리를 통해 분석하고, 이로부터 드론(4)의 제어 데이터를 생성하므로, 드론(4)을 제어하는 방식에 있어 자유도가 높아지고 장치 수의 절감을 달성할 수 있다.The Kinect sensor 110 of the control server 100 captures stereoscopic image data by capturing the motion of the user. The Kinect sensor 110 is a sensor capable of generating three-dimensional image data that can be used to obtain information on a user's body motion without a separate controller. According to an embodiment of the present invention, the Kinect sensor 110 is used to analyze the movement of the user's hand through an image processing without a separate control device such as an RC controller, and the control data of the drones 4 is generated therefrom Therefore, the degree of freedom in the method of controlling the drones 4 is increased and the number of apparatuses can be reduced.

비록 본 발명의 도 2 의 실시예에서는 키넥트 센서(110)가 제어 서버(100) 내에 포함된 것으로 도시되었지만, 키넥트 센서(110)는 제어 서버(100) 외부에 존재하거나, 컴퓨팅 장치(1)와 별도로 존재하는 외부 기기인 센서일 수 있다. 키넥트 센서(110)가 제어 서버(100) 혹은 컴퓨터 장치와 별도로 존재하는 경우, 키넥트 센서(110)가 촬상한 영상을 제어 서버(100)는 유무선 통신망을 통해 수신할 수 있다.Although the Kinect sensor 110 is shown as being included in the control server 100 in the embodiment of FIG. 2 of the present invention, the Kinect sensor 110 may be external to the control server 100, And may be a sensor that is an external device separately from the sensor. When the Kinect sensor 110 exists separately from the control server 100 or the computer device, the control server 100 can receive the image captured by the Kinect sensor 110 via the wired / wireless communication network.

또한, 본 발명의 일 실시예에 있어서 키넥트 센서(110)는 공지의 상용화된 키넥트 센서(110)를 사용할 수 있다. 이때, 키넥트 센서(110)는 사용자의 신체의 동작, 특히 손의 움직임을 판별할 수 있는 입체 영상을 제공하는 키넥트 센서(110)일 수 있다. 본 발명의 일 실시예에서, 공지의 키넥트 센서(110)를 사용하여 제어 서버(100)와 통신 가능하도록 설정한 후 사용할 수 있다. 혹은, 본 발명의 키넥트 센서(110)는 컴퓨팅 장치(1) 내에 설치될 수도 있다.In addition, in one embodiment of the present invention, the Kinect sensor 110 may use a known commercially available Kinect sensor 110. At this time, the Kinect sensor 110 may be a Kinect sensor 110 that provides a stereoscopic image capable of discriminating the movement of a user's body, in particular, the movement of a hand. In an embodiment of the present invention, it can be used after being set to be communicable with the control server 100 by using a known Kinect sensor 110. [ Alternatively, the kinect sensor 110 of the present invention may be installed in the computing device 1.

다음으로, 골격 인식부(120)는 키넥트 센서(110)가 획득한 입체 영상 데이터로부터 골격을 인식한다. 특히, 본 발명의 일 실시예에 따르면 골격 인식부(120)는 키넥트 센서(110)가 인식한 입체 영상 데이터에서 신체의 전체적인 골격을 먼저 대략적으로 인식하여 일반적인 신체 골격과 매칭시킨 후, 손의 골격이 어디에 위치하는지를 인식하여, 중점적으로 손의 골격을 인식한 후 인식된 손의 골격에 대한 입체 영상 데이터를 검출할 수 있다.Next, the skeleton recognizing unit 120 recognizes the skeleton from the stereoscopic image data acquired by the kinect sensor 110. FIG. In particular, according to an embodiment of the present invention, the skeleton recognition unit 120 first roughly recognizes the entire skeleton of the body from the stereoscopic image data recognized by the kinect sensor 110, matches the general skeleton with a general body skeleton, It is possible to recognize stereoscopic image data of the skeleton of the recognized hand after recognizing where the skeleton is positioned and recognizing the skeleton of the hand.

다음으로, 손 움직임 판단부(130)는 입체 영상 데이터에서 대해 골격을 인식한 결과를 참조하여, 손의 움직임을 판단한다. 보다 상세하게, 상술한 골격 인식부(120)는 영상 처리를 통해 키넥트 센서(110)가 획득한 입체 영상에서 골격들을 인식 및 검출하는 역할을 하며, 이때 검출된 골격들은 손의 움직임을 판단하는 기초가 될 수 있다. 이때, 손의 움직임은 3차원 공간에서의 손의 이동 및 손의 제스처를 포함할 수 있다.Next, the hand motion determiner 130 refers to the result of recognizing the skeleton of the stereoscopic image data, and determines the motion of the hand. More specifically, the skeleton recognition unit 120 recognizes and detects skeletons in a stereoscopic image acquired by the Kinect sensor 110 through image processing, and the detected skeletons determine movement of the hand It can be a foundation. At this time, the movement of the hand may include the movement of the hand in the three-dimensional space and the gesture of the hand.

예를 들어, 검출된 손의 골격이 시간에 변함에 따라 공간 상에서 아래에서 위로 움직이는 경우, 손 움직임 판단부(130)는 사용자의 손이 아래에서 위로 움직였다고 판단할 수 있다. 또한, 손 움직임 판단부(130)는 손이 이동하는 방향뿐만 아니라 손이 이동한 거리, 손의 이동 속도 등의 움직임과 관련한 파라미터들을 획득할 수 있다.For example, when the skeleton of the detected hand moves upward from below in the space according to the change in time, the hand motion determiner 130 may determine that the user's hand has moved upward from below. In addition, the hand motion determiner 130 may acquire parameters related to movements such as a hand moving distance, a hand moving speed, and the like as well as a hand moving direction.

추가적으로, 손 움직임 판단부(130)는 손의 움직임 뿐만 아니라 사용자의 손이 취하는 제스처를 파악할 수 있다. 본 발명에서 사용되는 제스처는 어떤 정보를 전달하기 위한 특정한 손 모양 혹은 손 모양의 변화를 나타내는 것이다. 예를 들어, 주먹쥐는 제스처는 사용자가 물건을 잡기를 원한다는 정보를 전달하기 위한 신체적 표현이고, 손을 펴는 제스처는 사용자가 물건을 놓기를 원한다는 정보를 전달하기 위한 신체적 표현일 수 있다.In addition, the hand movement determination unit 130 can grasp not only the movement of the hand but also the gesture taken by the user's hand. The gesture used in the present invention represents a specific hand or hand shape change to convey certain information. For example, a gesture may be a physical expression for communicating information that a user desires to catch an object, and a gesture of hand gesture may be a physical expression for conveying information that a user desires to drop the item.

다음으로, 제어 신호 생성부(140)는 판단된 손의 움직임에 유효한 움직임이 있는지를 판단하여, 유효한 손의 움직임으로부터 드론(4)의 제어 신호를 생성한다. 이때, 유효한 손의 움직임이란, 손의 움직임의 크기가 기설정된 수치 이상이어서 사용자가 드론(4)의 제어를 목적으로 손을 움직였다고 판단될 수 있는 정도의 움직임이다. 제어 신호 생성부(140)가 생성하는 드론(4)의 제어 신호는, 비행 장치(2)로 전송되는 제1 제어 신호 및 전자석(3)으로 전송되는 제2 제어 신호를 포함한다.Next, the control signal generator 140 determines whether there is a valid motion in the determined hand motion, and generates the control signal of the dron 4 from the motion of the hand. At this time, the effective hand motion is a motion that can be judged that the user has moved his / her hand for the purpose of controlling the drones 4 because the size of the hand motion is greater than a predetermined value. The control signal of the drones 4 generated by the control signal generator 140 includes a first control signal transmitted to the flight device 2 and a second control signal transmitted to the electromagnet 3.

보다 상세히, 제어 신호 생성부(140)는 판단된 손의 움직임에 유효한 손의 이동이 존재하는지를 감지하여, 유효한 손의 이동이 존재하는 경우 드론(4)의 비행 장치(2)를 제어할 수 있는 제1 제어 신호를 생성한다. 이때, 제어 신호 생성부(140)는 손의 이동을 감지하기 위하여 핸드 트랙킹(Hand Tracking)을 수행할 수 있다.More specifically, the control signal generator 140 detects whether there is a hand movement that is effective in the determined hand movement and controls the flight device 2 of the drones 4 when there is a movement of a valid hand And generates a first control signal. At this time, the control signal generator 140 may perform hand tracking to detect movement of the hand.

또한, 제어 신호 생성부(140)는 판단된 손의 움직임에 유효한 손의 제스처가 존재하는지를 감지하여, 유효한 손의 제스처가 존재하는 경우 드론(4)의 전자석(3)을 제어할 수 있는 제2 제어 신호를 생성한다. 이때, 제어 신호 생성부(140)는 손의 제스처를 감지하기 위하여 핑거 트랙킹(Finger Tracking)을 수행할 수 있다.In addition, the control signal generator 140 detects whether there is a hand gesture that is valid for the determined hand motion, and controls the electromagnet 3 of the drones 4 in the presence of a valid hand gesture. And generates a control signal. At this time, the control signal generator 140 may perform finger tracking to detect a hand gesture.

제1 송수신부(150a)는 생성된 제1 제어 신호를 제1 통신망(400a)을 통해 비행부(200)로 전송하고, 제2 송수신부(150b)는 생성된 제2 제어 신호를 제2 통신망(400b)을 통해 구동부(300)로 전송한다. 본 발명의 일 실시예에 따르면, 제1 통신망(400a)은 WiFi 통신망이고, 제2 통신망(400b)은 블루투스(Bluetooth) 통신망일 수 있다. 이와 같이 본 발명에 의하면, 기존의 통신망 및 송수신기를 사용하므로, 드론(4) 제어의 활용 범위를 넒힐 수 있다.The first transmission / reception unit 150a transmits the generated first control signal to the flight unit 200 via the first communication network 400a, and the second transmission / reception unit 150b transmits the generated second control signal to the second communication network 400a. To the driving unit 300 through the second switching unit 400b. According to an embodiment of the present invention, the first communication network 400a may be a WiFi communication network and the second communication network 400b may be a Bluetooth communication network. As described above, according to the present invention, since the conventional communication network and the transceiver are used, it is possible to broaden the application range of the drones 4 control.

또한, 제어부(160)는 제어 서버(100) 내의 각 부들이 각자의 역할을 수행할 수 있도록 제어하는 역할을 한다.In addition, the control unit 160 controls each of the units in the control server 100 to perform their respective roles.

다음으로, 비행부(200)는 송수신부(210) 및 비행 장치(2)를 포함한다. 본 발명의 일 실시예에서, 비행부(200)는 비행 장치(2)에 송수신부(210)가 결합된 형태 또는 송수신부(210)가 내장된 형태로 존재할 수 있다. 비행부(200)의 송수신부(210)는 제1 통신망(400a)을 통해 전송된 제1 제어 신호를 수신한다. 상술한 바와 같이, 제1 제어 신호는 비행 장치(2)를 제어하기 위한 신호이다. 비행 장치(2)에 의해 드론(4)이 3차원적으로 움직일 수 있으므로, 제1 제어 신호에 따라 비행 장치(2)가 제어되면 이에 따라 드론(4)이 이동된다.Next, the flight unit 200 includes a transmission / reception unit 210 and a flight device 2. [ In an embodiment of the present invention, the flight unit 200 may exist in a form in which the transmitter-receiver unit 210 is coupled to the flight apparatus 2, or a form in which the transmitter-receiver unit 210 is embedded. The transceiver 210 of the flight unit 200 receives the first control signal transmitted through the first communication network 400a. As described above, the first control signal is a signal for controlling the flight device 2. Since the dragon 4 can move in three dimensions by the flight device 2, when the flight device 2 is controlled according to the first control signal, the dragon 4 is moved accordingly.

도 3a 내지 도 3c 는 본 발명의 일 실시예에 있어서 제1 제어 신호에 대응하여 이동하는 드론(4)을 도시한 도면이다.FIGS. 3A through 3C are diagrams illustrating a drone 4 moving in response to a first control signal according to an embodiment of the present invention.

먼저 도 3a 는, 본 발명의 일 실시예에 따라 사용자의 손이 x 축 방향으로 움직였을 때 드론(4) 역시 x 축 방향으로 움직이는 것을 예시한 도면이다. 즉, 제어 서버(100)는 키넥트 센서(110)로부터 획득한 손의 입체 영상 데이터를 영상 처리하여 손의 움직임을 판단하고, 손의 움직임에 x 축 방향의 손의 이동이 존재하는 경우, 비행 장치(2)가 같은 방향으로 움직이게 제어하는 제1 제어 신호를 생성한다. 생성된 제1 신호를 제1 통신망(400a)을 통해 수신한 비행부(200)의 비행 장치(2)는 x 축 방향으로 이동한다.First, FIG. 3A illustrates moving the drone 4 in the x-axis direction when the user's hand is moved in the x-axis direction according to an embodiment of the present invention. That is, the control server 100 processes the stereoscopic image data of the hand obtained from the Kinect sensor 110 to judge the movement of the hand, and when there is movement of the hand in the x- And generates a first control signal for controlling the device 2 to move in the same direction. The flight device 2 of the flight unit 200 receiving the generated first signal through the first communication network 400a moves in the x-axis direction.

또한, 도 3b 는 도 3a 와 동일한 원리로 본 발명의 일 실시예에 따라 사용자의 손이 y 축 방향으로 움직였을 때 드론(4) 역시 y 축 방향으로 움직이는 것을 예시한 도면이다. 또한, 도 3c 는 도 3a 와 동일한 원리로 본 발명의 일 실시예에 따라 사용자의 손이 z 축 방향으로 움직였을 때 드론(4) 역시 z 축 방향으로 움직이는 것을 예시한 도면이다.FIG. 3B is a diagram illustrating the movement of the drone 4 in the y-axis direction when the user's hand is moved in the y-axis direction according to an embodiment of the present invention on the same principle as FIG. 3A. 3C is a diagram illustrating the movement of the drones 4 in the z-axis direction when the user's hand is moved in the z-axis direction according to an embodiment of the present invention on the same principle as in Fig. 3A.

상기 도 3a 내지 도 3c 에서 예시한 바와 같이, 3차원 공간 상의 사용자의 손의 이동에 대응하도록 드론(4)의 비행 장치(2)가 제어되므로, 드론(4)을 제어하는 방식에 있어 자유도가 높아지고 장치 수의 절감을 달성할 수 있다.3A to 3C, the flight device 2 of the drones 4 is controlled so as to correspond to the movement of the user's hand on the three-dimensional space, so that the degree of freedom in the manner of controlling the drones 4 And the number of devices can be reduced.

다음으로, 구동부(300)는 송수신부(310), 컨트롤러(320) 및 전자석(3)을 포함한다. 본 발명의 일 실시예에 따른 구동부(300)는 제2 통신망을 통해 수신된 상기 제2 제어 신호에 기초하여 물체의 장착 또는 분리가 가능하도록 제어되는 구동 장치로써 전자석(3)을 포함할 수 있다.Next, the driving unit 300 includes a transmitting / receiving unit 310, a controller 320, and an electromagnet 3. The driving unit 300 according to an embodiment of the present invention may include an electromagnet 3 as a driving device controlled to be able to mount or separate an object based on the second control signal received via the second communication network .

본 발명의 일 실시예에서, 구동부(300)는 전자석(3)에 송수신부(310) 및 컨트롤러(320)가 장착된 형태로 존재할 수 있다. 구동부(300)의 송수신부(310)는 제2 통신망(400b)을 통해 전송된 제2 제어 신호를 수신한다. 상술한 바와 같이, 제2 제어 신호는 전자석(3)을 제어하기 위한 신호이다. 전자석(3)의 ON/OFF 에 의해 철을 포함하거나 자성을 가진 물체가 전자석(3)에 탈부착될 수 있으므로, 제2 제어 신호에 따라 전자석(3)이 제어되면 이에 따라 드론(4)에 물체가 탈부착될 수 있다.In one embodiment of the present invention, the driving unit 300 may exist in a form in which the transmission / reception unit 310 and the controller 320 are mounted on the electromagnet 3. The transmission / reception unit 310 of the driving unit 300 receives the second control signal transmitted through the second communication network 400b. As described above, the second control signal is a signal for controlling the electromagnet 3. Since an electromagnet 3 is controlled in accordance with the second control signal by turning on / off the electromagnet 3, an object containing iron or magnetism can be attached to and detached from the electromagnet 3, Can be detached and attached.

보다 상세히, 구동부(300)의 컨트롤러(320)는 제2 제어 신호에 의해 전자석(3)이 ON/OFF 되도록 제어하는 장치이다. 즉, 컨트롤러(320)는 제2 제어 신호가 전자석(3)이 ON 되도록 제어하는 신호일 경우, 전자석(3)이 ON 될 수 있도록 전기 신호를 생성하여 전자석(3)에 공급할 수 있다. 또한, 전자석(3)은 컨트롤러(320)의 전기적 신호에 의해 ON 되어 물건이 장착되고, 전기적 신호에 의해 OFF 되어 드론(4)에서 물건이 분리된다.본 발명의 일 실시예에서, 컨트롤러(320)는 전자석(3)과 전기적으로 연결된 아두이노(Arduino) 기판일 수 있다.More specifically, the controller 320 of the driving unit 300 controls the electromagnet 3 to be turned on / off by the second control signal. That is, when the second control signal is a signal for controlling the electromagnet 3 to be ON, the controller 320 can generate an electric signal so that the electromagnet 3 can be turned ON and supply the electric signal to the electromagnet 3. The electromagnet 3 is turned on by the electric signal of the controller 320 so that the object is mounted and turned off by the electric signal so that the object is separated from the drones 4. In an embodiment of the present invention, May be an Arduino substrate electrically connected to the electromagnet 3.

즉, 본 발명의 일 실시예에 의하면 손의 움직임 인식으로 인하여 드론(4)의 이동뿐 아니라 드론(4)에 물건이 장착 또는 분리되는 것과 같이 드론(4)의 특정 행위를 하도록 구현할 수 있으므로, 기존의 RC 조종기로는 불가능했던 정교한 동작을 드론(4)이 수행하도록 할 수 있다.That is, according to the embodiment of the present invention, it is possible to implement not only the movement of the drones 4 due to the recognition of the motion of the hands but also the specific actions of the drones 4, such as loading or unloading the drones 4, It is possible to allow the drone 4 to perform a sophisticated operation impossible with the conventional RC controller.

도 4a 및 4b 는 본 발명의 일 실시예에 있어서 제2 제어 신호에 대응하여 동작하는 드론(4)을 도시한 도면이다.4A and 4B are diagrams illustrating a drone 4 that operates in response to a second control signal in an embodiment of the present invention.

먼저, 도 4a 는 본 발명의 일 실시예에 따라 사용자가 손을 쥐는 제스처를 취했을 때 드론(4)의 전자석(3)이 ON 되어 드론(4)에 물체가 장착될 수 있는 것을 예시한 도면이다. 즉, 제어 서버(100)는 키넥트 센서(110)로부터 획득한 손의 입체 영상 데이터를 영상 처리하여 손의 움직임을 판단하고, 손의 움직임에 주먹을 쥐는 손의 제스처가 존재하는 경우, 전자석(3)이 ON 되도록 하는 제2 제어 신호를 생성한다. 생성된 제2 제어 신호를 제2 통신망(400b)을 통해 수신한 컨트롤러(320)는 전자석(3)을 ON 시킬 수 있는 전기적 신호를 생성하고, 이로 인해 전자석(3)이 ON 된다.4A is a diagram illustrating that an electromagnet 3 of a drone 4 is turned ON and an object can be mounted on a drone 4 when a user takes a hand gesture according to an embodiment of the present invention . That is, the control server 100 processes the stereoscopic image data of the hand obtained from the Kinect sensor 110 to determine the motion of the hand, and when there is a gesture of the hand holding the fist to the motion of the hand, 3) are turned on. The controller 320 receiving the generated second control signal through the second communication network 400b generates an electric signal capable of turning on the electromagnet 3, thereby turning on the electromagnet 3.

또한, 도 4b 는 도 4a 와 동일한 원리로 본 발명의 일 실시예에 따라 사용자가 손을 펴는 제스처를 취했을 때 드론(4)의 전자석(3)이 OFF 되어 드론(4)에서 물체가 분리될 수 있는 것을 예시한 도면이다.4B, when the user takes a hand gesture according to an embodiment of the present invention, the electromagnet 3 of the dron 4 is turned off and the object can be separated from the dron 4 Fig.

본 발명의 다른 일 실시예에 의하면, 구동부(300)는 전자석(3)이 아닌 다른 구동 장치를 포함할 수 있다. 즉, 본 발명에 의하면 물체의 장착 혹은 분리가 가능한 구동 장치라면 구동부(300)의 전자석(3)을 대체할 수 있다. 비록, 본 발명의 주된 실시예로 물건을 드론(4)에 탈부착시키기 위해 전자석(3)이 예시되었지만, 본 발명의 목적은 드론(4)을 이용하여 물건을 이동시키는 것이므로, 물건을 드론(4)에 탈부착시키기 위한 장치, 예를 들어 집게 같은 물체 장착 장치가 전자석(3) 대신 사용될 수 있다. 이 경우, 제2 제어 신호는 집게가 물건을 장착/분리하는 것에 대한 제어 신호이다.According to another embodiment of the present invention, the driving unit 300 may include a driving unit other than the electromagnet 3. That is, according to the present invention, the electromagnet 3 of the driving unit 300 can be replaced with a driving apparatus that can mount or separate an object. Although the electromagnet 3 has been illustrated as a main embodiment of the present invention for detaching and attaching an object to the drones 4, the object of the present invention is to move the object using the drones 4, An object mounting apparatus such as a clamp can be used instead of the electromagnet 3. [ In this case, the second control signal is a control signal for the gripper to load / unload the object.

도 5 는 본 발명의 일 실시예에 따른 손의 움직임 인식을 이용한 드론 제어 방법을 시간 순으로 도시한 순서도이다.FIG. 5 is a flowchart illustrating a dron control method using hand motion recognition according to an embodiment of the present invention in time sequence.

먼저, 도 4 를 참조하면 컴퓨팅 장치(1)의 키넥트 센서(110)가 사용자의 동작을 촬상하여 입체 영상 데이터를 획득한다(S1).First, referring to FIG. 4, the Kinect sensor 110 of the computing device 1 captures stereoscopic image data by capturing an operation of a user (S1).

다음으로, 컴퓨팅 장치(1)의 골격 인식부(120)가 입체 영상 데이터로부터 골격을 인식한다(S2).Next, the skeleton recognition unit 120 of the computing device 1 recognizes the skeleton from the stereoscopic image data (S2).

다음으로, 컴퓨팅 장치(1)의 손 움직임 판단부(130)는 입체 영상 데이터로부터 손의 움직임을 판단한다(S3).Next, the hand motion determiner 130 of the computing device 1 determines movement of the hand from the stereoscopic image data (S3).

다음으로, 제어 신호 생성부(140)가 손의 움직임으로부터 제1 제어 신호 및 제2 제어 신호를 생성한다. 보다 상세히, 상기 판단된 손의 움직임에 유효한 손의 이동이 존재하는지를 감지하여(S4), 유효한 손의 이동이 존재하는 경우 제1 제어 신호를 생성한다(S5). 만약, 유효한 손의 이동이 존재하지 않는다면, 후술하는 S7 단계로 이동한다.Next, the control signal generator 140 generates the first control signal and the second control signal from the movement of the hand. More specifically, it is detected whether there is a movement of a hand in the determined movement of the hand (S4), and a first control signal is generated in the presence of movement of a valid hand (S5). If there is no valid hand movement, the process moves to step S7 described later.

다음으로, 제1 송수신부(150a)는 생성된 제1 제어 신호를 제1 통신망(400a)을 통해 비행부(200)로 전송한다(S6). 비행부(200)는 제1 제어 신호에 기초하여 드론(4)의 비행 장치(2)를 제어한다.Next, the first transmission / reception unit 150a transmits the generated first control signal to the flight unit 200 through the first communication network 400a (S6). The flight unit 200 controls the flight device 2 of the drones 4 based on the first control signal.

또한, 제어 신호 생성부(140)는 상기 판단된 손의 움직임에 유효한 손의 제스처가 존재하는지를 감지하여(S7), 유효한 손의 제스처가 존재하는 경우 제2 제어 신호를 생성한다(S8). 만약, 유효한 손의 움직임이 존재하지 않는 경우 S1 단계로 되돌아가 계속하여 입체 영상 데이터를 획득한다.In addition, the control signal generator 140 detects whether there is a hand gesture effective for the determined hand movement (S7), and generates a second control signal when a valid hand gesture exists (S8). If there is no motion of the hand, the process returns to step S1 to continuously obtain the stereoscopic image data.

다음으로, 제2 송수신부(150b)는 생성된 제2 제어 신호를 제2 통신망을 통해 구동부(300)로 전송한다(S7). 구동부(300)는 제2 제어 신호에 기초하여 드론(4)의 전자석(3)을 제어한다.Next, the second transmitting and receiving unit 150b transmits the generated second control signal to the driving unit 300 through the second communication network (S7). The driving unit 300 controls the electromagnet 3 of the drones 4 based on the second control signal.

즉, 본 발명에 의하면, 사용자는 손의 움직임을 통해 드론(4)을 목표 위치로 이동시킨 후 목표 위치에 존재하는 물체를 드론(4)에 장착시킬 수 있고, 드론(4)에 물건이 장착된 채로 드론(4)을 다른 위치로 이동시킨 후 드론(4)에서 물건을 분리할 수 있으므로, 손의 움직임만으로 물체를 다른 곳을 이동시킬 수 있다. 따라서, 본 발명에 의하면 사용자의 손의 움직임 인식에 의한 드론 제어 방법이 제공되므로 드론(4) 제어의 편의성이 향상될 수 있다.That is, according to the present invention, the user can move the drone 4 to the target position through the movement of the hand, and then mount the object at the target position on the drone 4, The drone 4 can be moved to another position and the object can be separated from the drone 4, so that the object can be moved to another place only by the movement of the hand. Therefore, according to the present invention, since the dron control method by recognizing the motion of the user's hand is provided, the convenience of the control of the drones 4 can be improved.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific acts described in the present invention are, by way of example, not intended to limit the scope of the invention in any way. For brevity of description, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of such systems may be omitted. Also, the connections or connecting members of the lines between the components shown in the figures are illustrative of functional connections and / or physical or circuit connections, which may be replaced or additionally provided by a variety of functional connections, physical Connection, or circuit connections. Also, unless explicitly mentioned, such as " essential ", " importantly ", etc., it may not be a necessary component for application of the present invention.

본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.The use of the terms " above " and similar indication words in the specification of the present invention (particularly in the claims) may refer to both singular and plural. In addition, in the present invention, when a range is described, it includes the invention to which the individual values belonging to the above range are applied (unless there is contradiction thereto), and each individual value constituting the above range is described in the detailed description of the invention The same. Finally, the steps may be performed in any suitable order, unless explicitly stated or contrary to the description of the steps constituting the method according to the invention. The present invention is not necessarily limited to the order of description of the above steps. The use of all examples or exemplary language (e.g., etc.) in this invention is for the purpose of describing the present invention only in detail and is not to be limited by the scope of the claims, It is not. It will also be appreciated by those skilled in the art that various modifications, combinations, and alterations may be made depending on design criteria and factors within the scope of the appended claims or equivalents thereof.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.The embodiments of the present invention described above can be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer-readable recording medium may be those specifically designed and configured for the present invention or may be those known and used by those skilled in the computer software arts. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROM and DVD, magneto-optical media such as floptical disks, medium, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code, such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be modified into one or more software modules for performing the processing according to the present invention, and vice versa.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, Those skilled in the art will appreciate that various modifications and changes may be made thereto without departing from the scope of the present invention.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be construed as being limited to the above-described embodiments, and all ranges that are equivalent to or equivalent to the claims of the present invention as well as the claims .

1: 컴퓨팅 장치 2: 비행 장치
3: 전자석 4: 드론
100: 제어 서버 200: 비행부
300: 구동부 400a, 400b: 제1, 2 통신망1: computing device 2: flight device
3: Electromagnet 4: Drones
100: control server 200:
300: Driving parts 400a, 400b: First and second communication networks

Claims (20)

키넥트 센서로부터 획득한, 손의 움직임에 대한 입체 영상 데이터의 영상 처리에 기초하여 제1 제어 신호 및 제2 제어 신호를 생성하는 컴퓨팅 장치;
제1 통신망을 통해 수신된 상기 제1 제어 신호에 기초하여 이동이 제어되는, 드론의 비행 장치를 포함하는 비행부;
제2 통신망을 통해 수신된 상기 제2 제어 신호에 기초하여 물체의 장착 또는 분리가 가능하도록 제어되며, 상기 드론의 비행 장치에 장착된 구동 장치를 포함하는 구동부;
를 포함하는 손의 움직임 인식을 이용한 드론 제어 시스템.A computing device for generating a first control signal and a second control signal based on the image processing of the stereoscopic image data on movement of the hand obtained from the Kinect sensor;
A flight unit including a flight device of the drones, the movement of which is controlled based on the first control signal received via the first communication network;
A driving unit including a driving device mounted on a flying device of the drones, the driving device being controlled to be able to mount or separate an object based on the second control signal received via a second communication network;
A drones control system using hand motion recognition. 제1항에 있어서,
상기 컴퓨팅 장치는,
사용자의 동작을 입체적으로 촬상하여 입체 영상 데이터를 획득하는 키넥트 센서;
상기 키넥트 센서가 획득한 영상 데이터로부터 골격을 인식하는 골격 인식부;
인식된 골격에 기초하여 손의 움직임을 판단하는 손 움직임 판단부;
상기 손의 움직임으로부터 상기 제1 제어 신호 또는 상기 제2 제어 신호를 생성하는 제어 신호 생성부; 를 포함하는, 손의 움직임 인식을 이용한 드론 제어 시스템.The method according to claim 1,
The computing device comprising:
A Kinect sensor for stereoscopically capturing an operation of a user to acquire stereoscopic image data;
A skeleton recognition unit for recognizing a skeleton from the image data acquired by the kinect sensor;
A hand motion determination unit for determining a motion of the hand based on the recognized skeleton;
A control signal generator for generating the first control signal or the second control signal from the motion of the hand; A dron control system using hand motion recognition. 제2항에 있어서,
상기 제어 신호 생성부는 판단된 손의 움직임에 유효한 손의 이동이 존재하는지를 감지하여, 유효한 손의 이동이 존재하는 경우 상기 드론의 비행 장치를 제어할 수 있는 제1 제어 신호를 생성하는, 손의 움직임 인식을 이용한 드론 제어 시스템.3. The method of claim 2,
Wherein the control signal generator detects whether there is a movement of a hand in response to the determined movement of the hand and generates a first control signal capable of controlling the flight device of the drones when there is movement of a valid hand, Drone control system using recognition. 제2항에 있어서,
상기 제어 신호 생성부는 판단된 손의 움직임에 유효한 손의 체스처가 존재하는지를 감지하여, 유효한 손의 제스처가 존재하는 경우 상기 드론의 구동 장치를 제어할 수 있는 상기 제2 제어 신호를 생성하는, 손의 움직임 인식을 이용한 드론 제어 시스템.3. The method of claim 2,
Wherein the control signal generator is operable to detect whether there is a valid chess piece in the determined hand movement and to generate the second control signal capable of controlling the driving device of the dron when there is a gesture of a valid hand, Drone control system using motion recognition. 제1항에 있어서,
상기 구동 장치는 전기적 신호에 따라 ON/OFF 되는 전자석인, 손의 움직임 인식을 이용한 드론 제어 시스템.The method according to claim 1,
Wherein the driving device is an electromagnet which is turned on / off according to an electrical signal. 제1항에 있어서,
상기 제1 통신망은 WiFi 통신망이고, 상기 제2 통신망은 블루투스(Bluetooth) 통신망인, 손의 움직임 인식을 이용한 드론 제어 시스템.The method according to claim 1,
Wherein the first communication network is a WiFi communication network and the second communication network is a bluetooth communication network. 제1항에 있어서,
상기 구동부는 상기 제2 제어 신호를 상기 구동 장치를 제어하기 위한 전기적 신호로 변환하는 컨트롤러를 더 포함하는, 손의 움직임 인식을 이용한 드론 제어 시스템.The method according to claim 1,
Wherein the driving unit further comprises a controller for converting the second control signal into an electrical signal for controlling the driving device. 제1항에 있어서,
상기 영상 처리는 사용자의 손의 움직임을 감지하기 위하여 골격 인식, 핸드 트랙킹(Hand Tracking) 또는 핑거 트랙킹(Finger Tracking)을 수행하는, 손의 움직임 인식을 이용한 드론 제어 시스템.The method according to claim 1,
Wherein the image processing is skeleton recognition, hand tracking, or finger tracking to detect movement of a user's hand. 제1항에 있어서,
상기 제1 제어 신호는 상기 손의 이동에 대응하여 상기 드론이 이동할 수 있도록 상기 드론의 비행장치를 제어하는 신호인, 손의 움직임 인식을 이용한 드론 제어 시스템.The method according to claim 1,
Wherein the first control signal is a signal for controlling the flying device of the dron so that the dron can move in response to the movement of the hand. 제1항에 있어서,
상기 제2 제어 신호는 상기 손의 움직임에 의해 판단된 상기 손의 제스처가 주먹을 쥐는 제스처인 경우 상기 구동 장치가 물체를 장착하도록 제어하고, 상기 손의 제스처가 손을 펴는 제스처인 경우 상기 구동 장치가 물체를 분리하도록 제어하는 신호인, 손의 움직임 인식을 이용한 드론 제어 시스템.The method according to claim 1,
Wherein the second control signal controls the driving device to mount an object when the gesture of the hand determined by the motion of the hand is a gesture to hold a fist, and when the gesture of the hand is a gesture to stretch a hand, A dron control system using hand motion recognition, which is a signal for controlling an object to be separated. 키넥트 센서로부터 획득한, 손의 움직임에 대한 입체 영상 데이터의 영상 처리에 기초하여 제1 제어 신호 및 제2 제어 신호를 생성하는 단계;
제1 통신망을 통해 수신된 상기 제1 제어 신호에 기초하여 드론의 비행 장치의 이동을 제어하는 단계;
제2 통신망을 통해 수신된 상기 제2 제어 신호에 기초하여 물체의 장착 또는 분리가 가능하도록 제어되며, 상기 드론의 비행 장치에 장착된 구동 장치를 제어하는 단계;
를 포함하는 손의 움직임 인식을 이용한 드론 제어 방법.Generating a first control signal and a second control signal based on the image processing of the stereoscopic image data on the motion of the hand obtained from the Kinect sensor;
Controlling movement of the drones of the flight device based on the first control signal received via the first communication network;
Controlling the driving device mounted on the flying device of the drones so as to be able to mount or separate objects based on the second control signal received through the second communication network;
A method of controlling a dron using a motion recognition of a hand including a hand. 제11항에 있어서,
상기 제1 제어 신호 및 제2 제어 신호를 생성하는 단계는;
키넥트 센서를 사용하여 사용자의 동작을 입체적으로 촬상하여 입체 영상 데이터를 획득하는 단계;
상기 키넥트 센서가 획득한 영상 데이터로부터 골격을 인식하는 단계;
인식된 골격에 기초하여 손의 움직임을 판단하는 단계;
상기 손의 움직임으로부터 상기 제1 제어 신호 또는 상기 제2 제어 신호를 생성하는 제어 신호 생성 단계;를 포함하는, 손의 움직임 인식을 이용한 드론 제어 방법.12. The method of claim 11,
Wherein the generating the first control signal and the second control signal comprises:
Acquiring stereoscopic image data by stereoscopically capturing an operation of a user using a Kinect sensor;
Recognizing a skeleton from the image data acquired by the Kinect sensor;
Determining movement of the hand based on the recognized skeleton;
And a control signal generating step of generating the first control signal or the second control signal from the motion of the hand. 제12항에 있어서,
상기 제어 신호 생성 단계는 판단된 손의 움직임에 유효한 손의 이동이 존재하는지를 감지하여, 유효한 손의 이동이 존재하는 경우 상기 드론의 비행 장치를 제어할 수 있는 제1 제어 신호를 생성하는, 손의 움직임 인식을 이용한 드론 제어 방법.13. The method of claim 12,
The control signal generation step may include detecting a valid hand movement in the determined hand movement and generating a first control signal capable of controlling the flying device of the drones when there is a movement of a valid hand, Dron Control Method Using Motion Recognition. 제12항에 있어서,
상기 제어 신호 생성 단계는 판단된 손의 움직임에 유효한 손의 체스처가 존재하는지를 감지하여, 유효한 손의 제스처가 존재하는 경우 상기 드론의 구동 장치를 제어할 수 있는 상기 제2 제어 신호를 생성하는, 손의 움직임 인식을 이용한 드론 제어 방법.13. The method of claim 12,
Wherein the control signal generation step comprises the step of generating a second control signal capable of controlling the driving device of the drones when a valid hand gesture exists, A drones control method using motion recognition of. 제11항에 있어서,
상기 구동 장치는 전기적 신호에 따라 ON/OFF 되는 전자석인, 손의 움직임 인식을 이용한 드론 제어 방법.12. The method of claim 11,
Wherein the driving device is an electromagnet which is turned on / off according to an electrical signal. 제11항에 있어서,
상기 제1 통신망은 WiFi 통신망이고, 상기 제2 통신망은 블루투스(Bluetooth) 통신망인, 손의 움직임 인식을 이용한 드론 제어 방법.12. The method of claim 11,
Wherein the first communication network is a WiFi communication network and the second communication network is a Bluetooth communication network. 제11항에 있어서,
상기 구동 장치를 제어하는 단계는, 상기 제2 제어 신호를 상기 구동 장치를 제어하기 위한 전기적 신호로 변환하는 단계를 포함하는, 손의 움직임 인식을 이용한 드론 제어 방법.12. The method of claim 11,
Wherein the step of controlling the driving device comprises the step of converting the second control signal into an electrical signal for controlling the driving device. 제11항에 있어서,
상기 영상 처리는 사용자의 손의 움직임을 감지하기 위하여 골격 인식, 핸드 트랙킹(Hand Tracking) 또는 핑거 트랙킹(Finger Tracking)을 수행하는, 손의 움직임 인식을 이용한 드론 제어 방법.12. The method of claim 11,
Wherein the image processing performs skeletal recognition, hand tracking, or finger tracking to detect movement of a user's hand. 제11항에 있어서,
상기 제1 제어 신호는 상기 손의 이동에 대응하여 상기 드론이 이동할 수 있도록 상기 드론의 비행장치를 제어하는 신호인, 손의 움직임 인식을 이용한 드론 제어 방법.12. The method of claim 11,
Wherein the first control signal is a signal for controlling the flight device of the drones so that the dron can move in correspondence with the movement of the hand. 제11항에 있어서,
상기 제2 제어 신호는 상기 손의 움직임에 의해 판단된 상기 손의 제스처가 주먹을 쥐는 제스처인 경우 상기 구동 장치가 물체를 장착하도록 제어하고, 상기 손의 제스처가 손을 펴는 제스처인 경우 상기 구동 장치가 물체를 분리하도록 제어하는 신호인, 손의 움직임 인식을 이용한 드론 제어 방법.12. The method of claim 11,
Wherein the second control signal controls the driving device to mount an object when the gesture of the hand determined by the motion of the hand is a gesture to hold a fist, and when the gesture of the hand is a gesture to stretch a hand, Wherein the signal is a signal for controlling an object to be separated.
KR1020160011144A 2016-01-29 2016-01-29 Method and system for controlling drone using hand motion tracking KR20170090603A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160011144A KR20170090603A (en) 2016-01-29 2016-01-29 Method and system for controlling drone using hand motion tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160011144A KR20170090603A (en) 2016-01-29 2016-01-29 Method and system for controlling drone using hand motion tracking

Publications (1)

Publication Number Publication Date
KR20170090603A true KR20170090603A (en) 2017-08-08

Family

ID=59653005

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160011144A KR20170090603A (en) 2016-01-29 2016-01-29 Method and system for controlling drone using hand motion tracking

Country Status (1)

Country Link
KR (1) KR20170090603A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171121A (en) * 2017-12-11 2018-06-15 翔升（上海）电子技术有限公司 UAV Intelligent tracking and system
KR101896239B1 (en) * 2017-09-20 2018-09-07 (주)텔트론 System for controlling drone using motion capture
EP3499332A2 (en) 2017-12-14 2019-06-19 Industry Academy Cooperation Foundation Of Sejong University Remote control device and method for uav and motion control device attached to uav
KR20190076407A (en) 2017-12-22 2019-07-02 세종대학교산학협력단 Remote control device and method of uav
WO2019144300A1 (en) * 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 Target detection method and apparatus, and movable platform
KR102032067B1 (en) 2018-12-05 2019-10-14 세종대학교산학협력단 Remote control device and method of uav based on reforcement learning
JP2023081259A (en) * 2021-11-30 2023-06-09 仁寶電腦工業股▲ふん▼有限公司 Control device for unmanned aerial vehicle and control method thereof

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101896239B1 (en) * 2017-09-20 2018-09-07 (주)텔트론 System for controlling drone using motion capture
CN108171121A (en) * 2017-12-11 2018-06-15 翔升（上海）电子技术有限公司 UAV Intelligent tracking and system
EP3499332A2 (en) 2017-12-14 2019-06-19 Industry Academy Cooperation Foundation Of Sejong University Remote control device and method for uav and motion control device attached to uav
KR20190076407A (en) 2017-12-22 2019-07-02 세종대학교산학협력단 Remote control device and method of uav
WO2019144300A1 (en) * 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 Target detection method and apparatus, and movable platform
KR102032067B1 (en) 2018-12-05 2019-10-14 세종대학교산학협력단 Remote control device and method of uav based on reforcement learning
US11567491B2 (en) 2018-12-05 2023-01-31 Industry Academy Cooperation Foundation Of Sejong University Reinforcement learning-based remote control device and method for an unmanned aerial vehicle
JP2023081259A (en) * 2021-11-30 2023-06-09 仁寶電腦工業股▲ふん▼有限公司 Control device for unmanned aerial vehicle and control method thereof
US11921523B2 (en) 2021-11-30 2024-03-05 Compal Electronics, Inc. Control device for unmanned aerial vehicle and control method therefor

Similar Documents

Publication Publication Date Title
KR20170090603A (en) Method and system for controlling drone using hand motion tracking
CN112513711B (en) Method and system for resolving hemispherical ambiguities using position vectors
KR102529137B1 (en) Augmented reality display device with deep learning sensors
US20160309124A1 (en) Control system, a method for controlling an uav, and a uav-kit
Nguyen et al. Robust target-relative localization with ultra-wideband ranging and communication
KR101978967B1 (en) Device of recognizing predetermined gesture based on a direction of input gesture and method thereof
KR20240159859A (en) Electromagnetic tracking with augmented reality systems
US20200171667A1 (en) Vision-based robot control system
CN107389968B (en) Unmanned aerial vehicle fixed point implementation method and device based on optical flow sensor and acceleration sensor
Ruiz et al. Idrone: Robust drone identification through motion actuation feedback
JP2017174110A (en) Unmanned mobile device, takeover method, and program
WO2018078863A1 (en) Drone control system, method, and program
EP3838360A1 (en) Toy system, casing, separate toy, separate toy assessing method, and program
CN105773619A (en) Electronic control system used for realizing grabbing behavior of humanoid robot and humanoid robot
KR20190007632A (en) Carrying drone that recognizes object location by constructing three-dimensional map
JP2023010769A (en) Information processing device, control method, and program
Luo et al. Stereo Vision-based Autonomous Target Detection and Tracking on an Omnidirectional Mobile Robot.
Choutri et al. Vision-Based UAV Detection and Localization to Indoor Positioning System
Luo et al. A scalable modular architecture of 3D object acquisition for manufacturing automation
CN206291910U (en) The acquisition system of the attitude information of carrier
JP2009145296A (en) Object direction detecting system and data structure
Vargas et al. A combined Wiimote-camera tracking system for small aerial vehicles
Jeong et al. Relative Pose estimation for an integrated UGV-UAV robot system
Zhang et al. Vision based surface slope estimation for unmanned aerial vehicle perching
CN106170681A (en) Adaptive acoustic intensity analysis instrument

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160129

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170928

Patent event code: PE09021S01D

PE0601 Decision on rejection of patent

Patent event date: 20171130

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20170928

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I