KR20190076407A

KR20190076407A - Remote control device and method of uav

Info

Publication number: KR20190076407A
Application number: KR1020170178178A
Authority: KR
Inventors: 김용국; 신상윤; 강용원; 박상민
Original assignee: 세종대학교산학협력단
Priority date: 2017-12-22
Filing date: 2017-12-22
Publication date: 2019-07-02
Also published as: KR102019569B1

Abstract

Disclosed are a device and method for remotely controlling an UAV. The device mounted on a user and remotely controlling movement of an UAV comprises: a sensor unit generating sensing data by sensing movement of the device through at least one sensor; a control unit determining at least one of a slope direction of the device, an angle in the slope direction, and holding time of the slope direction based on the sensing data and generating a control command for controlling the movement of the UAV using at least one of the determined slope direction, angle, and holding time; and a communication unit transmitting the control command to the UAV.

Description

Technical Field [0001] The present invention relates to a remote control apparatus and method for a UAV,

본 발명의 실시예들은 무인 항공기의 움직임을 직관적으로 제어하며, 추가 장비 없이 기하학적 비행 궤적으로 무인 항공기가 움직이도록 제어하는 무인 항공기의 원격 제어 장치 및 방법에 관한 것이다. Embodiments of the present invention relate to an apparatus and method for remote control of a UAV that intuitively controls the movement of the UAV and controls the movement of the UAV by using a geometric flight trajectory without additional equipment.

드론 등과 같은 무인 항공기(UAV: Unmanned　Aerial Vehicle)는 조종사가 비행체에 직접 탑승하지 않고 지상에서 원격 제어하여 움직임을 제어한다. 일반적으로, 사용자는 전용 컨트롤러인 RC(Radio Controller)를 사용하여 무인 항공기의 움직임을 제어한다. 그러나, RC는 조작이 어려우므로 초보자가 쉽게 작동하기 힘든 단점이 있다. Unmanned aerial vehicles (UAVs) such as drones control the movement by remote control from the ground without the pilot boarding the aircraft directly. Generally, the user controls the movement of the unmanned airplane using a radio controller (RC), which is a dedicated controller. However, since RC is difficult to operate, it is difficult for beginners to operate easily.

이를 해결하기 위해, 카메라에 기반한 제스처 방식의 무인 항공기 제어 기술이 개발되었다. 그러나, 상기의 기술은 손을 촬영하는 빛의 양(intensity)에 따라 제스처의 인식률이 현저하게 낮고, 제스처를 인식하기 위해 많은 계산량을 필요로 하며, 제스처의 크기에 따른 비행 궤적을 일반화하기 어려운 단점이 있다. 또한, 기하학적 제스처를 이용하여 UAV를 제어하고자 하는 경우, 깊이 인식 카메라를 이용하거나 추가 센서를 부착해야 하는 불편함이 존재한다. To solve this problem, a camera-based gesture-based unmanned aerial vehicle control technology has been developed. However, the above-described technique is disadvantageous in that recognition rate of the gesture is remarkably low depending on the intensity of the light photographing the hand, a large amount of calculation is required to recognize the gesture, and it is difficult to generalize the trajectory according to the size of the gesture . In addition, when a UAV is controlled using a geometric gesture, it is inconvenient to use a depth recognition camera or to attach an additional sensor.

한국공개특허 10-2017-0090603Korean Patent Publication No. 10-2017-0090603

상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 무인 항공기의 움직임을 직관적으로 제어하며, 추가 장비 없이 기하학적 비행 궤적으로 무인 항공기가 움직이도록 제어하는 무인 항공기의 원격 제어 장치 및 방법을 제안하고자 한다. In order to solve the problems of the related art as described above, the present invention proposes a remote control device and method of a UAV that intuitively controls the movement of the UAV, and controls the UAV to move with the geometric flight trajectory without additional equipment I want to.

본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.Other objects of the invention will be apparent to those skilled in the art from the following examples.

상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 사용자에 장착되어 무인 항공기의 움직임을 원격으로 제어하는 장치에 있어서, 적어도 하나의 센서를 통해 상기 장치의 움직임을 센싱하여 센싱 데이터를 생성하는 센서부; 상기 센싱 데이터에 기초하여 상기 장치의 경사 방향, 상기 경사 방향에서의 각도 및 상기 경사 방향의 유지 시간 중 적어도 하나를 결정하고, 상기 결정된 경사 방향, 각도 및 유지 시간 중 적어도 하나를 이용하여 상기 무인 항공기의 움직임을 제어하기 위한 제어 명령을 생성하는 제어부; 및 상기 제어 명령을 상기 무인 항공기로 전송하는 통신부;를 포함하는 것을 특징으로 하는 무인 항공기의 원격 제어 장치가 제공된다. According to another aspect of the present invention, there is provided an apparatus for remotely controlling movement of an unmanned aerial vehicle mounted on a user, the apparatus comprising: at least one sensor for sensing movement of the apparatus, A sensor unit for generating a sensor signal; Determining at least one of an oblique direction of the apparatus, an angle of the oblique direction and a retention time of the oblique direction based on the sensing data, and using at least one of the determined oblique direction, A control unit for generating a control command for controlling the movement of the motor; And a communication unit for transmitting the control command to the UAV. The remote control apparatus of the UAV is provided.

상기 제어부는 상기 경사 방향에서의 각도 또는 상기 경사 방향의 유지 시간 중 적어도 하나를 이용하여 상기 무인 항공기의 이동 속도를 결정할 수 있다. The control unit may determine the moving speed of the UAV by using at least one of the angle in the inclined direction and the holding time in the inclined direction.

상기 결정된 경사 방향은 미리 설정된 복수의 경사 방향 중 하나의 경사 방향이며, 상기 복수의 경사 방향은, 상기 장치의 상부면이 위쪽을 향한 상태에서 구분되는 x(2 이상의 정수)개의 경사 방향 A 및 상기 장치의 하부면이 위쪽을 향한 상태에서 구분되는 y(2 이상의 정수)개의 경사 방향 B을 포함할 수 있다. Wherein the determined inclination direction is one of a plurality of predetermined inclination directions, and the plurality of inclination directions include x (an integer of 2 or more) oblique directions A and X, which are distinguished in a state in which the upper surface of the apparatus faces upward, And may include y (an integer of 2 or more) oblique directions B separated in a state that the lower surface of the apparatus faces upward.

상기 제어부는, 상기 센싱 데이터를 이용하여 상기 장치의 그룹핑 경사 방향을 산출하고, 상기 결정된 그룹핑 경사 방향을 더 이용하여 상기 제어 명령을 생성하되, 상기 결정된 그룹핑 경사 방향은 상기 미리 설정된 복수의 그룹핑 경사 방향 중 하나의 그룹핑 경사 방향이며, 상기 복수의 그룹핑 경사 방향은 전 방향에 대한 제1 그룹핑 경사 방향, 후 방향에 대한 제2 그룹핑 경사 방향, 좌 방향에 대한 제3 그룹핑 경사 방향 및 우 방향에 대한 제4 그룹핑 경사 방향을 포함할 수 있다. Wherein the control unit calculates the grouping oblique direction of the apparatus using the sensing data and generates the control command by further using the determined grouping oblique direction, wherein the determined grouping oblique direction is a predetermined grouping oblique direction , And the plurality of grouping oblique directions include a first grouping oblique direction with respect to the forward direction, a second grouping oblique direction with respect to the backward direction, a third grouping oblique direction with respect to the left direction, and a third grouping oblique direction with respect to the right direction 4 grouping slope direction.

상기 x개의 경사 방향 A는, 전 방향에 대한 복수의 경사 방향 A1, 후 방향에 대한 복수의 경사 방향 A2, 좌 방향에 대한 복수의 경사 방향 A3, 우 방향에 대한 복수의 경사 방향 A4를 포함하고, 상기 제1 그룹핑 경사 방향은 상기 복수의 경사 방향 A1가 그룹핑된 것이고, 상기 제2 그룹핑 경사 방향은 상기 복수의 경사 방향 A2가 그룹핑된 것이고, 상기 제3 그룹핑 경사 방향은 상기 복수의 경사 방향 A3가 그룹핑된 것이고, 상기 제4 그룹핑 경사 방향은 상기 복수의 경사 방향 A4가 그룹핑될 수 있다. The x oblique directions A include a plurality of oblique directions A1 for the forward direction, a plurality of oblique directions A2 for the backward direction, a plurality of oblique directions A3 for the left direction, and a plurality of oblique directions A4 for the right direction , The first grouping oblique direction is a grouping of the plurality of oblique directions A 1, and the second grouping oblique direction is a grouping of the plurality of oblique directions A 2, and the third grouping oblique direction is a grouping direction of the plurality of oblique directions A 3 And the fourth grouping oblique direction may be grouped by the plurality of oblique directions A4.

상기 제어 명령은, 상기 무인 항공기의 이동 방향을 제어하기 위한 제1 모드(mode) 제어 명령 및 상기 무인 항공기가 기 설정된 기하학적 비행 궤적으로 움직이도록 제어하기 위한 제2 모드 제어 명령을 포함할 수 있다. The control command may include a first mode control command for controlling the moving direction of the UAV and a second mode control command for controlling the UAV to move to a predetermined geometric flight path.

상기 제어부는, 상기 복수의 경사 방향 중 적어도 하나의 경사 방향을 이용하여 모드 전환을 수행하며, 상기 모드 전환에 따라 상기 제1 모드 제어 명령 및 상기 제2 모드 제어 명령 중 어느 하나의 모드 제어 명령을 생성할 수 있다. Wherein the control unit performs mode switching using at least one of the plurality of oblique directions and switches any one of the first mode control command and the second mode control command according to the mode switching Can be generated.

상기 제1 모드 제어 명령은, 상승 이동 명령, 하강 이동 명령, 우측 이동 명령, 좌측 이동 명령, 전진 이동 명령, 후진 이동 명령, 우측 전진 이동 명령, 좌측 전진 이동 명령, 우측 후진 이동 명령 및 좌측 후진 이동 명령을 포함하고, 상기 제2 모드 제어 명령은 원형 이동 명령, 나선형 이동 명령, 삼각형 이동 명령 및 사각형 이동 명령을 포함할 수 있다. The first mode control command includes at least one of an up movement command, a down movement command, a right movement command, a left movement command, a forward movement command, a backward movement command, a rightward movement command, a leftward movement command, Command, and the second mode control command may include a circular movement command, a helical movement command, a triangle movement command, and a quadrature movement command.

상기 제어부는, 상기 제2 모드로의 전환이 이루어진 이후. 상기 x(2 이상의 정수)개의 경사 방향 A 중 기준 위치에서 시작해서 인접한 영역 해당하는 경사 방향 A가 순차적으로 결정되면 상기 무인 항공기를 기하학적 비행 궤적으로 움직이도록 제어하기 위한 제어 명령을 생성할 수 있다. After the switching to the second mode is made, A control command for controlling the unmanned airplane to move to the geometric flight path can be generated when the inclined direction A corresponding to the adjacent area starting from the reference position among the x (two or more integer) inclination directions A is sequentially determined.

상기 제어부는, 상기 기준 위치에서 상기 인접한 영역 해당하는 경사 방향 A가 순차적으로 결정된 이후, 상기 기준 위치로 다시 돌아오는 시간을 이용하여 상기 기하학적 비행 궤적의 스케일을 결정할 수 있다. The control unit may determine the scale of the geometric flight trajectory using the time to return to the reference position after the oblique direction A corresponding to the adjacent region is sequentially determined at the reference position.

상기 기준 위치는 상기 장치의 상부면이 위쪽을 향한 상태에서 수평에 해당하는 경사 방향으로 정의될 수 있다. The reference position may be defined as an oblique direction corresponding to a horizontal position with the upper surface of the apparatus facing upward.

본 발명의 다른 측면에 따르면, 사용자에 장착되며 프로세서를 구비한 장치에서 수행되는 무인 항공기의 원격 제어 방법에 있어서, 적어도 하나의 센서를 통해 상기 장치의 움직임을 센싱하여 생성된 센싱 데이터를 입력받는 단계 (a); 상기 센싱 데이터에 기초하여 상기 장치의 경사 방향, 상기 경사 방향에서의 각도 및 상기 경사 방향의 유지 시간 중 적어도 하나를 결정하는 단계 (b); 상기 결정된 경사 방향, 각도 및 유지 시간 중 적어도 하나를 이용하여 상기 무인 항공기의 움직임을 제어하기 위한 제어 명령을 생성하는 단계 (c); 및 상기 제어 명령을 상기 무인 항공기로 전송하는 단계 (d);를 포함하는 것을 특징으로 하는 무인 항공기의 원격 제어 방법이 제공된다. According to another aspect of the present invention, there is provided a remote control method for an unmanned aerial vehicle, which is performed in an apparatus equipped with a processor, the method comprising: receiving sensed data generated by sensing movement of the apparatus through at least one sensor; (a); (B) determining at least one of an oblique direction of the apparatus, an angle of the oblique direction, and a retention time of the oblique direction based on the sensing data; (C) generating a control command for controlling the movement of the UAV using at least one of the determined inclination direction, angle, and holding time; And (d) transmitting the control command to the UAV. The remote control method of the UAV is provided.

본 발명의 또 다른 측면에 따르면, 상기 제12항에 따른 방법을 수행하기 위한 일련의 명령어들을 포함하는 매체에 저장된 컴퓨터 프로그램이 제공된다. According to another aspect of the present invention there is provided a computer program stored on a medium comprising a series of instructions for performing the method according to claim 12.

본 발명에 따르면, 무인 항공기의 움직임을 직관적으로 제어할 수 있으며, 추가 장비 없이 기하학적 비행 궤적으로 무인 항공기를 움직이도록 제어할 수 있는 장점이 있다. According to the present invention, the movement of the UAV can be intuitively controlled, and the UAV can be controlled to move with the geometric flight trajectory without additional equipment.

또한, 본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.It should be understood that the effects of the present invention are not limited to the above effects and include all effects that can be deduced from the detailed description of the present invention or the configuration of the invention described in the claims.

도 1은 본 발명의 일 실시예에 따른 무인 항공 시스템의 개략적인 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 움직임 제어 장치의 개략적인 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 원격 제어 장치의 프로토 타입의 장착 형태 및 크기를 도시하고 있다.
도 4는 본 발명의 일 실시예에 따른 원격 제어 장치를 이용한 무인 항공기의 제어의 일례를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 원격 제어 장치의 개략적인 구성을 도시한 도면이다.
도 6은 본 발명이 일 실시예에 따른 복수의 손 자세 영역의 일례를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 원격 제어 장치의 동작의 개념을 설명한 도면이다.
도 8은 본 발명의 일 실시예에 따른 기하학적 비행 궤적 명령을 생성하기 위해 사용되는 손 자세 영역의 출현의 일례를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 무인 항공기의 원격 제어 방법의 흐름도를 도시한 도면이다.1 is a view showing a schematic configuration of an unmanned aerial vehicle system according to an embodiment of the present invention.
2 is a diagram showing a schematic configuration of a motion control apparatus according to an embodiment of the present invention.
Figure 3 shows the mounting configuration and size of the prototype of the remote control device according to one embodiment of the present invention.
4 is a diagram illustrating an example of control of the UAV by using the remote control apparatus according to an embodiment of the present invention.
5 is a diagram showing a schematic configuration of a remote control apparatus according to an embodiment of the present invention.
6 is a diagram showing an example of a plurality of hand postures according to an embodiment of the present invention.
7 is a view for explaining the concept of the operation of the remote control apparatus according to the embodiment of the present invention.
8 is a diagram showing an example of appearance of a hand posture region used for generating a geometric flight trajectory command according to an embodiment of the present invention.
9 is a flowchart illustrating a remote control method for an unmanned aeronautical vehicle according to an embodiment of the present invention.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.As used herein, the singular forms "a", "an" and "the" include plural referents unless the context clearly dictates otherwise. In this specification, the terms "comprising ", or" comprising "and the like should not be construed as necessarily including the various elements or steps described in the specification, Or may be further comprised of additional components or steps. Also, the terms "part," " module, "and the like described in the specification mean units for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software .

이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술한다.
Various embodiments of the present invention will now be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 무인 항공 시스템의 개략적인 구성을 도시한 도면이다. 1 is a view showing a schematic configuration of an unmanned aerial vehicle system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 무인 항공 시스템은 무인 항공기(100), 움직임 제어 장치(200), 및 원격 제어 장치(300)를 포함한다. 이하, 각 구성 요소 별로 그 기능을 상세하게 설명하기로 한다. Referring to FIG. 1, an unmanned aerial vehicle system according to an embodiment of the present invention includes an unmanned air vehicle 100, a motion control device 200, and a remote control device 300. Hereinafter, the function of each component will be described in detail.

무인 항공기(100)는 조종사가 비행체에 직접 탑승하지 않고 지상에서 원격 제어하여 움직임을 제어할 수 있는 비행체를 의미한다. 이 때, 도 1에서는 4개의 회전 날개를 구비한 드론인 쿼드로터(quadrotor)를 무인 항공기(100)의 일례로 도시하고 있다. 그러나, 본 발명은 이에 한정되지 않으며, 다양한 무인 항공기(100)에 본 발명이 적용될 수 있다. The unmanned airplane (100) refers to a vehicle capable of controlling the movement of a pilot by remote control from the ground without being directly mounted on the aircraft. 1, a drone in quadrotor having four rotary blades is shown as an example of the UAV 100. In FIG. However, the present invention is not limited thereto, and the present invention can be applied to various types of UAVs.

움직임 제어 장치(200)는 무인 항공기(100)의 일면, 일례로 아랫면에 부착되며, 무인 항공기(100)의 움직임을 제어하기 위한 장치이다. 이 때, 움직임 제어 장치(200)는 원격 제어 장치(300)에서 전송되는 제어 명령에 기초하여 무인 항공기(100)의 움직임을 제어할 수 있다. The motion control device 200 is attached to a lower surface of the UAV 100, for example, and controls the movement of the UAV 100. [ At this time, the motion control apparatus 200 can control the motion of the UAV 100 based on the control command transmitted from the remote control apparatus 300. [

도 2는 본 발명의 일 실시예에 따른 움직임 제어 장치(200)의 개략적인 구성을 도시한 도면이다. 2 is a diagram showing a schematic configuration of a motion control apparatus 200 according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 움직임 제어 장치(200)는 통신부(210), 고도 센서부(220) 및 제어부(230)를 포함한다. Referring to FIG. 2, the motion control apparatus 200 includes a communication unit 210, an altitude sensor unit 220, and a controller 230.

통신부(210)는 원격 제어 장치(300)에서 전송되는 제어 명령을 수신한다. 이 때, 통신부(210)는 WIFI 등과 같은 근거리 통신 모듈 또는 RF 모듈 등과 같은 원거리 통신 모듈을 통해 통신을 수행할 수 있다. 한편, 수신된 제어 명령에 대해서는 아래에서 보다 상세하게 설명하기로 한다. The communication unit 210 receives a control command transmitted from the remote control device 300. [ At this time, the communication unit 210 can perform communication through a remote communication module such as a local communication module such as WIFI or an RF module. The received control command will be described in more detail below.

고도 센서부(220)는 이륙 내지 호버링(hovering)을 위해 필요한 무인 항공기(100)의 고도를 측정한다. 일례로, 고도 센서부(220)는 LeddarOne일 수 있다. The altitude sensor unit 220 measures an altitude of the UAV 100 required for taking-off or hovering. For example, the altitude sensor unit 220 may be a LeddarOne.

일반적으로 무인 항공기(100)의 호버링은 모터의 스로틀 값을 제어하여 수행할 수 있으나, 고도 센서를 사용하지 않는 경우 작은 스로틀 값의 변화만으로도 급격한 고도 변화가 초래된다. 종래의 경우, 초음파 센서를 사용하였으나, 지상이 평평하지 않는 경우 확산 반사가 발생할 수 있으므로 정확한 고도를 측정하기 어렵다. 따라서, 본 발명은 고도 센서부(220)인 LeddarOne를 사용하여 이륙 내지 호버링을 안정적으로 제어할 수 있다. Generally, the hovering of the UAV 100 can be performed by controlling the throttle value of the motor. However, when the altitude sensor is not used, sudden altitude change is caused by a change of the small throttle value. In the conventional case, an ultrasonic sensor is used, but when the ground is not flat, diffuse reflection may occur, so it is difficult to measure the accurate altitude. Accordingly, the present invention can stably control the takeoff or hovering by using the altitude sensor unit 220, LeddarOne.

제어부(230)는 통신부(210)에서 수신된 제어 명령 및 고도 센서부(220)에서 측정된 고도값에 기초하여 무인 항공기(100)의 움직임을 제어할 제어값을 산출한다. The control unit 230 calculates a control value for controlling the movement of the UAV 100 based on the control command received from the communication unit 210 and the altitude value measured by the altitude sensor unit 220.

본 발명의 일 실시예에 따르면, 제어부(230)는 Raspberry Pi 및 Pixhack를 포함할 수 있다. Raspberry Pi는 초소형 컴퓨터로서, 통신부(210)에서 수신된 제어 명령을 입력받아 제어값을 출력한다. 그리고, Pixhack는 비행 컨트롤러로서, 가속도계, 자기계 및 자이로스코프를 포함한다(9축 센서). According to an embodiment of the present invention, the controller 230 may include Raspberry Pi and Pixhack. The Raspberry Pi is a microcomputer that receives control commands received from the communication unit 210 and outputs control values. And, Pixhack is a flight controller that includes an accelerometer, a self-propelled gyroscope and a gyroscope (9-axis sensor).

한편, 제어 명령 및 LeddarOne의 센싱값은 쿼터니언 값이고, 제어값은 오일러 각도값일 수 있으며, Pixhack는 오일러 각도값을 이용하여 무인 항공기(100)의 움직임을 제어할 수 있다. 아래의 수학식 1 및 2는 쿼터니언 값과 오일러 각도값의 관계를 나타낸다.
Meanwhile, the sensing value of the control command and LeddarOne may be a quaternion value, the control value may be an Euler angle value, and Pixhack may control the movement of the UAV 100 using the Euler angle value. The following equations (1) and (2) show the relationship between the quaternion value and the Euler angle value.

여기서,

는 각각 롤(roll) 데이터, 피치(pitch) 데이터, 요(yaw) 데이터를 의미하고,

는 쿼터니온의 4개의 원소를 각각 의미한다. here,

Respectively denote roll data, pitch data, and yaw data,

Means the four elements of quaternion respectively.

다시 도 1을 참조하면, 원격 제어 장치(300)는 무인 항공기(100)의 움직임을 원격으로 제어하기 위한 장치이다. 이 때, 원격 제어 장치(300)는 상기에서 언급한 무인 항공기(100)의 움직임을 제어할 제어 명령을 생성하여 움직임 제어 장치(200)로 전송한다. Referring again to FIG. 1, the remote control device 300 is a device for remotely controlling the movement of the UAV 100. At this time, the remote control device 300 generates a control command for controlling the motion of the UAV 100 and transmits the control command to the motion control device 200.

이 때, 원격 제어 장치(300)는 사용자에 장착되며, 일례로 사용자의 손, 바람직하게는 사용자의 손바닥에 장착될 수 있다. 도 3에서는 사용자의 손바닥에 장착된 원격 제어 장치(300)의 프로토 타입의 장착 형태 및 크기를 도시하고 있다. At this time, the remote control device 300 is mounted on the user, and may be mounted on the user's hand, preferably the palm of the user, for example. 3 shows the mounting type and size of the prototype of the remote control device 300 mounted on the palm of the user.

이하, 설명의 편의를 위해, 도 3의 (A)에 도시된 바와 같이 원격 제어 장치(300)가 사용자의 손바닥에 장착되는 것으로 가정하여 설명한다. 이 때, 원격 제어 장치(300)의 상부면이 사용자의 손바닥에 접촉되고, 원격 제어 장치(300)의 하부면이 지면을 향하는 것으로 설명한다. Hereinafter, for ease of explanation, it is assumed that the remote control device 300 is mounted on the palm of the user as shown in FIG. 3A. It is assumed that the upper surface of the remote control device 300 is in contact with the palm of the user and the lower surface of the remote control device 300 is facing the ground.

그리고, 원격 제어 장치(300)는 적어도 하나의 센서를 통해 사용자의 손의 자세(pose)를 측정하여 무인 항공기(100)의 움직임을 제어하기 위한 제어 명령을 생성하며, 보다 정확하게는 사용자의 손에 장착되는 원격 제어 장치(300)의 자세를 이용하여 제어 명령을 생성할 수 있다. The remote control device 300 generates a control command for controlling the movement of the UAV 100 by measuring a pose of the user's hand through at least one sensor and more precisely, A control command can be generated using the posture of the remote control device 300 to be mounted.

일례로, 원격 제어 장치(300)가 사용자의 손바닥에 부착된 상태에서, 손가락을 아래쪽으로 기울이는 경우, 도 4의 (A)에 도시된 바와 같이 원격 제어 장치(300)의 앞쪽이 아래쪽으로 기울여지며, 무인 항공기(100)는 전진 이동할 수 있다. For example, when the remote control device 300 is attached to the palm of the user and the finger is tilted downward, the front of the remote control device 300 is tilted downward as shown in Fig. 4 (A) , The UAV 100 can move forward.

다른 일례로, 원격 제어 장치(300)가 사용자의 손바닥에 부착된 상태에서, 손가락을 위쪽으로 기울이는 경우, 도 4의 (B)에 도시된 바와 같이 원격 제어 장치(300)의 뒤쪽이 아래쪽으로 기울여지며, 무인 항공기(100)는 후진 이동할 수 있다. As another example, when the remote control device 300 is attached to the palm of the user and the finger is tilted upward, the back of the remote control device 300 is tilted downward as shown in FIG. 4 (B) And the UAV 100 can move backward.

또 다른 일례로, 원격 제어 장치(300)가 사용자의 손바닥에 부착된 상태에서, 손을 왼쪽으로 비트는 경우, 도 4의 (C)에 도시된 바와 같이 원격 제어 장치(300)가 왼쪽으로 기울어지며, 무인 항공기(100)는 왼쪽으로 이동할 수 있다. As another example, when the remote control device 300 is attached to the palm of the user and the hand is left-handed, the remote control device 300 tilts to the left as shown in FIG. 4C And the UAV 100 can be moved to the left.

또 다른 일례로, 원격 제어 장치(300)가 사용자의 손바닥에 부착된 상태에서, 손을 오른쪽으로 비트는 경우, 도 4의 (D)에 도시된 바와 같이 원격 제어 장치(300)가 오른쪽으로 기울어지며, 무인 항공기(100)는 오른쪽으로 이동할 수 있다. As another example, when the remote control device 300 is attached to the palm of the user and the user hands his or her right hand, the remote control device 300 tilts to the right as shown in FIG. 4 (D) And the UAV 100 can be moved to the right.

이하, 도 5를 참조하여 본 발명의 일 실시예에 따른 원격 제어 장치(300)를 보다 상세하게 설명한다. Hereinafter, a remote control apparatus 300 according to an embodiment of the present invention will be described in detail with reference to FIG.

도 5는 본 발명의 일 실시예에 따른 원격 제어 장치(300)의 개략적인 구성을 도시한 도면이다. 5 is a diagram showing a schematic configuration of a remote control device 300 according to an embodiment of the present invention.

도 5를 참조하면, 원격 제어 장치(300)는 센서부(310), 제어부(320) 및 통신부(330)를 포함한다. 한편, 원격 제어 장치(300)는 프로세서 및 통신 모듈을 모두 포함하고 있는 스마트폰을 통해서 구현할 수도 있다. 이하, 각 구성 요소 별로 그 기능을 상세하게 설명한다 5, the remote control device 300 includes a sensor unit 310, a control unit 320, and a communication unit 330. [ Meanwhile, the remote control device 300 may be implemented through a smart phone including both a processor and a communication module. Hereinafter, the function of each component will be described in detail

센서부(310)는 사용자의 손의 움직임(자세), 즉 사용자의 손에 장착된 원격 제어 장치(300)의 움직임을 센싱하여 센싱 데이터를 생성한다. 이를 위해, 센서부(310)는 적어도 하나의 센서를 포함한다. 일례로, 센서부(310)는 자이로스코프 및 가속도계를 포함하는 6축 센서인 MPU-6050일 수 있다. The sensor unit 310 senses the movement (posture) of the user's hand, that is, the motion of the remote control device 300 mounted on the user's hand, to generate sensing data. To this end, the sensor unit 310 includes at least one sensor. For example, the sensor unit 310 may be a six-axis sensor MPU-6050 including a gyroscope and an accelerometer.

그러나, 본 실시예에 따른 센서부(310)는 6축 센서에 한정되지 않으며, 가속도계, 자기계 및 자이로스코프를 포함하는 9축 센서일 수도 있다. However, the sensor unit 310 according to the present embodiment is not limited to a six-axis sensor, and may be a nine-axis sensor including an accelerometer, a magnet, and a gyroscope.

이하에서는 센서부(310)가 6축 센서인 것을 중심으로 설명할 것이나, 무인 항공기(100)의 이동 방향뿐만 아니라, 속도까지 제어할 수 있도록 9축 센서가 사용되는 것도 설명할 것이다. Hereinafter, the sensor unit 310 will be mainly described as a six-axis sensor, but a 9-axis sensor will be used to control not only the moving direction of the UAV 100 but also the speed.

본 발명의 일 실시예에 따르면, 센싱 데이터는 원격 제어 장치(300)의 움직임에 대한 롤 데이터, 피치 데이터 및 z축의 중력 데이터일 수 있다. According to one embodiment of the present invention, the sensing data may be roll data, pitch data, and gravity data of the z axis for the motion of the remote control device 300. [

제어부(320)는 센싱 데이터에 기초하여 무인 항공기(100)의 움직임을 제어하기 위한 제어 명령을 생성한다. 일례로, 제어부(320)는 Raspberry Pi를 포함할 수 있다. 그리고, 통신부(330)는 생성된 제어 명령을 움직임 제어 장치(200)로 전송한다. The control unit 320 generates a control command for controlling the motion of the UAV 100 based on the sensing data. For example, the control unit 320 may include Raspberry Pi. Then, the communication unit 330 transmits the generated control command to the motion control device 200. [

본 발명의 일 실시예에 따르면, 제어부(320)는 센싱 데이터를 이용하여 원격 제어 장치(300)의 경사 방향(기울어진 방향 내지 비틀어진 방향)을 결정하고, 결정된 경사 방향을 이용하여 무인 항공기(100)의 움직임을 제어하기 위한 제어 명령을 생성할 수 있다. 즉, 원격 제어 장치(300)의 자세를 정의하기 위해 복수의 경사 방향이 사용될 수 있으며, 경사 방향은 원격 제어 장치(300)가 어느 부분으로 기울거나 비틀어졌는지 여부를 의미한다. 이는 앞서 도 3에서 설명한 것과 같다. According to an embodiment of the present invention, the controller 320 determines the tilt direction (tilted direction or tilted direction) of the remote control device 300 using the sensing data, 100 in response to the control command. That is, a plurality of oblique directions can be used to define the posture of the remote control device 300, and the oblique direction means which part of the remote control device 300 is inclined or twisted. This is the same as that described above with reference to FIG.

이 때, 상기한 결정된 경사 방향은 미리 설정된 복수의 경사 방향 중 하나의 경사 방향일 수 있다. 즉, 본 발명에 따르면, 센싱 데이터의 학습을 통해 복수의 경사 방향 각각과 센싱 데이터를 매칭할 수 있으며, 원격 제어 장치(300)의 사용 시, 하나의 센싱 데이터가 생성되면 제어부(210)는 생성된 센싱 데이터가 학습 시 설정된 복수의 경사 방향 중 어느 경사 방향과 대응되는지를 판단할 수 있다. At this time, the determined oblique direction may be one of a plurality of preset oblique directions. That is, according to the present invention, sensing data can be matched to each of a plurality of oblique directions through learning of sensing data. When one sensing data is generated when using the remote control device 300, the control unit 210 generates It can be determined which of the plurality of inclination directions set at the time of learning corresponds to which inclination direction.

그리고, 복수의 경사 방향은, 원격 제어 장치(300)의 상부면이 위쪽을 향한 상태(다시 말해, 사용자의 손등이 위쪽에 있는 상태)에서 구분되는 x(2 이상의 정수)개의 경사 방향 A 및 원격 제어 장치(300)의 하부면이 위쪽을 향한 상태(다시 말해, 사용자의 손바닥이 위쪽에 있는 상태)에서 구분되는 y(2 이상의 정수)개의 경사 방향 B을 포함할 수 있다. The plurality of oblique directions include x (an integer of 2 or more) oblique directions A and X (two or more integers) which are distinguished from each other in a state in which the upper surface of the remote control device 300 faces upward (in other words, And may include y (an integer of 2 or more) oblique directions B that are distinguished from each other in a state in which the lower surface of the control device 300 faces upward (that is, the state where the palm of the user is on the upside).

여기서, x개의 경사 방향 A는, 원격 제어 장치(300)의 상부면을 서로 겹치지 않는 x개의 영역으로 구분하는 경우, x개의 영역 각각의 윗쪽 또는 아래쪽으로 원격 제어 장치(300)가 기울어진 방향과 대응된다. 또한, y개의 경사 방향 B는, 원격 제어 장치(300)의 하부면을 서로 겹치지 않는 y개의 영역으로 구분하는 경우, y개의 영역의 윗쪽 또는 아랫쪽으로 원격 제어 장치(300)가 기울어진 방향과 대응된다. In this case, when the upper surface of the remote control device 300 is divided into the x regions which do not overlap with each other, the x oblique directions A are the directions in which the remote control device 300 is tilted upward or downward Respectively. The y oblique directions B correspond to the directions in which the remote control device 300 is tilted to the upper or lower side of the y regions when the lower surface of the remote control device 300 is divided into y regions that do not overlap with each other do.

한편, 본 발명의 다른 실시예에 따르면, 제어부(320)는 센싱 데이터를 이용하여 원격 제어 장치(300)의 그룹핑 경사 방향을 산출하고, 원격 제어 장치(300)의 경사 방향과 더불어 상기한 결정된 그룹핑 경사 방향을 더 이용하여 제어 명령을 생성할 수 있다. 여기서, 그룹핑 경사 방향은 복수의 경사 방향 중 2 이상의 경사 방향을 그룹핑한 것으로서, 경사 방향과 마찬가지로 원격 제어 장치(300)의 기울어진 방향을 결정하는데 사용된다. 즉, 그룹핑 경사 방향은 정확한 경사 방향이 아닌 사용자가 의도한 경사 방향을 판단하는데 이용하는데 사용된다. 이는, 잡음을 줄이고 정확한 제어 명령의 생성을 위해 사용되며, 이를 통해 무인 항공기(100)가 흔들림없이 제어된다. According to another embodiment of the present invention, the control unit 320 calculates the grouping direction of the remote control device 300 using the sensing data, and calculates the grouping direction of the remote control device 300 along with the inclination direction of the remote control device 300, The control command can be generated by further using the oblique direction. Here, the grouping oblique direction is a grouping of at least two oblique directions among a plurality of oblique directions, and is used to determine the oblique direction of the remote control device 300 in the same manner as the oblique direction. That is, the grouping oblique direction is used to judge the intended oblique direction, not the correct oblique direction. This is used for reducing noise and for generating accurate control commands, whereby the UAV 100 is controlled without shaking.

이 때, 상기한 결정된 그룹핑 경사 방향 역시 미리 설정된 복수의 그룹핑 경사 방향 중 하나의 그룹핑 경사 방향일 수 있다. 즉, 본 발명에 따르면, 센싱 데이터의 학습을 통해 복수의 그룹핑 경사 방향 각각과 센싱 데이터를 매칭할 수 있으며, 원격 제어 장치(300)의 사용 시, 하나의 센싱 데이터가 생성되면 제어부(210)는 생성된 센싱 데이터가 학습 시 설정된 복수의 그룹핑 경사 방향 중 어느 그룹핑 경사 방향과 대응되는지를 판단할 수 있다. At this time, the determined grouping oblique direction may be one grouping oblique direction among a plurality of predetermined grouping oblique directions. That is, according to the present invention, sensing data can be matched with each of a plurality of grouping oblique directions through learning of sensing data. When one sensing data is generated when the remote control device 300 is used, the control unit 210 It is possible to determine which grouping slanting direction among the plurality of grouping slanting directions set at the time of learning corresponds to the generated sensing data.

이하, 도 6을 참조하여 경사 방향 및 그룹핑 경사 방향을 보다 상세하게 설명한다. Hereinafter, the oblique direction and the grouping oblique direction will be described in more detail with reference to FIG.

도 6은 본 발명의 일 실시예에 따른 경사 방향 및 그룹핑 경사 방향을 정의하기 위한 복수의 손 자세를 정의하기 위한 영역(Hand Pose Zone)의 일례를 도시한 도면이다. FIG. 6 is a view illustrating an example of a hand pose zone for defining a plurality of hand postures for defining the oblique direction and the grouping oblique direction according to an embodiment of the present invention.

이 때, 사용자의 손은 원격 제어 장치(300)와, 사용자의 손등(도 6의 (A))은 원격 제어 장치(300)의 상부면과, 사용자의 손바닥(도 6의 (B))은 원격 제어 장치(300)의 하부면과 각각 대응된다. 이하, 설명의 편의를 위해, 원격 제어 장치(300)의 상부면을 손등으로, 원격 제어 장치(300)의 하부면을 손바닥으로 가정하여 설명하기로 한다. 6 (A)) of the user's hand and the user's palm (FIG. 6 (B)) of the remote control device 300, And the lower surface of the remote control device 300, respectively. Hereinafter, for convenience of explanation, it is assumed that the upper surface of the remote control device 300 is the back of the hand, and the lower surface of the remote control device 300 is the palm of the hand.

먼저, 도 6의 (A)을 참조하면, 사용자의 손등은 3×3 행렬 형태로 구분되며, 이를 통해 서로 겹치지 않는 9개의 영역이 생성된다. 이 때, 9개의 영역 모두가 9개의 경사 방향 A의 정의를 위해 사용된다. 즉, 9개의 경사 방향 A는 상기한 9개의 영역(즉, 9개의 영역 A) 각각의 아래쪽으로 손등이 기울어진 방향과 대응된다. 일례로, 9개의 경사 방향 A 중 1번 영역과 대응되는 경사 방향 A는 사용자의 손등이 1번의 방향으로 기울어진 상태와 대응된다. 한편, 9개의 경사 방향 A는, 9개의 영역 각각의 위쪽으로 기울어진 방향으로도 정의될 수 있다. Referring to FIG. 6A, the user's hand is divided into 3 × 3 matrixes, and nine regions that do not overlap with each other are generated. At this time, all nine regions are used for the definition of nine inclination directions A. Namely, the nine inclined directions A correspond to the directions in which the back of the hand is inclined to below each of the nine regions (i.e., the nine regions A). For example, the oblique direction A corresponding to the first of the nine oblique directions A corresponds to a state in which the user's hand is inclined in the first direction. On the other hand, the nine inclined directions A can also be defined as the upward tilted directions of each of the nine regions.

여기서, x개의 영역 중에는 원격 제어 장치(300)가 수평을 유지하는 상태(5번 영역, 경사 방향 0)에 해당하는 방향도 포함된다. Here, among the x regions, the direction corresponding to the state in which the remote control device 300 maintains the horizontal (region 5, inclined direction 0) is also included.

다음으로, 도 6의 (B)을 참조하면, 사용자의 손바닥은 3×3 행렬 형태로 구분되며, 이를 통해 서로 겹치지 않는 9개의 영역이 생성된다. 이 때, 9개의 영역 중 5개의 영역이 5개의 경사 방향 B의 정의를 위해 사용된다. 즉, 5개의 경사 방향 B는 상기한 9개의 영역 중 5개의 영역(즉, 5개의 영역 B) 각각의 아래쪽으로 손바닥이 기울어진 방향과 대응된다. 한편, 5개의 경사 방향 B는, 5개의 영역 각각의 위쪽으로 기울어진 방향으로도 정의될 수 있다. Next, referring to FIG. 6B, the palm of the user is divided into a 3 × 3 matrix, and nine regions that do not overlap with each other are generated. At this time, five regions out of the nine regions are used for defining the five oblique directions B. [ That is, the five oblique directions B correspond to the directions in which the palm is inclined downward to each of the five regions out of the nine regions (i.e., the five regions B). On the other hand, the five oblique directions B can also be defined as directions tilted upward of each of the five regions.

마찬가지로, y개의 영역 중에는 원격 제어 장치(300)가 수평을 유지하는 상태(10번, 경사 방향 0)에 해당하는 방향도 포함된다.Likewise, among the y regions, directions corresponding to the state (10, slope direction 0) in which the remote control apparatus 300 maintains the horizontal position are included.

한편, 도 6의 (C)에서는 4개의 그룹핑 경사 방향을 도시하고 있다. 도 6의 (C)를 참조하면, 4개의 그룹핑 경사 방향은 도 6의 (A)에서 설명한 사용자의 손등에 대한 9개의 영역 A에 기초하여 정의될 수 있으며, 4개의 그룹핑 경사 방향은 전 방향에 대한 제1 그룹핑 경사 방향(15번), 후 방향에 대한 제2 그룹핑 경사 방향(16번), 좌 방향에 대한 제3 그룹핑 경사 방향(17번) 및 우 방향에 대한 제4 그룹핑 경사 방향(18번)을 포함한다. On the other hand, FIG. 6 (C) shows four grouping oblique directions. Referring to FIG. 6C, the four grouping oblique directions can be defined based on the nine regions A for the user's hand as described in (A) of FIG. 6, and the four grouping oblique directions can be defined in all directions The second grouping oblique direction 16 for the backward direction, the third grouping oblique direction 17 for the left direction and the fourth grouping oblique direction 18 for the right direction Times.

이 때, 제1 그룹핑 경사 방향은, 9개의 영역 중에서 앞 방향에 있는 3개의 영역 A인 1번 영역, 2번 영역, 3번 영역과 대응되는 3개의 경사 방향 A이 그룹핑된 것이고, 제2 그룹핑 경사 방향은, 9개의 영역 중에서 뒤 방향에 있는 3개의 영역 A인 7번 영역, 8번 영역, 9번 영역과 대응되는 3개의 경사 방향 A이 그룹핑된 것이고, 제3 그룹핑 경사 방향은, 9개의 영역 중에서 왼쪽 방향에 있는 3개의 영역 A인 1번 영역, 4번 영역, 7번 영역과 대응되는 3개의 경사 방향 A이 그룹핑된 것이고, 제4 그룹핑 경사 방향은, 9개의 영역 중에서 오른쪽 방향에 있는 3개의 영역 A인 3번 영역, 6번 영역, 9번 영역과 대응되는 3개의 경사 방향 A이 그룹핑된 것이다. In this case, the first grouping oblique direction is a grouping of three oblique directions A corresponding to the first, second, and third regions A, which are the three frontal regions A among the nine regions, The oblique direction is a grouping of three oblique directions A corresponding to the seventh, eighth, and ninth regions A, which are three regions A in the backward direction among the nine regions, and the third grouping oblique direction is nine Three slope directions A corresponding to the first, fourth, and seventh areas A, which are three areas A in the left direction, are grouped, and the fourth grouping slope direction is a grouping direction Three slope directions A corresponding to the third, sixth, and ninth regions A, which are the three regions A, are grouped.

도 6의 (C)의 내용을 일반화하면, 원격 제어 장치(300)의 상부면에 따른 x개의 경사 방향 A는, 전 방향에 대한 복수의 경사 방향 A1, 후 방향에 대한 복수의 경사 방향 A2, 좌 방향에 대한 복수의 경사 방향 A3, 우 방향에 대한 복수의 경사 방향 A4를 포함하고, 제1 그룹핑 경사 방향은 복수의 경사 방향 A1가 그룹핑된 것이고, 제2 그룹핑 경사 방향은 복수의 경사 방향 A2가 그룹핑된 것이고, 제3 그룹핑 경사 방향은 복수의 경사 방향 A3가 그룹핑된 것이고, 제4 그룹핑 경사 방향은 복수의 경사 방향 A4가 그룹핑된 것이다. 6C, the x oblique directions A along the upper surface of the remote controller 300 are divided into a plurality of oblique directions A1 to the front direction, a plurality of oblique directions A2 to the back direction, A plurality of oblique directions A3 to the left and a plurality of oblique directions A4 to the right, wherein the first grouping oblique direction is a group of a plurality of oblique directions A1, and the second grouping oblique direction includes a plurality of oblique directions A2 The third grouping oblique direction is a group of a plurality of oblique directions A3, and the fourth grouping oblique direction is a group of a plurality of oblique directions A4.

원격 제어 장치(300)가 사용자 손에 장착된(쥐어진) 상태에서 조작되는 경우, 사용자의 손의 움직임에 따라 미세한 흔들림이 존재할 수 있다. When the remote control device 300 is operated in a state in which the remote control device 300 is mounted on the user's hand, slight fluctuations may occur depending on the movement of the user's hand.

예를 들어, 사용자가 무인 항공기(100)를 전방 방향으로 이동시키기 위해 원격 제어 장치(300)의 앞쪽을 아래로 기울이더라도 미세한 흔들림이 있을 수 있으나, 일정 시간 동안 전방에 해당하는 복수의 경사 방향에 상응하는 센싱 데이터가 입력되는 경우, 그룹핑 경사 방향을 이용하여 흔들림을 반영하지 않고 전방 방향으로 안정적으로 이동할 수 있도록 한다. For example, even if the user tilts the front side of the remote control device 300 downward to move the UAV 100 in the forward direction, there may be slight fluctuations. However, in a plurality of oblique directions When the corresponding sensing data is input, the grouping oblique direction can be used to stably move in the forward direction without reflecting the shaking.

상기에서 설명한 내용과 도 7을 참조하여 본 발명의 일 실시예에 따른 원격 제어 장치(300)의 동작을 보다 상세하게 설명한다. The operation of the remote controller 300 according to an embodiment of the present invention will be described in more detail with reference to the above description and FIG.

도 7은 본 발명의 일 실시예에 따른 원격 제어 장치(300)의 동작의 개념을 설명한 도면이다. 이 때, 도 6에서 설명된 가정이 도 7에도 적용될 수 있다. 7 is a view for explaining the concept of operation of the remote control apparatus 300 according to an embodiment of the present invention. At this time, the assumption described in FIG. 6 can also be applied to FIG.

센서부(310)는 사용자의 손의 움직임의 센싱을 통해 사용자의 손에 대한 롤 데이터, 피치 데이터 및 z축의 중력 데이터를 생성하고, 이를 제어부(320)로 전송한다. 이 때, 센서부(310)는 지속적으로 롤 데이터, 피치 데이터 및 z축의 중력 데이터를 센싱한다. The sensor unit 310 generates roll data, pitch data, and gravity data on the z-axis of the user's hands through sensing of the motion of the user's hand and transmits the generated roll data, pitch data, and z-axis gravity data to the controller 320. At this time, the sensor unit 310 continuously senses roll data, pitch data, and gravity data in the z axis.

제어부(320)는 지속적으로 센싱된 롤 데이터, 피치 데이터 및 z축의 중력 데이터를 입력받아 제어 명령을 생성하며, 이를 위해 제1 뉴럴 네트워크(Neural Network 1) 및 제2 뉴럴 네트워크(Neural Network 2)를 포함한다. The controller 320 receives the continuously-sensed roll data, the pitch data, and the gravity data of the z axis to generate a control command. To this end, the controller 320 transmits a first neural network 1 and a second neural network 2 .

보다 상세하게, 도 6의 내용을 참조하면, 제1 뉴럴 네트워크는 3개의 입력 데이터, 32개의 은닉 데이터 및 14개의 출력 데이터로 구성된 뉴럴 네트워크로서, 지속적으로 센싱된 롤 데이터, 피치 데이터 및 z축의 중력 데이터를 입력받고, 14개의 영역 각각의 확률값을 출력하며, 이를 통해 14개의 경사 방향 중 하나의 경사 방향을 결정한다. 6, the first neural network is a neural network composed of three pieces of input data, 32 pieces of hidden data, and 14 pieces of output data. The neural network continuously measures sensed roll data, pitch data, and gravity Receives the data, outputs probability values of each of the fourteen regions, and determines the inclination direction of one of the fourteen oblique directions.

일례로서, 제1 뉴럴 네트워크는 지속적으로 입력된 센싱 데이터에 기초하여 14개의 영역의 확률값을 출력하며, 14개의 영역 중 1번 영역의 확률값이 최대인 경우, 14개의 경사 방향 중 1번 영역과 대응되는 경사 방향으로 원격 제어 장치(300)가 기울었다고 결정한다. As an example, the first neural network outputs probability values of 14 regions based on the continuously inputted sensing data, and when the probability value of the first region among the 14 regions is the maximum, It is determined that the remote control apparatus 300 has been tilted.

그리고, 제2 뉴럴 네트워크는 18개의 입력 데이터, 64개의 제1 은닉 데이터, 32개의 제2 은닉 데이터 및 14개의 출력 데이터로 구성된 뉴럴 네트워크이다. The second neural network is a neural network composed of 18 input data, 64 first concealed data, 32 second concealed data, and 14 output data.

이 때, 18개의 입력 데이터 중에서 14개의 입력 데이터는 상기한 결정된 경사 방향과 대응된다. 예를 들어, 결정된 경사 방향이 1번 영역과 대응되는 경사 방향인 경우, 14개의 입력 데이터 중 1번 입력 데이터로는 "1"의 값이, 2번 내지 14번 입력 데이터로는 "0"의 값이 입력될 수 있다. At this time, 14 pieces of input data out of 18 pieces of input data correspond to the determined inclination direction. For example, when the determined inclination direction is an oblique direction corresponding to the first region, a value of "1" is input as the first input data and a value of "0" A value can be entered.

그리고, 18개의 입력 데이터 중에서 나머지 4개의 입력 데이터는 4개의 그룹핑 경사 방향이 입력된다. 이 경우, 지속적으로 입력된 센싱 데이터에 기초하여 4개의 그룹핑 경사 방향 중 어느 하나의 그룹핑 경사 방향이 결정되어 제2 뉴럴 네트워크로 입력된다. 예를 들어, 상기한 결정된 그룹핑 경사 방향이 제1 그룹핑 경사 방향인 경우, 15번 입력 데이터로는 "1"의 값이, 16번 내지 18번 입력 데이터로는 "0"의 값이 입력될 수 있다. Four grouping oblique directions are input to the remaining four pieces of input data among the 18 pieces of input data. In this case, any one of the four grouping oblique directions is determined based on the continuously input sensed data and input to the second neural network. For example, when the determined grouping oblique direction is the first grouping oblique direction, a value of "1" may be input as the 15th input data, and a value of 0 as the 16th to 18th input data may be input have.

그리고, 제어부(320)의 그룹핑 경사 방향의 결정을 예를 들어 설명하면 다음과 같다. The determination of the grouping oblique direction of the control unit 320 will be described below as an example.

일례로서, 지속적으로 입력된 센싱 데이터 중에서 1번 영역에 많은 수의 센싱 데이터가 분포되었고, 2번 영역 및 3번 영역에 어느 정도의 센싱 데이터가 분포되며, 나머지 영역에서는 센싱 데이터가 거의 분포되지 않는 경우, 4개의 그룹핑 경사 방향 중 전 방향과 대응되는 제1 그룹핑 경사 방향으로 원격 제어 장치(300)가 기울었다고 결정한다. As an example, a large number of sensing data is distributed in the first area among the continuously input sensing data, a certain amount of sensing data is distributed in the second area and the third area, and the sensing data is hardly distributed in the remaining area , It is determined that the remote control device 300 is inclined in the first grouping slanting direction corresponding to the forward direction among the four grouping slanting directions.

다른 일례로서, 지속적으로 입력된 센싱 데이터 중에서 1번 영역, 4번 영역 및 7번 영역에 골고루 센싱 데이터가 분포하였고, 나머지 영역으로 센싱 데이터가 분포하지 않는 경우, 4개의 그룹핑 경사 방향 중 좌 방향과 대응되는 제3 그룹핑 경사 방향으로 원격 제어 장치(300)가 기울었다고 결정한다. As another example, when the sensing data is evenly distributed in the first, fourth, and seventh areas of the continuously input sensing data and the sensing data is not distributed in the remaining areas, It is determined that the remote control device 300 has tilted in the corresponding third grouping slant direction.

그리고, 제2 뉴럴 네트워크는 14개의 출력 데이터를 통해 제어 명령을 생성한다. 제어 명령은 무인 항공기(100)의 이동 방향을 제어하기 위한 제1 모드(mode) 제어 명령 및 무인 항공기(100)가 기 설정된 기하학적 비행 궤적으로 움직이도록 제어하기 위한 제2 모드 제어 명령을 포함할 수 있다. The second neural network generates control commands through 14 output data. The control command may include a first mode control command for controlling the movement direction of the UAV 100 and a second mode control command for controlling the UAV 100 to move to a predetermined geometric flight path have.

여기서, 제1 모드 제어 명령은, 상승 이동 명령(Up), 하강 이동 명령(Down), 우측 이동 명령(Right), 좌측 이동 명령(Left), 전진 이동 명령(Forward), 후진 이동 명령(Backward), 우측 전진 이동 명령(Forward-Right), 좌측 전진 이동 명령(Forward-Left), 우측 후진 이동 명령(Backward-Right) 및 좌측 후진 이동 명령(Backward-Left)을 포함할 수 있다. 또한, 제2 모드 제어 명령은 원형 이동 명령(Circle), 나선형 이동 명령(Spiral), 삼각형 이동 명령(triangle) 및 사각형 이동 명령(Square)을 포함할 수 있다. Here, the first mode control command is a command to move up or down a command, such as an up movement command Up, a down movement command Down, a right movement command Right, a left movement command Left, a forward movement command Forward, A Forward-Right command, a Forward-Left command, a Backward-Right command, and a Backward-Left command. In addition, the second mode control command may include a circular movement command, a spiral movement command, a triangle movement command, and a square movement command.

한편, 상기의 제어 명령은 일례에 불과하며 다양한 제어 명령이 정의될 수 있다. 그리고, 도 8에서는 기하학적 비행 궤적 명령을 생성하기 위해 사용되는 손 자세 영역의 출현의 일례를 도시하고 있다. Meanwhile, the above-mentioned control command is only an example and various control commands can be defined. FIG. 8 shows an example of appearance of a hand posture region used for generating a geometric flight trajectory command.

한편, 제어부(320)는, 14개의 경사 방향 중 적어도 하나의 경사 방향을 이용하여 모드 전환을 수행하며, 모드 전환에 따라 제1 모드 제어 명령 및 제2 모드 제어 명령 중 어느 하나의 모드 제어 명령을 생성할 수 있다. 일례로서, 13번 영역과 대응되는 경사 방향으로 원격 제어 장치(300)가 기울어진 경우 제1 모드로 전환되고, 14번 영역과 대응되는 경사 방향으로 원격 제어 장치(300)가 기울어진 경우 제2 모드로 전환될 수 있다. Meanwhile, the control unit 320 performs mode switching using at least one of the slant directions of the fourteen slanting directions, and, in accordance with mode switching, outputs either one of the first mode control command and the second mode control command Can be generated. As an example, when the remote control device 300 is tilted in the oblique direction corresponding to the area 13, the first mode is switched to. When the remote control device 300 is inclined in the oblique direction corresponding to the area 14, Mode.

또한, 무인 항공기(100)가 기하학적 궤도로 비행하는 경우, 본 발명의 원격 제어 장치(300)는 비행 궤적의 크기(일례로, 작은 원, 중간 원, 큰 원)를 조절할 수 있으며, 이를 위해 스케일 펙터를 이용할 수 있다. 즉, 제어부(320)는 센서부(310)의 자이로스코프에서 센싱된 센싱 데이터와 손 제스처를 만드는 시간을 이용하여 스케일 펙터를 산출할 수 있다. 스케일 펙터는 아래의 수학식 3과 같이 표현될 수 있다.
In addition, when the UAV 100 is flying in a geometric orbit, the remote control device 300 of the present invention can control the size of the flight path (e.g., a small circle, a middle circle, a large circle) FACTOR can be used. That is, the controller 320 can calculate the scale factor using the sensing data sensed by the gyroscope of the sensor unit 310 and the time for making the hand gesture. The scale factor can be expressed as Equation (3) below.

여기서, S는 스케일 펙터, G는 누적 값, T는 손 제스처를 그리는 시간, a는 0.1로 고정된 상수를 각각 의미한다. Here, S denotes a scale factor, G denotes an accumulated value, T denotes a time to draw a hand gesture, and a denotes a constant fixed at 0.1.

본 발명의 일 실시예에 따르면, 무인 항공기(100)의 기하학적 비행 궤적 제어 과정은 제2 모드로의 전환이 이루어진 후에, 원격 제어 장치(300)의 상부면이 위쪽을 향한 상태에서 수행될 수 있다. According to an embodiment of the present invention, the geometric flight trajectory control process of the UAV 100 may be performed with the top surface of the remote control device 300 facing upward after the switch to the second mode is performed .

예를 들어, 도 6의 (A)의 9개의 영역 중 5번 영역, 즉 수평을 유지한 상태(기준 위치)에서 시작하여 1번, 2번, 3번, 6번, 9번, 8번, 7번 및 4번 영역과 같이 인접한 영역에 해당하는 센싱 데이터가 순차적으로 입력된 이후 다시 5번 영역으로 돌아오는 시간을 이용하여 스케일이 조절될 수 있다. 6, 9, 8, and 9, for example, starting from the fifth area (i.e., the horizontal position) of the nine areas shown in FIG. 6 (A) The scale may be adjusted by using the time of returning to the area 5 after sequentially inputting the sensing data corresponding to the adjacent area such as the areas 7 and 4.

이때, 다시 수평 방향으로 돌아오는 시간이 길수록 더 큰 궤적을 그리면서 무인 항공기(100)가 움직이도록 제어된다. At this time, as the returning time in the horizontal direction is longer, the UAV 100 is controlled to move while drawing a larger trajectory.

상기에서는 원격 제어 장치(300)의 경사 방향을 결정하여 무인 항공기(100)의 움직임을 제어하는 것으로 설명하였다. In the above description, the direction of the tilting of the remote controller 300 is determined and the movement of the UAV 100 is controlled.

본 발명의 바람직한 일 실시예에 따른 제어부(230)는 센싱 데이터에 의해 결정된 경사 방향의 유지 시간을 이용하여 이동 속도를 결정할 수 있다. The control unit 230 according to the preferred embodiment of the present invention can determine the moving speed using the holding time in the oblique direction determined by the sensing data.

제어부(230)는 도 6의 (A)의 9개 영역 중 하나의 경사 방향이 결정되고, 결정된 경사 방향의 유지 시간을 판단한다. The control unit 230 determines one of the nine regions in FIG. 6A to determine the determined holding time in the oblique direction.

바람직하게, 본 실시예에 따른 무인 항공기(100)의 이동 속도는 복수의 구간으로 구분될 수 있고, 경사 방향의 유지 시간에 따라 복수의 구간 중 하나의 구간에 해당하는 이동 속도로 결정될 수 있다. Preferably, the moving speed of the UAV 100 according to the present embodiment may be divided into a plurality of sections, and may be determined as a moving speed corresponding to one section of the plurality of sections according to a holding time in an oblique direction.

예를 들어, 하나의 경사 방향이 결정된 이후 T1의 시간이 유지된 이후에 무인 항공기(100)가 해당 경사 방향에 상응하는 이동 방향으로 V1의 속도로 움직인다. 이후, T2까지 해당 경사 방향이 유지되는 경우, T1 내지 T2 구간에 상응하는 V2의 속도로 이동할 수 있다. For example, after the time of T1 is maintained after one inclination direction is determined, the UAV 100 moves at the speed of V1 in the moving direction corresponding to the inclined direction. Thereafter, if the oblique direction is maintained until T2, it can move at a speed of V2 corresponding to the T1 to T2 interval.

여기서, V2는 V1보다 큰 속도이다. Here, V2 is a speed higher than V1.

본 실시예에 따르면, 무인 항공기(100)의 이동 속도는 경사 방향에서의 각도를 이용하여 제어될 수도 있다. According to the present embodiment, the moving speed of the UAV 100 may be controlled using an angle in the oblique direction.

예를 들어, 예를 들어, 무인 항공기(100)의 이동 속도는 경사 방향에서의 각도의 크기와 비례하도록 제어될 수 있다.For example, for example, the moving speed of the UAV 100 can be controlled to be proportional to the magnitude of the angle in the oblique direction.

경사 방향에서의 각도는 6축 센서가 아닌 9축 센서를 이용하는 경우에 결정될 수 있다. The angle in the oblique direction can be determined using a 9-axis sensor rather than a 6-axis sensor.

또한, 본 발명의 바람직한 일 실시예에 따르면, 무인 항공기(100)가 기하학적 궤적으로 비행이 완료된 이후, 무인 항공기(100)의 전방이 가리키는 방향에 기하학적 궤적 비행 초기 시점과 달라질 수 있다. Also, according to a preferred embodiment of the present invention, after the unmanned airplane 100 completes the flight on the geometric trajectory, it may be different from the initial point of the geometric trajectory flight in the direction pointed by the front of the unmanned airplane.

이러한 점을 고려하여, 본 실시예에 따른 제어부(230)는 제2 모드 전환로의 전환이 이루어진 시점(초기 시점)에 무인 항공기(100)의 위치를 저장한다. In consideration of this point, the controller 230 according to the present embodiment stores the position of the UAV 100 when the switch to the second mode change is made (the initial point).

여기서, 초기 시점에서의 위치는 무인 항공기(100)의 전방이 가리키는 방향에 대한 정보일 수 있다. Here, the position at the initial point of time may be information on the direction pointed by the front of the UAV 100.

이후, 기하학적 비행 궤적을 마친 후의 위치와 초기 시점의 위치가 다른 경우. 제어부(230)는 무인 항공기(100)에 위치 보정을 위한 제어 명령을 생성할 수 있다. Thereafter, the position after the completion of the geometric flight trajectory is different from the initial position. The control unit 230 may generate a control command for position correction in the UAV 100. [

본 발명은 사용자의 손에 장착되는 원격 제어 장치(300)를 통해 무인 항공기(100)의 움직임을 제어함으로써, 무인 항공기(100)의 움직임을 직관적으로 제어할 수 있으며, 추가 장비 없이 기하학적 비행 궤적으로 무인 항공기(100)를 움직이도록 제어할 수 있는 장점이 있다. The movement of the UAV 100 can be intuitively controlled by controlling the movement of the UAV 100 through the remote control device 300 mounted on the user's hand and can be controlled by the geometric flight path There is an advantage that it can be controlled to move the UAV 100.

도 9는 본 발명의 일 실시예에 따른 무인 항공기의 원격 제어 방법의 흐름도를 도시한 도면이다. 이 때, 상기 방법은 사용자에 장착되며 프로세서가 구비된 장치에서 수행될 수 있다. 이하, 각 단계 별로 수행되는 과정을 설명하기로 한다. 9 is a flowchart illustrating a remote control method for an unmanned aeronautical vehicle according to an embodiment of the present invention. At this time, the method may be performed in a device mounted on a user and equipped with a processor. Hereinafter, a process performed in each step will be described.

단계(910)에서는, 적어도 하나의 센서를 통해 상기 장치의 움직임을 센싱하여 생성된 센싱 데이터를 입력받는다. In step 910, sensing data generated by sensing movement of the device through at least one sensor is input.

단계(920)에서는, 센싱 데이터에 기초하여 상기 장치의 경사 방향을 결정한다. In step 920, the oblique direction of the device is determined based on the sensing data.

단계(930)에서는, 상기 결정된 경사 방향을 이용하여 무인 항공기의 움직임을 제어하기 위한 제어 명령을 생성한다. In step 930, a control command for controlling the movement of the UAV is generated using the determined inclination direction.

단계(940)에서는, 생성된 제어 명령을 무인 항공기로 전송한다. In step 940, the generated control command is transmitted to the UAV.

본 발명의 일 실시예에 따르면, 단계(820)에서는 센싱 데이터를 이용하여 그룹핑 경사 방향을 더 산출하고, 단계(830)에서는 상기 결정된 그룹핑 경사 방향을 더 이용하여 제어 명령을 생성할 수 있다. According to an embodiment of the present invention, in step 820, the grouping oblique direction is further calculated using the sensing data, and in step 830, a control command may be generated by further using the determined grouping oblique direction.

지금까지 본 발명에 따른 무인 항공기의 원격 제어 방법의 실시예들에 대하여 설명하였으며, 이에는 앞서 도 1 내지 도 8에서 설명한 원격 제어 장치(300)에 관한 구성이 그대로 적용될 수 있다. 따라서, 보다 상세한 설명은 생략하기로 한다. Embodiments of the remote control method of the UAV according to the present invention have been described so far, and the configuration related to the remote control device 300 described above with reference to Figs. 1 to 8 can be directly applied thereto. Therefore, a detailed description will be omitted.

또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Examples of program instructions, such as magneto-optical and ROM, RAM, flash memory and the like, can be executed by a computer using an interpreter or the like, as well as machine code, Includes a high-level language code. The hardware devices described above may be configured to operate as one or more software modules to perform operations of one embodiment of the present invention, and vice versa.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다. As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and limited embodiments and drawings. However, it should be understood that the present invention is not limited to the above- Various modifications and variations may be made thereto by those skilled in the art to which the present invention pertains. Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .

Claims

An apparatus for remotely controlling movement of an unmanned aerial vehicle mounted on a user,
A sensor unit sensing the movement of the device through at least one sensor to generate sensing data;
Determining at least one of an oblique direction of the apparatus, an angle of the oblique direction and a retention time of the oblique direction based on the sensing data, and using at least one of the determined oblique direction, A control unit for generating a control command for controlling the movement of the motor; And
And a communication unit for transmitting the control command to the unmanned airplane.

The method according to claim 1,
Wherein the control unit determines the moving speed of the UAV by using at least one of the angle in the oblique direction and the holding time in the oblique direction.

The method according to claim 1,
Wherein the determined inclination direction is one of a plurality of predetermined inclination directions, and the plurality of inclination directions include x (an integer of 2 or more) oblique directions A and X, which are distinguished in a state in which the upper surface of the apparatus faces upward, And an inclined direction B of y (integer of 2 or more) separated in a state in which the lower surface of the apparatus faces upward.

The method of claim 3,
Wherein the control unit calculates the grouping oblique direction of the apparatus using the sensing data and further generates the control command using the determined grouping oblique direction,
Wherein the determined grouping oblique direction is one grouping oblique direction of the predetermined plurality of grouping oblique directions,
The plurality of grouping oblique directions include a first grouping oblique direction for the forward direction, a second grouping oblique direction for the backward direction, a third grouping oblique direction for the left direction, and a fourth grouping oblique direction for the right direction Characterized in that the remote control device of the unmanned aerial vehicle.

5. The method of claim 4,
The x oblique directions A include a plurality of oblique directions A1 for the forward direction, a plurality of oblique directions A2 for the backward direction, a plurality of oblique directions A3 for the left direction, and a plurality of oblique directions A4 for the right direction ,
Wherein the first grouping oblique direction is a grouping of the plurality of oblique directions A 1 and the second grouping oblique direction is a grouping of the plurality of oblique directions A 2 and the third grouping oblique direction is a direction in which the plurality of oblique directions A 3 And the fourth grouping oblique direction is a grouping of the plurality of oblique directions A4.

The method of claim 3,
Wherein the control command includes a first mode control command for controlling a moving direction of the UAV and a second mode control command for controlling the UAV to move to a predetermined geometric flight path Remote control device of a drone.

The method according to claim 6,
Wherein the control unit performs mode switching using at least one of the plurality of oblique directions and switches any one of the first mode control command and the second mode control command according to the mode switching Wherein the remote control device is a remote control device for an unmanned aerial vehicle.

8. The method of claim 7,
The first mode control command includes at least one of an up movement command, a down movement command, a right movement command, a left movement command, a forward movement command, a backward movement command, a rightward movement command, a leftward movement command, Command,
Wherein the second mode control command includes a circular movement command, a spiral movement command, a triangle movement command, and a square movement command.

9. The method of claim 8,
After the switching to the second mode is made, And generating a control command for controlling the unmanned airplane to move to the geometric flight path if the inclined direction A corresponding to the adjacent area starting from the reference position among the x (two or more integer) inclination directions A is sequentially determined. Remote control device of a drone.

10. The method of claim 9,
Wherein the control unit determines the scale of the geometric flight trajectory using the time of returning to the reference position after the oblique direction A corresponding to the adjacent region is sequentially determined at the reference position. controller.

10. The method of claim 9,
Wherein the reference position is defined as an oblique direction corresponding to a horizontal direction with the upper surface of the apparatus facing upward.

A remote control method for an unmanned aerial vehicle, which is performed in an apparatus equipped with a processor and equipped with a user,
(A) receiving sensed data generated by sensing movement of the device through at least one sensor;
(B) determining at least one of an oblique direction of the apparatus, an angle of the oblique direction, and a retention time of the oblique direction based on the sensing data;
(C) generating a control command for controlling the movement of the UAV using at least one of the determined inclination direction, angle, and holding time; And
And (d) transmitting the control command to the unmanned airplane.

A computer-readable recording medium having recorded thereon a program for performing the method according to claim 12.