KR102348778B1 - Method for controlling steering angle of drone and apparatus thererfor - Google Patents

Method for controlling steering angle of drone and apparatus thererfor Download PDF

Info

Publication number
KR102348778B1
KR102348778B1 KR1020200039424A KR20200039424A KR102348778B1 KR 102348778 B1 KR102348778 B1 KR 102348778B1 KR 1020200039424 A KR1020200039424 A KR 1020200039424A KR 20200039424 A KR20200039424 A KR 20200039424A KR 102348778 B1 KR102348778 B1 KR 102348778B1
Authority
KR
South Korea
Prior art keywords
steering angle
learning
image
control model
learning data
Prior art date
Application number
KR1020200039424A
Other languages
Korean (ko)
Other versions
KR20210121944A (en
Inventor
유대상
김종문
Original Assignee
(주)엘컴텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엘컴텍 filed Critical (주)엘컴텍
Priority to KR1020200039424A priority Critical patent/KR102348778B1/en
Publication of KR20210121944A publication Critical patent/KR20210121944A/en
Application granted granted Critical
Publication of KR102348778B1 publication Critical patent/KR102348778B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B64C2201/141—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Abstract

무인이동체의 조향각 제어 방법 및 이를 이용한 무인이동체가 개시된다. 학습장치는 2차원 공간에 대한 이동 방향의 영상 및 조향각을 포함하는 제1 학습 데이터를 이용하여, 영상 입력에 대하여 조향각을 출력하는 조향제어모델을 학습시키고, 3차원 공간에 대한 이동 방향의 영상 및 조향각을 포함하는 제2 학습 데이터를 이용하여 상기 조향제어모델을 학습시킨다.Disclosed are a method for controlling a steering angle of an unmanned moving object and an unmanned moving object using the same. The learning apparatus learns a steering control model that outputs a steering angle with respect to an image input by using first learning data including an image and a steering angle of a movement direction in a two-dimensional space, and an image of a movement direction in a three-dimensional space and The steering control model is trained using the second learning data including the steering angle.

Description

무인이동체의 조향각 제어 방법 및 그 장치{Method for controlling steering angle of drone and apparatus thererfor}Method for controlling steering angle of drone and apparatus therefor

본 발명의 실시 예는 무인이동체의 조향각 제어 방법 및 그 장치에 관한 것으로, 보다 상세하게는 인공지능모델을 이용하여 무인이동체의 조향각을 자동 제어하는 방법 및 그 장치에 관한 것이다.An embodiment of the present invention relates to a method and an apparatus for controlling a steering angle of an unmanned moving object, and more particularly, to a method and apparatus for automatically controlling a steering angle of an unmanned moving object using an artificial intelligence model.

드론을 포함한 무인이동체가 군사용부터 레저용까지 다양한 분야에서 사용되고 있다. 무인이동체는 일반적으로 조정자가 무선제어장치를 이용하여 원거리에서 무선으로 조정한다. 조정자는 무인이동체에 탑재된 카메라가 촬영한 영상을 보면서 무인이동체를 제어하거나, 직접 눈으로 무인이동체를 보면서 제어한다. 무선 제어를 위하여 무선제어장치와 무인이동체는 일정 거리 범위 내에 있어야 하는 한계가 있다. Unmanned mobile vehicles, including drones, are being used in various fields from military to leisure. In general, the unmanned moving object is controlled wirelessly from a distance using a radio control device by the coordinator. The coordinator controls the unmanned moving object while watching the video shot by the camera mounted on the unmanned moving object, or by looking at the unmanned moving object with their own eyes. For wireless control, there is a limitation that the wireless control device and the unmanned moving object must be within a certain distance range.

본 발명의 실시 예가 이루고자 하는 기술적 과제는, 인공지능 학습을 통해 생성한 조향제어모델을 이용하여 무인이동체의 조향각을 제어하는 방법 및 그 장치를 제공하는 데 있다.An object of the present invention is to provide a method and an apparatus for controlling a steering angle of an unmanned moving object using a steering control model generated through artificial intelligence learning.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 무인이동체의 조향각 제어 방법의 일 예는, 2차원 공간에 대한 이동 방향의 영상 및 조향각을 포함하는 제1 학습 데이터를 이용하여, 영상 입력에 대하여 조향각을 출력하는 조향제어모델을 학습시키는 제1 학습 단계; 3차원 공간에 대한 이동 방향의 영상 및 조향각을 포함하는 제2 학습 데이터를 이용하여 상기 조향제어모델을 학습시키는 제2 학습 단계; 무인이동체의 카메라를 통해 촬영된 영상을 학습 완료된 상기 조향제어모델에 입력하여 조향각을 파악하는 단계; 및 상기 조향제어모델을 통해 파악된 조향각을 기초로 상기 무인이동체의 이동방향을 제어하는 단계;를 포함한다.An example of a method for controlling a steering angle of an unmanned moving object according to an embodiment of the present invention for achieving the above technical problem is an image of a movement direction in a two-dimensional space and first learning data including a steering angle, the image a first learning step of learning a steering control model that outputs a steering angle with respect to an input; a second learning step of learning the steering control model using second learning data including a steering angle and an image of a moving direction in a three-dimensional space; inputting the image captured by the camera of the unmanned moving object into the learned steering control model to determine the steering angle; and controlling the moving direction of the unmanned moving object based on the steering angle determined through the steering control model.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 무인이동체의 일 예는, 제1 학습 데이터와 제2 학습 데이터를 이용하여 학습된 조향제어모델이 저장된 저장부; 이동방향의 영상을 촬영하는 카메라; 및 상기 카메라를 통해 촬영한 영상을 상기 조향제어모듈에 입력하여 얻은 조향각으로 방향을 제어하는 제어부;를 포함한다.In order to achieve the above technical problem, an example of an unmanned mobile vehicle according to an embodiment of the present invention includes a storage unit in which a steering control model learned using first and second learning data is stored; a camera for taking an image in the moving direction; and a control unit for controlling a direction with a steering angle obtained by inputting an image captured by the camera to the steering control module.

본 발명의 실시 예에 따르면, 인공지능 학습을 통해 생성된 조향제어모델을 이용하여 무인이동체가 장애물을 피하면서 목적지에 도착할 수 있도록 조향각을 자동 제어할 수 있다. 또한 조향제어모델을 2차원 학습 데이터로 먼저 학습시킨 후 다시 3차원 학습 데이터를 이용하여 학습시킴으로써 전체 학습 시간을 단축할 뿐만 아니라 모델 성능을 향상시킬 수 있다. 또한, 자율비행하는 무인이동체를 전력설비 관리, 산림시설물 관리, 도로시설물 관리 등에 활용할 수 있다.According to an embodiment of the present invention, the steering angle can be automatically controlled so that the unmanned moving object can arrive at the destination while avoiding the obstacles using the steering control model generated through artificial intelligence learning. In addition, by first learning the steering control model with two-dimensional learning data and then using three-dimensional learning data again, it is possible to shorten the overall learning time and improve model performance. In addition, autonomously flying unmanned vehicles can be utilized for power facility management, forest facility management, and road facility management.

도 1은 본 발명의 실시 예에 따른 조향제어모델의 일 예를 도시한 도면,
도 2는 본 발명의 실시 예에 따른 조향제어모델의 학습 방법의 일 예를 도시한 흐름도,
도 3은 본 발명의 실시 예에 따라 제1 학습 데이터를 생성하는 방법의 일 예를 도시한 도면,
도 4는 본 발명의 실시 예에 따른 제1 학습 데이터의 일 예를 도시한 도면,
도 5는 본 발명의 실시 예에 따른 제2 학습 데이터의 일 예를 도시한 도면,
도 6은 본 발명의 실시 예에 따른 무인이동체의 조향 제어 방법의 일 예를 도시한 흐름도,
도 7은 본 발명의 실시 예에 따른 학습장치의 일 예의 구성을 도시한 도면, 그리고,
도 8은 본 발명의 실시 예에 따른 무인이동체의 일 예의 구성을 도시한 도면이다.1 is a view showing an example of a steering control model according to an embodiment of the present invention;
2 is a flowchart illustrating an example of a learning method of a steering control model according to an embodiment of the present invention;
3 is a diagram illustrating an example of a method for generating first learning data according to an embodiment of the present invention;
4 is a view showing an example of first learning data according to an embodiment of the present invention;
5 is a diagram illustrating an example of second learning data according to an embodiment of the present invention;
6 is a flowchart illustrating an example of a method for controlling steering of an unmanned moving object according to an embodiment of the present invention;
7 is a diagram showing the configuration of an example of a learning apparatus according to an embodiment of the present invention, and,
8 is a diagram illustrating the configuration of an example of an unmanned moving object according to an embodiment of the present invention.

이하에서 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 무인이동체의 조향각 제어 방법 및 그 장치에 대해 상세히 설명한다.Hereinafter, a method and apparatus for controlling a steering angle of an unmanned moving object according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 조향제어모델의 일 예를 도시한 도면이다.1 is a diagram illustrating an example of a steering control model according to an embodiment of the present invention.

도 1을 참조하면, 조향제어모델(100)은 입력 영상으로부터 장애물 등을 회피할 수 있는 조향각을 출력하는 인공지능모델이다. 조향제어모델(100)은 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), GAN(Generative Adversarial Network), DroNet(Drone Network) 등 종래의 다양한 인공지능 모델로 구현될 수 있다. Referring to FIG. 1 , the steering control model 100 is an artificial intelligence model that outputs a steering angle capable of avoiding obstacles, etc. from an input image. The steering control model 100 may be implemented with a variety of conventional artificial intelligence models, such as a Convolutional Neural Network (CNN), a Recurrent Neural Network (RNN), a Generative Adversarial Network (GAN), and a Drone Network (DroNet).

조향제어모델(100)의 입력 영상은 2차원 영상 또는 3차원 영상 등 실시 예에 따라 다양하게 변형 가능하다. 조향제어모델(100)의 출력은 장애물을 회피할 수 있는 조향각이다. 다른 실시 예로, 조향제어모델(100)은 영상으로부터 장애물이 존재하는 영역에 대한 정보를 추가적으로 출력할 수도 있다.The input image of the steering control model 100 may be variously modified according to an embodiment, such as a two-dimensional image or a three-dimensional image. The output of the steering control model 100 is a steering angle capable of avoiding an obstacle. As another embodiment, the steering control model 100 may additionally output information on an area in which an obstacle exists from the image.

도 2는 본 발명의 실시 예에 따른 조향제어모델의 학습 방법의 일 예를 도시한 흐름도이다.2 is a flowchart illustrating an example of a method for learning a steering control model according to an embodiment of the present invention.

도 2를 참조하면, 학습장치는 2차원 공간에 대한 이동방향의 영상 및 조향각을 포함하는 제1 학습 데이터를 이용하여 조향제어모델(100)을 학습시키는 제1 학습과정(S200)을 수행한다. 제1 학습 데이터의 일 예가 도 4에 도시되어 있다.Referring to FIG. 2 , the learning apparatus performs a first learning process ( S200 ) of learning the steering control model 100 using first learning data including a steering angle and an image of a movement direction in a two-dimensional space. An example of the first learning data is shown in FIG. 4 .

제1 학습 과정이 완료되면, 학습장치는 3차원 공간에 대한 이동방향의 영상과 조향각을 포함하는 제2 학습 데이터를 이용하여 조향제어모델(100)을 학습시키는 제2 학습과정(S210)을 포함한다. 제2 학습 데이터의 일 예가 도 5에 도시되어 있다.When the first learning process is completed, the learning apparatus includes a second learning process (S210) of learning the steering control model 100 using the second learning data including the steering angle and the image of the moving direction in the three-dimensional space. do. An example of the second learning data is shown in FIG. 5 .

2차원 공간에서 이동체의 조향각은 도 3과 같이 일정 좌우 각도범위(예를 들어, 0~180도 사이)이지만, 공중을 나는 무인이동체의 3차원 공간에서 조향각은 좌우 각도 범위뿐만 아니라 상하 좌우 각도 범위를 함께 고려하여야 한다. 3차원 공간에서 장애물을 회피하기 위한 조향각의 해가 2차원 공간에 비해 매우 많으므로, 무인이동체를 위한 조향제어모델(100)을 학습시킬 때 처음부터 3차원 공간의 제2 학습 데이터를 이용할 경우 조향제어모델(100)을 최적 상태로 수렴하는데 매우 많은 양의 제2 학습 데이터가 필요할 할 뿐만 아니라 그 학습 시간도 상당히 오래 걸리는 문제점이 존재한다.In the two-dimensional space, the steering angle of a moving object is in a certain left and right angular range (for example, between 0 and 180 degrees) as shown in FIG. should be considered together. Since the solution of the steering angle for avoiding obstacles in 3D space is very large compared to that in 2D space, when using the second learning data of 3D space from the beginning when learning the steering control model 100 for an unmanned moving object, the steering There is a problem that not only a very large amount of second learning data is required to converge the control model 100 to an optimal state, but also the learning time is considerably long.

이에 본 실시 예는, 2차원 공간의 제1 학습 데이터를 이용하여 조향제어모델(100)을 1차 학습시킨 이후에 3차원 공간의 제2 학습 데이터를 이용하여 조향제어모델(100)을 2차 학습시키는 과정을 수행한다. Accordingly, in this embodiment, after the steering control model 100 is first learned using the first learning data in the two-dimensional space, the steering control model 100 is secondarily trained using the second learning data in the three-dimensional space. carry out the learning process.

본 실시 예는 또한 제1 학습 데이터와 제2 학습 데이터를 용이하게 생성할 수 있는 방법을 제시하며, 이에 대하여 도 3 내지 도 5에서 살펴본다.This embodiment also provides a method for easily generating the first learning data and the second learning data, which will be described with reference to FIGS. 3 to 5 .

도 3은 본 발명의 실시 예에 따라 제1 학습 데이터를 생성하는 방법의 일 예를 도시한 도면이다.3 is a diagram illustrating an example of a method of generating first learning data according to an embodiment of the present invention.

도 3을 참조하면, 이동체(300)는 2차원에서 자율 이동하는 물체로서 본 실시 예를 위하여 별도로 설계되거나 무선청소기나 무인자동차 등 종래에 존재하는 물체일 수 있다. 이동체가 특정 물체에 한정되는 것은 아니다.Referring to FIG. 3 , a moving object 300 is an object that moves autonomously in two dimensions, and may be separately designed for the present embodiment or may be a conventional object such as a wireless vacuum cleaner or an unmanned vehicle. The movable body is not limited to a specific object.

이동체(300)는 카메라와 거리센서를 포함한다. 카메라는 이동체의 정면 방향의 일정 각도 범위의 영상을 촬영한다. 카메라는 일반 카메라이거나 영상 내 객체의 거리를 파악할 수 있는 깊이 카메라일 수 있다. The movable body 300 includes a camera and a distance sensor. The camera captures an image of a certain angular range in the front direction of the moving object. The camera may be a general camera or a depth camera capable of determining the distance of an object in an image.

거리센서는 이동체의 정면방향의 일정 각도 범위(예를 들어, 0~180도)에 위치한 장애물을 감지하는 센서로서, 예를 들어, 레이더 센서 등 종래의 다양한 센서로 구현될 수 있다. 다른 실시 예로, 카메라가 깊이 카메라인 경우에 거리센서는 생략될 수도 있다. 이하에서는 설명의 편의를 위하여 거리센서가 존재하는 경우를 가정하여 설명한다.The distance sensor is a sensor that detects an obstacle located in a predetermined angular range (eg, 0 to 180 degrees) in the front direction of the moving object, and may be implemented by various conventional sensors such as a radar sensor. In another embodiment, when the camera is a depth camera, the distance sensor may be omitted. Hereinafter, for convenience of description, it is assumed that a distance sensor is present.

이동체(300)는 자율 주행을 위한 장애물 회피 알고리즘을 포함한다. 이동체(300)는 장애물 회피 알고리즘에 따라 장애물을 감지하고 최적의 조향각을 결정한다. 장애물 회피 알고리즘을 이용한 조향각의 결정 과정을 살펴보면 다음과 같다.The moving object 300 includes an obstacle avoidance algorithm for autonomous driving. The moving object 300 detects an obstacle according to an obstacle avoidance algorithm and determines an optimal steering angle. The process of determining the steering angle using the obstacle avoidance algorithm is as follows.

먼저, 이동체(300)는 거리 센서를 통해 이동체의 진행 방향의 기 정의된 각도 범위 내에 존재하는 객체(310,320,330)를 감지한다. 이동체는 일정 거리(350) 내에 존재하는 객체를 장애물(310,320)로 감지한다. First, the moving object 300 detects the objects 310 , 320 , and 330 that exist within a predefined angular range of the moving direction through the distance sensor. The moving object detects an object existing within a predetermined distance 350 as the obstacles 310 and 320 .

다음으로, 이동체(300)는 장애물(310,320)을 회피할 수 있는 각도범위(360)를 파악한다. 이동체(300)는 장애물 회피 각도범위(360)에서 목적지(340)와 가장 가까운 각도를 조향각(370)으로 선택하고, 선택한 조향각(370)으로 방향을 회전하여 이동한다.Next, the movable body 300 grasps the angular range 360 capable of avoiding the obstacles 310 and 320 . The moving object 300 selects the closest angle to the destination 340 in the obstacle avoidance angle range 360 as the steering angle 370 , and rotates the direction at the selected steering angle 370 to move.

이동체(300)는 이동방향을 변경할 때 이동 방향 변경 바로 전의 영상과 변경된 이동방향(즉, 조향각)을 저장한다. 예를 들어, 이동체가 방향 변화없이 직진한다면 이에 대한 영상과 방향정보를 저장하지 않고, 장애물로 인해 이동방향이 변경되는 경우에만 장애물이 존재하는 영상과 장애물 회피를 위한 조향각 정보를 저장할 수 있다. 만약 이동체가 방향을 트는 이유가 장애물 때문이 아니라 단순히 목적지를 가기 위해서라면, 이는 학습 데이터로 저장되지 않는 것이 바람직하다. When the moving direction is changed, the moving object 300 stores the image immediately before the moving direction change and the changed moving direction (ie, the steering angle). For example, if a moving object moves straight ahead without a change in direction, an image and direction information thereof are not stored, and only when the moving direction is changed due to an obstacle, an image in which an obstacle exists and steering angle information for obstacle avoidance may be stored. If the reason the moving object turns is not because of an obstacle but simply to go to its destination, it is preferable not to store it as learning data.

이동체(300)는 저장된 이동방향 영상과 조향각 정보를 실시간 학습장치로 전송하거나, 일정량이 쌓이면 이를 학습장치로 전송할 수 있다. 또 다른 예로, 학습장치는 이동체와 유선 또는 무선 통신을 통해 연결한 후 이동체에 저장된 이동방향 영상과 조향각 정보를 일괄로 수신할 수 있다. 또는 저장매체를 이용하여 이동체에 저장된 이동방향의 영상과 조향각 정보를 옮겨 담은 후 저장매체를 학습장치에 연결하여 이동방향의 영상과 조향각 정보를 학습장치에 제공할 수도 있다.The moving object 300 may transmit the stored movement direction image and steering angle information to the real-time learning apparatus, or may transmit it to the learning apparatus when a certain amount is accumulated. As another example, the learning apparatus may receive a moving direction image and steering angle information stored in the moving object in a batch after being connected to the moving object through wired or wireless communication. Alternatively, the moving direction image and steering angle information stored in the moving object may be transferred using a storage medium, and then the storage medium may be connected to the learning device to provide the moving direction image and steering angle information to the learning device.

또 다른 실시 예로, 2차원 공간에서 이동방향의 영상과 조향각의 학습 데이터를 생성하기 위하여, 임의의 만들어진 장애물 공간에 본 실시 예의 장애물 회피 알고리즘과 카메라, 거리센서 등을 포함하는 이동체를 주행시켜 학습 데이터를 만들 수 있다.In another embodiment, in order to generate an image of a moving direction and learning data of a steering angle in a two-dimensional space, learning data by driving a moving object including the obstacle avoidance algorithm of this embodiment, a camera, and a distance sensor in an arbitrary created obstacle space can make

도 4는 본 발명의 실시 예에 따른 제1 학습 데이터의 일 예를 도시한 도면이다.4 is a diagram illustrating an example of first learning data according to an embodiment of the present invention.

도 4를 참조하면, 제1 학습 데이터(400)는 이동체의 이동방향의 영상과 이동체의 2차원 조향각을 포함한다. 예를 들어, 도 3과 같이 이동체가 이동하면서 장애물을 만나면 그때의 영상과 장애물을 회피하기 위한 조향각을 제1 학습 데이터로 저장할 수 있다. Referring to FIG. 4 , the first learning data 400 includes an image of a moving direction of the moving object and a two-dimensional steering angle of the moving object. For example, as shown in FIG. 3 , when a moving object encounters an obstacle while moving, an image at that time and a steering angle for avoiding the obstacle may be stored as the first learning data.

학습장치는 제1 학습 데이터를 이용하여 조향제어모델을 학습시킨다. 예를 들어, 조향제어모델은 입력받은 영상에 대한 조향각을 예측하고, 예측한 조향각과 제1 학습 데이터의 실제 조향각 사이를 비교하여 신경망 네트워크의 가중치 등의 하이퍼 파라미터를 조정하는 과정을 수행한다. 제1 학습 데이터를 이용한 학습이 종료되면, 조향제어모델은 영상을 분석하여 근처에 위치한 장애물을 회피할 수 있는 조향각을 출력할 수 있다. 즉, 조향제어모델은 사람처럼 영상을 보고 가까운 곳에 있는 객체와 멀리 있는 객체를 구분할 수 있으며, 일정 거리 내에 위치한 객체인 장애물을 회피할 수 있는 조향각을 출력할 수 있다.The learning apparatus learns the steering control model by using the first learning data. For example, the steering control model predicts a steering angle with respect to an input image, compares the predicted steering angle with the actual steering angle of the first learning data, and adjusts hyperparameters such as weights of the neural network. When the learning using the first learning data is finished, the steering control model may analyze the image to output a steering angle capable of avoiding obstacles located nearby. That is, the steering control model can distinguish a nearby object from a distant object by viewing an image like a human, and can output a steering angle capable of avoiding an obstacle, which is an object located within a certain distance.

도 5는 본 발명의 실시 예에 따른 제2 학습 데이터의 일 예를 도시한 도면이다.5 is a diagram illustrating an example of second learning data according to an embodiment of the present invention.

도 5를 참조하면, 제2 학습 데이터(500)는 무인이동체의 이동방향의 영상과 무선제어장치의 3차원 조향각을 포함한다. 드론과 같은 무인이동체는 일반적으로 조정자가 무선제어장치를 이용하여 그 방향을 조정한다. Referring to FIG. 5 , the second learning data 500 includes an image of the moving direction of the unmanned moving object and a three-dimensional steering angle of the wireless controller. Unmanned moving objects such as drones are generally controlled by a coordinator using a wireless control device.

학습장치는 무인이동체의 이동방향 영상과 그때의 무선제어장치의 조향각 정보를 제2 학습 데이터(500)로 저장할 수 있다. 예를 들어, 학습장치는 무선제어장치와 유선 또는 무선을 통해 실시간 통신으로 연결되며, 조정자가 무선제어장치를 통해 무인이동체의 방향을 제어하면, 그 방향 제어신호를 수신하여 조향각을 파악하고 또한 방향 제어신호가 발생할 때 무인이동체가 촬영한 이동방향의 영상을 무선제어장치로부터 수신한다. 만약 학습장치가 무인이동체와 실시간 통신으로 연결된다면 학습장치는 무인이동체로부터 직접 이동방향의 영상을 수신할 수 있다.The learning apparatus may store the moving direction image of the unmanned moving object and the steering angle information of the wireless controller at that time as the second learning data 500 . For example, the learning device is connected to the wireless control device by wire or wireless communication in real time, and when the coordinator controls the direction of the unmanned moving object through the wireless control device, it receives the direction control signal to determine the steering angle and also When the control signal is generated, the image of the moving direction taken by the unmanned moving object is received from the wireless control device. If the learning device is connected to the unmanned mobile device through real-time communication, the learning device can receive the moving direction image directly from the unmanned mobile device.

학습장치는 무인이동체의 적용 분야별 제2 학습 데이터(500)를 이용하여 조향제어모델을 학습시킬 수 있다. 예를 들어, 무인이동체가 도로 시설물 관리에 사용된다면, 조정자는 무인이동체를 무선제어장치로 조정하여 무인이동체에 탑재된 카메라를 통해 도로에 설치된 각종 시설물(교통표지판, 신호등 등)을 촬영하여 훼손이나 고장 등을 파악하고 촬영할 수 있다. 도로 시설물 관리를 위한 조정자의 조향각과 무인이동체의 이동방향의 영상이 제2 학습 데이터(500)로 저장되며, 이를 이용하여 학습된 조향제어모델은 도로 시설물 관리를 위한 무인이동체에 탑재될 수 있다. 무인이동체에 특정 도로를 따라 이동하라는 명령을 주는 경우에, 무인이동체는 조향제어모델을 이용하여 장애물을 회피하면서 도로를 따라 이동할 수 있다. 이때 각종 도로 시설물을 인식하고 촬영하기 위한 또 다른 인공지능모델이 무인이동체에 탑재될 수 있다. The learning apparatus may learn the steering control model by using the second learning data 500 for each application field of the unmanned vehicle. For example, if an unmanned vehicle is used for road facility management, the coordinator controls the unmanned vehicle with a wireless control device and uses the camera mounted on the unmanned vehicle to photograph various facilities (traffic signs, traffic lights, etc.) installed on the road to prevent damage or damage. It is possible to identify and take pictures of malfunctions, etc. The image of the steering angle of the coordinator for managing road facilities and the moving direction of the unmanned moving body is stored as the second learning data 500, and the steering control model learned using this is mounted on the unmanned moving body for managing road facilities. When a command is given to the unmanned vehicle to move along a specific road, the unmanned vehicle can move along the road while avoiding obstacles using the steering control model. At this time, another artificial intelligence model for recognizing and photographing various road facilities may be mounted on the unmanned vehicle.

다른 예로, 무인이동체가 산불 감시에 사용된다면, 조정자는 무인이동체를 산간 지역을 비행하도록 제어하면서 산불 여부를 감시한다. 학습장치는 이러한 산불 감시를 위한 조정자의 조향각 제어 정보와 이동방향의 영상을 제2 학습 데이터(500)로 이용하여 조향제어모델을 학습시킬 수 있다. 여기서 학습된 조향제어모델은 산불감시를 위한 무인이동체에 탑재될 수 있다. 산불감시를 위하여 무인이동체에 일정 산간 영역을 임도, 산등 또는 계곡을 따라 비행하는 명령을 주는 경우에, 무인이동체는 일정 산간 영역에서 송전탑 등의 장애물을 회피하면서 자율 이동할 수 있으며, 관리자는 무인이동체의 이동을 조정할 필요없이 무인이동체가 임도나 산등 또는 계곡을 따라 이동하면서 전송하는 카메라 영상을 통해 산불 여부를 감시할 수 있다. 무인이동체가 자율로 이동하므로, 한 명의 관리자가 다수의 무인이동체를 통해 넓은 지역의 도로 시설물 관리나 산불 감시를 할 수도 있다. As another example, if the unmanned vehicle is used for forest fire monitoring, the coordinator monitors the forest fire while controlling the unmanned vehicle to fly over a mountainous area. The learning apparatus may learn the steering control model by using the steering angle control information of the coordinator for forest fire monitoring and the image of the movement direction as the second learning data 500 . The learned steering control model can be mounted on an unmanned moving vehicle for forest fire monitoring. When a command is given to an unmanned vehicle to fly along a forest road, a mountain, or a valley in a certain mountainous area for forest fire monitoring, the unmanned vehicle can move autonomously while avoiding obstacles such as transmission towers in a certain mountainous area, and the manager It is possible to monitor the presence of a forest fire through the camera image transmitted by an unmanned vehicle while moving along a forest road, a mountain, or a valley without the need to adjust the movement. As the unmanned vehicle moves autonomously, a single manager can manage road facilities in a wide area or monitor forest fires through multiple unmanned vehicles.

도 6은 본 발명의 실시 예에 따른 무인이동체의 조향 제어 방법의 일 예를 도시한 흐름도이다. 도 6에서 조향제어모델은 도 2에서 살핀 학습과정을 통해 학습이 완료되었다고 가정한다. 6 is a flowchart illustrating an example of a method for controlling steering of an unmanned moving object according to an embodiment of the present invention. In FIG. 6 , it is assumed that the learning of the steering control model has been completed through the learning process salpinned in FIG. 2 .

도 6을 참조하면, 무인이동체는 카메라를 통해 촬영된 영상을 조향제어모델에 입력한다(S600). 무인이동체는 입력 영상에 대한 조향제어모델의 출력값인 조향각을 파악하고(S610), 그 조향각에 기초하여 무인이동체의 이동 방향을 제어한다(S620). 예를 들어, 무인이동체는 조향제어모델을 이용하여 카메라 영상으로부터 장애물을 회피할 수 있는 조향각을 파악하므로, 별도의 장애물 감지센서가 필요 없을 뿐만 아니라 일반 카메라만 탑재된 종래의 다양한 드론에 본 실시 예를 용이하게 적용 가능하다.Referring to FIG. 6 , the unmanned moving object inputs the image photographed through the camera to the steering control model (S600). The unmanned moving object grasps a steering angle, which is an output value of the steering control model with respect to the input image (S610), and controls the moving direction of the unmanned mobile body based on the steering angle (S620). For example, the unmanned moving object uses the steering control model to determine the steering angle that can avoid obstacles from the camera image, so there is no need for a separate obstacle detection sensor. can be easily applied.

도 7은 본 발명의 실시 예에 따른 학습장치의 일 예의 구성을 도시한 도면이다.7 is a diagram illustrating a configuration of an example of a learning apparatus according to an embodiment of the present invention.

도 7을 참조하면, 학습장치(700)는 제1 학습부(710) 및 제2 학습부(720)를 포함한다. 학습장치(700)는 메모리, 프로세서, 입출력장치 등을 포함하는 일반 컴퓨터, 또는 서버 등으로 구현될 수 있다. 예를 들어, 제1 학습부(710) 및 제2 학습부(720)는 소프트웨어어 구현되어 메모리에 탑재되면, 프로세서는 메모리에 탑재된 제1 학습부(710) 및 제2 학습부(720)의 알고리즘을 수행할 수 있다.Referring to FIG. 7 , the learning apparatus 700 includes a first learning unit 710 and a second learning unit 720 . The learning device 700 may be implemented as a general computer including a memory, a processor, an input/output device, or a server. For example, when the first learning unit 710 and the second learning unit 720 are implemented in software language and mounted in a memory, the processor is the first learning unit 710 and the second learning unit 720 mounted in the memory. algorithm can be performed.

제1 학습부(710)는 2차원 공간에 대한 이동방향의 영상 및 조향각을 포함하는 제1 학습 데이터를 이용하여, 조향제어모델을 학습시킨다. 제2 학습부(720)는 3차원 공간에 대한 이동방향의 영상 및 조향각을 포함하는 제2 학습 데이터를 이용하여 조향제어모델을 학습시킨다. The first learning unit 710 trains the steering control model by using the first learning data including the steering angle and the image of the moving direction in the two-dimensional space. The second learning unit 720 learns the steering control model by using the second learning data including the steering angle and the image of the moving direction in the three-dimensional space.

도 8은 본 발명의 실시 예에 따른 무인이동체의 일 예의 구성을 도시한 도면이다.8 is a diagram illustrating the configuration of an example of an unmanned moving object according to an embodiment of the present invention.

도 8을 참조하면, 무인이동체(800)는 저장부(810), 카메라(820) 및 제어부(830)를 포함한다. 이 외에도 무인이동체는 프로펠러, 본체 등 비행을 위한 기본적인 구성을 포함하며, 이는 종래에 이미 널리 알려진 구성이므로 이에 대한 상세한 설명은 생략한다. Referring to FIG. 8 , the unmanned moving object 800 includes a storage unit 810 , a camera 820 , and a control unit 830 . In addition to this, the unmanned mobile vehicle includes basic components for flight such as a propeller and a main body, and since this is a configuration that is already widely known in the prior art, a detailed description thereof will be omitted.

저장부(810)는 메모리 등으로 구현되며, 조향제어모델을 저장한다. 조향제어모델은 도 2에서 살핀 학습과정을 완료한 모델이다.The storage unit 810 is implemented as a memory or the like, and stores a steering control model. The steering control model is a model that has completed the learning process salpinned in FIG. 2 .

카메라(820)는 무인이동체의 이동방향의 정면 영상을 촬영한다. 카메라(820)는 2차원 카메라 또는 3차원 카메라 일 수 있다. 또는 카메라(820)는 적외선 카메라가 될 수 있는 등 실시 예에 따라 다양하게 변형 가능하다.The camera 820 takes a front image of the moving direction of the unmanned moving object. The camera 820 may be a 2D camera or a 3D camera. Alternatively, the camera 820 may be variously modified according to an embodiment, such as an infrared camera.

제어부(830)는 카메라(820)를 통해 촬영한 영상을 조향제어모듈에 입력하여 얻은 조향각으로 무인이동체의 방향을 제어한다.The controller 830 controls the direction of the unmanned moving object with the steering angle obtained by inputting the image captured by the camera 820 to the steering control module.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable program codes on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device. In addition, the computer-readable recording medium is distributed in a network-connected computer system so that the computer-readable code can be stored and executed in a distributed manner.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been looked at with respect to preferred embodiments thereof. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

Claims (6)

2차원 공간에 대한 이동방향의 영상 및 조향각을 포함하는 제1 학습 데이터를 이용하여, 영상 입력에 대하여 조향각을 출력하는 조향제어모델을 학습시키는 제1 학습 단계;
3차원 공간에 대한 이동 방향의 영상 및 조향각을 포함하는 제2 학습 데이터를 이용하여 상기 조향제어모델을 학습시키는 제2 학습 단계;
무인이동체의 카메라를 통해 촬영된 영상을 학습 완료된 상기 조향제어모델에 입력하여 조향각을 파악하는 단계; 및
상기 조향제어모델을 통해 파악된 조향각을 기초로 상기 무인이동체의 이동방향을 제어하는 단계;를 포함하는 것을 특징으로 하는 무인이동체의 조향각 제어 방법.a first learning step of learning a steering control model that outputs a steering angle with respect to an image input by using first learning data including a steering angle and an image of a moving direction in a two-dimensional space;
a second learning step of learning the steering control model using second learning data including a steering angle and an image of a moving direction in a three-dimensional space;
inputting the image captured by the camera of the unmanned moving object into the learned steering control model to determine the steering angle; and
and controlling the moving direction of the unmanned mobile body based on the steering angle determined through the steering control model. 제 1항에 있어서,
깊이카메라 또는 거리측정센서를 이용하여 2차원 공간에서 이동체로부터 일정 거리 이내에 존재하는 적어도 하나 이상의 장애물을 탐지하는 단계;
상기 장애물을 회피하는 각도범위 중 목적지와 가장 가까운 방향을 조향각으로 결정하는 단계; 및
상기 이동체의 이동방향의 영상 및 조향각을 제1 학습 데이터로 저장하는 단계;를 상기 제1 학습 단계 이전에 더 포함하는 것을 특징으로 하는 무인이동체의 조향각 제어 방법.The method of claim 1,
detecting at least one obstacle existing within a predetermined distance from a moving object in a two-dimensional space using a depth camera or a distance measuring sensor;
determining, as a steering angle, a direction closest to a destination among the angle ranges for avoiding the obstacle; and
The method of controlling a steering angle of an unmanned moving object according to claim 1, further comprising: storing the image of the moving direction of the moving object and the steering angle as first learning data; before the first learning step. 제 1항에 있어서,
상기 무인이동체에서 촬영된 이동방향의 영상과 상기 무인이동체의 무선제어장치에서 파악된 조향각을 제2 학습 데이터로 저장하는 단계;를 상기 제2 학습 단계 전에 더 포함하는 것을 특징으로 하는 무인이동체의 조향각 제어 방법.The method of claim 1,
Storing as second learning data the image of the moving direction captured by the unmanned moving object and the steering angle determined by the wireless control device of the unmanned moving object as second learning data; control method. 삭제delete 제1 학습 데이터와 제2 학습 데이터를 이용하여 학습된 조향제어모델이 저장된 저장부;
이동방향의 영상을 촬영하는 카메라; 및
상기 카메라를 통해 촬영한 영상을 상기 조향제어모델에 입력하여 얻은 조향각으로 방향을 제어하는 제어부;를 포함하고,
상기 조향제어모델은,
2차원 공간에 대한 이동 방향의 영상 및 조향각을 포함하는 제1 학습 데이터를 이용하여 제1 학습된 후 3차원 공간에 대한 이동 방향의 영상 및 조향각을 포함하는 제2 학습 데이터를 이용하여 제2 학습되는 것을 특징으로 하는 무인이동체.a storage unit storing the steering control model learned using the first learning data and the second learning data;
a camera for taking an image in the moving direction; and
A control unit for controlling a direction with a steering angle obtained by inputting an image captured by the camera into the steering control model;
The steering control model is
After the first learning is performed using the first learning data including the image and the steering angle in the moving direction in the two-dimensional space, the second learning is performed using the second learning data including the image and the steering angle in the moving direction in the three-dimensional space. Unmanned moving body, characterized in that it becomes. 제 1항 내지 제 3항 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium in which a program for performing the method according to any one of claims 1 to 3 is recorded.
KR1020200039424A 2020-03-31 2020-03-31 Method for controlling steering angle of drone and apparatus thererfor KR102348778B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200039424A KR102348778B1 (en) 2020-03-31 2020-03-31 Method for controlling steering angle of drone and apparatus thererfor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200039424A KR102348778B1 (en) 2020-03-31 2020-03-31 Method for controlling steering angle of drone and apparatus thererfor

Publications (2)

Publication Number Publication Date
KR20210121944A KR20210121944A (en) 2021-10-08
KR102348778B1 true KR102348778B1 (en) 2022-01-10

Family

ID=78115908

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200039424A KR102348778B1 (en) 2020-03-31 2020-03-31 Method for controlling steering angle of drone and apparatus thererfor

Country Status (1)

Country Link
KR (1) KR102348778B1 (en)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180094725A (en) * 2017-02-16 2018-08-24 삼성전자주식회사 Control method and control apparatus of car for automatic driving and learning method for automatic driving

Also Published As

Publication number Publication date
KR20210121944A (en) 2021-10-08

Similar Documents

Publication Publication Date Title
US11797009B2 (en) Unmanned aerial image capture platform
Ross et al. Learning monocular reactive uav control in cluttered natural environments
Padhy et al. Deep neural network for autonomous uav navigation in indoor corridor environments
CN102707724B (en) Visual localization and obstacle avoidance method and system for unmanned plane
US11673269B2 (en) Method of identifying dynamic obstacle and robot implementing same
KR20210015211A (en) Method of cloud slam in realtime and robot and cloud server implementing thereof
Dey et al. Vision and learning for deliberative monocular cluttered flight
KR20190110498A (en) An artificial intelligence server for processing de-identification of unspecific person's face area from image file and method for the same
JP7259274B2 (en) Information processing device, information processing method, and program
CN111474953B (en) Multi-dynamic-view-angle-coordinated aerial target identification method and system
US11931906B2 (en) Mobile robot device and method for providing service to user
KR20190104489A (en) Artificial intelligence air conditioner and method for calibrating sensor data of air conditioner
CN111796603A (en) Smoke inspection unmanned aerial vehicle system, inspection detection method and storage medium
Xu et al. Monocular vision based autonomous landing of quadrotor through deep reinforcement learning
US20190392382A1 (en) Refrigerator for managing item using artificial intelligence and operating method thereof
CN114115289A (en) Autonomous unmanned cluster reconnaissance system
WO2019128496A1 (en) Device motion control
CN117111639B (en) Unmanned aerial vehicle flight optimal route optimizing method in complex environment
KR102348778B1 (en) Method for controlling steering angle of drone and apparatus thererfor
KR20220136796A (en) Pedestrian trajectory prediction apparatus
KR101779255B1 (en) Automatic navigation and communication possible drones operating system
WO2021056144A1 (en) Method and apparatus for controlling return of movable platform, and movable platform
CN113574487A (en) Unmanned aerial vehicle control method and device and unmanned aerial vehicle
Dubey et al. Droan-disparity-space representation for obstacle avoidance: Enabling wire mapping & avoidance
KR20210042537A (en) Method of estimating position in local area in large sapce and robot and cloud server implementing thereof

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant