KR20190093285A

KR20190093285A - Method for taking artistic photograph using drone and drone having function thereof

Info

Publication number: KR20190093285A
Application number: KR1020180012731A
Authority: KR
Inventors: 정용우
Original assignee: 주식회사 스칼라웍스
Priority date: 2018-02-01
Filing date: 2018-02-01
Publication date: 2019-08-09
Also published as: KR102155154B1

Abstract

The present invention relates to a method for photographing an artistic photo using a drone, and to a drone having a function thereof. The method for photographing an artistic photo using a drone obtains image data of a photo photographed by a drone camera, a position value of the drone, and a photographing angle value of the camera, uses a convolutional neural network to determine an artistic score of the photo photographed by the drone camera, compares an artistic score with a reference score, corrects the position value of the drone and the photographing angle value of the camera if the artistic score is less than the reference score, and stores the image data of the photo if the artistic score is greater than or equal to the reference score.

Description

Method for taking artistic photograph using drone and drone having function

드론을 이용하여 예술사진을 촬영하는 방법, 예술사진 촬영 기능을 갖는 드론, 및 예술사진 촬영 기능을 갖는 드론을 제어하는 원격제어서버에 관한 것이다. The present invention relates to a method of photographing art photography using a drone, a drone having an art photography function, and a remote control server controlling a drone having an art photography function.

드론(drone)은 조종사 없이 무선전파의 유도에 의해서 비행 및 조종이 가능한 비행기나 헬리콥터 모양의 군사용무인항공기(UAV: unmanned aerial vehicle or uninhabited aerial vehicle)의 총칭으로서, 2010년대를 전후하여 군사적 용도 외 다양한 민간 분야에도 활용되고 있다. 예를 들어, 드론을 이용하여 택배 물품을 배달할 수 있으며, 카메라를 드론에 장착하고, 카메라 및 드론을 조작하여 드론이 공중에서 비행 중인 동안 영상 또는 사진을 촬영할 수 있다. Drone is a generic term for an unmanned aerial vehicle or uninhabited aerial vehicle (UAV) in the form of a plane or helicopter that can be operated and controlled by radio wave guidance without pilots. It is also used in the private sector. For example, a drone can be used to deliver courier items, a camera can be mounted on the drone, and the camera and drone can be manipulated to take images or photos while the drone is flying in the air.

과거, 드론은 사용자가 원격 조종기를 이용하여 드론의 비행 동작을 제어해야 하는 불편함이 있었다. 최근 들어, 드론이 지정된 위치로 자동으로 이동하거나, 카메라에 의해 인식된 대상 물체를 자동으로 추적하는 등과 같이 비행 제어 알고리즘의 발전으로 인하여, 사용자의 수동 조종이 없더라도 드론 스스로 비행할 수 있게 되었다. 이러한 드론 제어 분야의 발전으로 인하여, 드론을 이용한 항공사진의 촬영이 훨씬 수월해졌다. 그러나, 여전히 드론을 이용한 항공사진의 촬영은 드론 촬영 전문가에 한하여 가능할 뿐, 드론과 카메라를 전문적으로 다룰 수 없는 일반 사용자들에게는 여전히 항공사진의 촬영이 어려운 문제점이 있었다.In the past, drones have been inconvenient for the user to control the drone's flight behavior using a remote controller. Recently, due to advances in flight control algorithms such as automatically moving a drone to a designated location or automatically tracking a target recognized by a camera, the drone can fly by itself even without manual manipulation by a user. The development of drone control has made it easier to shoot aerial photographs using drones. However, photography of aerial photography using drones is only possible for drone shooting specialists, and still has a problem that photography of aerial photographs is difficult for general users who cannot handle drones and cameras professionally.

드론 촬영 전문가의 조종 없이도 드론이 스스로 예술 사진을 촬영할 수 있도록 하는 드론을 이용한 예술사진 촬영 방법, 그 예술사진 촬영 기능을 갖는 드론, 및 원격제어서버를 제공하는 것을 목적으로 한다. 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 설명으로부터 또 다른 기술적 과제가 도출될 수도 있다.An object of the present invention is to provide a method of photographing art using a drone that allows a drone to photograph art by itself without a drone photographing expert, a drone having the art photographing function, and a remote control server. The present invention is not limited to the above-described technical problems, and other technical problems may be derived from the following description.

본 발명의 일 측면에 따라, 드론을 이용한 예술사진 촬영방법은, 공중에서 비행 중인 드론의 카메라에 의해 촬영된 사진의 이미지 데이터를 획득하는 단계; 상기 사진 촬영 시점의 드론의 위치 값 및 카메라의 촬영 각도 값을 산출하는 단계; 상기 획득된 이미지 데이터를 컨볼루션 신경망에 입력함으로써 상기 컨볼루션 신경망의 출력으로부터 상기 카메라에 의해 촬영된 사진의 예술성 점수를 결정하는 단계; 상기 결정된 예술성 점수와 기준 점수를 비교하는 단계; 상기 비교 결과, 상기 결정된 예술성 점수가 상기 기준 점수 미만이면 상기 드론의 위치 값 및 카메라의 촬영 각도 값을 보정하는 단계; 및 상기 비교 결과, 상기 결정된 예술성 점수가 상기 기준 점수 이상이면 상기 획득된 이미지 데이터를 저장하는 단계를 포함하고, 상기 드론의 위치 값과 카메라의 촬영 각도 값이 보정된 경우, 상기 보정된 위치 값을 갖는 드론과 상기 보정된 촬영 각도 값을 갖는 카메라에 대하여 상기 단계들은 다시 수행되고, 상기 카메라에 의해 촬영된 사진에 대한 예술성 점수가 상기 기준 점수 이상이 될 때까지 상기 단계들은 반복적으로 수행될 수 있다. According to an aspect of the present invention, an art photography method using a drone includes: obtaining image data of a photograph taken by a camera of a drone flying in the air; Calculating a position value of the drone and a photographing angle value of the camera at the time of photographing the photograph; Determining the artistic score of the photograph taken by the camera from the output of the convolutional neural network by inputting the acquired image data into the convolutional neural network; Comparing the determined artistry score with a reference score; Correcting the location value of the drone and the photographing angle value of the camera when the determined artistry score is less than the reference score; And storing the acquired image data when the determined artistry score is equal to or greater than the reference score. When the position value of the drone and the photographing angle value of the camera are corrected, the corrected position value is stored. The steps may be performed again for the drone and the camera having the corrected photographing angle value, and the steps may be performed repeatedly until the artistic score for the picture taken by the camera is equal to or greater than the reference score. .

상기 드론의 위치 값 및 카메라의 촬영 각도 값을 보정하는 단계는 상기 단계들의 반복에 따른 예술성 점수의 변화 추이에 대한 드론의 위치 변화 패턴 및 카메라의 촬영 각도 변화 패턴에 기초하여 상기 결정된 예술성 점수가 상승되는 방향으로 상기 드론의 위치 값과 상기 카메라의 촬영 각도 값을 보정할 수 있다. The correcting of the position value of the drone and the photographing angle value of the camera may include determining the artistry score based on the drone's position change pattern and the photographing angle change pattern of the camera with respect to the change of the artist's score according to the repetition of the steps. The position value of the drone and the photographing angle value of the camera may be corrected in the direction of the direction.

상기 드론의 위치 값 및 카메라의 촬영 각도 값을 보정하는 단계는 상기 결정된 예술성 점수가 상기 예술성 점수의 결정 이전에 결정된 예술성 점수보다 단위 변화량 이상으로 높으면 상기 드론의 위치 변화 패턴이 나타내는 드론의 현재 위치 변화의 순방향에 해당하는 방향과 상기 결정된 예술성 점수와 상기 예술성 점수의 결정 이전에 결정된 예술성 점수의 차이에 비례하는 크기를 갖는 변위 값을 상기 드론의 위치 보정값으로 설정하고, 상기 카메라의 촬영 각도 변화 패턴이 나타내는 카메라의 현재 촬영 각도 변화의 순방향에 해당하는 방향과 상기 결정된 예술성 점수와 상기 예술성 점수의 결정 이전에 결정된 예술성 점수의 차이에 비례하는 크기를 갖는 변위 값을 상기 카메라의 촬영 각도 보정값으로 설정할 수 있다. The step of correcting the position value of the drone and the photographing angle value of the camera is a change in the current position of the drone represented by the position change pattern of the drone if the determined artistic score is higher than the unit change amount by the artistic score determined before the determination of the artistic score. A displacement value having a direction proportional to a forward direction of the and a magnitude proportional to a difference between the determined artistry score and the artistry score determined before the determination of the artistry score is set as the position correction value of the drone, and the photographing angle change pattern of the camera Set a displacement value having a direction proportional to a forward direction of the current photographing angle change of the camera and a magnitude proportional to the difference between the determined artistry score and the artistry score determined before the determination of the artistry score as the photographing angle correction value of the camera. Can be.

상기 드론의 위치 값 및 카메라의 촬영 각도 값을 보정하는 단계는 상기 결정된 예술성 점수가 상기 예술성 점수의 결정 이전에 결정된 예술성 점수보다 상기 단위 변화량 이상으로 낮으면 상기 드론의 위치 변화 패턴이 나타내는 드론의 현재 위치 변화의 역방향에 해당하는 방향과 상기 결정된 예술성 점수와 상기 예술성 점수의 결정 이전에 결정된 예술성 점수의 차이에 비례하는 크기를 갖는 변위 값을 상기 드론의 위치 보정값으로 설정하고, 상기 카메라의 촬영 각도 변화 패턴이 나타내는 카메라의 현재 촬영 각도 변화의 역방향에 해당하는 방향과 상기 결정된 예술성 점수와 상기 예술성 점수의 결정 이전에 결정된 예술성 점수의 차이에 비례하는 크기를 갖는 변위 값을 상기 카메라의 촬영 각도 보정값으로 설정할 수 있다. Correcting the position value of the drone and the photographing angle value of the camera is the current of the drone represented by the drone's position change pattern if the determined artistic score is lower than the unit change amount than the artistic score determined before the determination of the artistic score A displacement value having a direction proportional to the reverse direction of the position change and the difference between the determined artist's score and the artist's score determined before the determination of the artist's score is set as the position correction value of the drone, and the photographing angle of the camera is set. A photographing angle correction value of the camera having a displacement value having a direction proportional to a reverse direction of the current photographing angle change of the camera represented by the change pattern and a magnitude proportional to a difference between the determined artistry score and the artistry score determined before the determination of the artistry score Can be set.

상기 드론의 위치 값 및 카메라의 촬영 각도 값을 보정하는 단계는 상기 예술성 점수의 결정 이전에 결정된 예술성 점수가 없거나 상기 결정된 예술성 점수와 상기 예술성 점수의 결정 이전에 결정된 예술성 점수의 차이가 상기 단위 변화량 미만이면 상기 드론의 위치 보정값과 상기 카메라의 촬영 각도 보정값을 랜덤하게 설정할 수 있다. Correcting the position value of the drone and the photographing angle value of the camera may have no artistic score determined before the determination of the artistry score or the difference between the determined artistic score and the artistic score determined before the determination of the artistry score is less than the unit change amount. In this case, the position correction value of the drone and the photographing angle correction value of the camera may be randomly set.

상기 컨볼루션 신경망은 다수의 학습용 사진에 의해 미리 학습된 컨볼루션 신경망일 수 있으며, 다수의 학습용 사진은 사진 작가에 의해 촬영된 프로 클래스의 예술사진, 아마추어에 의해 촬영된 아마추어 클래스의 예술사진, 및 비예술적 클래스의 사진으로 분류된다. 상기 컨볼루션 신경망의 학습은 상기 컨볼루션 신경망의 입력층에 상기 각 학습용 사진의 이미지 데이터를 입력하고, 상기 컨볼루션 신경망의 출력층에 상기 각 학습용 사진의 분류를 입력하는 방식으로 상기 다수의 학습용 사진에 대하여 반복적으로 이루진다. 상기 예술성 점수를 결정하는 단계는 상기 획득된 이미지 데이터를 상기 학습이 완료된 컨볼루션 신경망에 입력함에 따라 상기 컨볼루션 신경으로부터 출력되는 프로 클래스의 확률, 아마추어 클래스의 확률, 비예술적 클래스의 확률 중 상기 프로 클래스의 확률을 상기 예술성 점수로 결정할 수 있다. The convolutional neural network may be a convolutional neural network pre-learned by a plurality of learning pictures, the plurality of learning pictures may be a pro class art picture taken by a photographer, an art picture of an amateur class taken by an amateur, and Classified as a photograph of a non-artistic class. The learning of the convolutional neural network may be performed by inputting image data of the respective learning pictures into an input layer of the convolutional neural network, and inputting a classification of the respective learning pictures into the output layer of the convolutional neural network. Is repeated repeatedly. The determining of the artistry score may be performed by inputting the acquired image data into the convolutional neural network where the learning is completed, from among probabilities of the pro class, probabilities of amateur class, and probabilities of non-artistic class outputted from the convolutional neural network. The probability of a class can be determined by the artistry score.

상기 획득된 이미지 데이터를 저장하는 단계는 상기 프로 클래스의 확률이 상기 기준 상위 확률 이상이고, 상기 아마추어 클래스의 확률이 기준 하위 확률 미만이고, 상기 비예술적 클래스의 확률이 0이면 상기 획득된 이미지 데이터를 저장하고, 상기 단계들은 상기 프로 클래스의 확률이 상기 기준 점수에 해당하는 기준 상위 확률 이상으로 상승되고, 상기 아마추어 클래스의 확률이 기준 하위 확률 미만으로 하강되고, 상기 비예술적 클래스의 확률이 0이 될 때까지 반복될 수 있다. The storing of the acquired image data may include obtaining the acquired image data when the probability of the professional class is greater than or equal to the reference upper probability, the probability of the amateur class is less than the reference lower probability, and the probability of the non-artistic class is zero. Store, the probabilities of the professional class rise above the reference upper probability corresponding to the reference score, the amateur class's probability falls below the reference lower probability, and the probability of the non-artistic class becomes zero. May be repeated until.

본 발명의 다른 측면에 따라 상술된 바와 같은 방법 중 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.According to another aspect of the invention there is provided a computer readable recording medium having recorded thereon a program for executing one of the methods as described above on a computer.

본 발명의 또 다른 측면에 따라 예술사진 촬영기능을 갖는 드론을 제어하는 원격제어서버는 공중에서 비행 중인 드론의 카메라에 의해 촬영된 사진의 이미지 데이터, 상기 사진 촬영 시점의 드론의 위치 값 및 상기 카메라의 촬영 각도 값을 포함하는 데이터 신호를 상기 드론으로부터 무선으로 수신하는 무선 통신부; 상기 무선 통신부에 의해 수신된 데이터 신호로부터 상기 이미지 데이터, 상기 드론의 위치 값 및 상기 촬영 각도 값을 추출하는 신호 처리부; 상기 추출된 이미지 데이터로부터 상기 카메라에 의해 촬영된 사진의 예술성 점수를 결정하는 컨볼루션 신경망; 상기 결정된 예술성 점수와 기준 점수를 비교하고, 상기 비교 결과에 따라 상기 드론의 위치 값 및 카메라의 촬영 각도 값을 보정하거나 상기 추출된 이미지 데이터를 출력하는 예술성 제어부; 상기 예술성 제어부로부터 출력된 이미지 데이터를 저장하는 스토리지; 및 상기 드론의 위치 값과 카메라의 촬영 각도 값이 보정될 때마다 상기 보정된 위치 값, 및 상기 보정된 촬영 각도 값을 포함하는 피드백 신호를 생성하는 피드백부를 포함하고, 상기 무선 통신부는 상기 피드백 신호를 상기 드론으로 송신하고, 상기 원격제어서버는 상기 드론의 카메라에 의해 촬영된 사진의 예술성 점수가 상기 기준 점수 이상이 될 때까지 상기 피드백 신호를 상기 드론으로 피드백할 수 있다.According to another aspect of the present invention, a remote control server for controlling a drone having an art photography function includes image data of a photograph taken by a camera of a drone in flight in the air, a position value of the drone at the time of photographing, and the camera. A wireless communication unit wirelessly receiving a data signal including a photographing angle value of the drone; A signal processor extracting the image data, the position value of the drone, and the photographing angle value from the data signal received by the wireless communication unit; A convolutional neural network for determining the artistic score of the picture taken by the camera from the extracted image data; An artist's control unit comparing the determined artist's artistic score with a reference score and correcting the position value of the drone and the photographing angle value of the camera or outputting the extracted image data according to the comparison result; A storage for storing image data output from the artistry control unit; And a feedback unit generating a feedback signal including the corrected position value and the corrected photographing angle value whenever the position value of the drone and the photographing angle value of the camera are corrected, and the wireless communication unit generates the feedback signal. And transmit the feedback signal to the drone until the artist score of the photograph taken by the camera of the drone becomes equal to or greater than the reference score.

본 발명의 또 다른 측면에 따라 예술사진 촬영기능을 갖는 드론은 사진을 촬영하는 카메라; 상기 카메라의 촬영 각도를 제어하는 카메라 제어부; 드론의 위치 값을 생성하는 GPS 모듈; 상기 카메라에 의해 촬영된 사진을 컨볼루션 신경망에 입력하기 위한 이미지 데이터로 변환하는 데이터 변환부; 상기 이미지 데이터로부터 상기 카메라에 의해 촬영된 사진의 예술성 점수를 결정하는 컨볼루션 신경망; 상기 결정된 예술성 점수와 기준 점수를 비교하고, 상기 비교 결과에 따라 상기 드론의 위치 값 및 카메라의 촬영 각도 값을 보정하거나 상기 이미지 데이터를 출력하는 예술성 제어부; 상기 예술성 제어부로부터 출력된 이미지 데이터를 저장하는 스토리지; 상기 드론의 비행 동작을 제어하는 비행 제어부; 및 적어도 네 개의 프로펠러를 사용하여 비행하는 비행부를 포함하고, 상기 비행 제어부는 상기 드론의 위치 값이 보정될 때마다 상기 보정된 위치 값으로 상기 드론이 이동하도록 상기 드론의 비행 동작을 제어하고, 상기 카메라 제어부는 상기 카메라의 촬영 각도 값이 보정될 때마다 상기 보정된 촬영 각도 값으로 상기 카메라의 촬영 각도를 제어하고, 상기 예술성 제어부는 상기 드론의 카메라에 의해 촬영된 사진의 예술성 점수가 상기 기준 점수 이상이 될 때까지 반복해서 상기 드론의 위치 값 및 카메라의 촬영 각도 값을 보정할 수 있다.According to another aspect of the present invention, a drone having an art photography function includes a camera for photographing; A camera controller for controlling a photographing angle of the camera; A GPS module for generating a location value of the drone; A data converting unit converting the photograph taken by the camera into image data for input into a convolutional neural network; A convolutional neural network for determining the artistic score of the picture taken by the camera from the image data; An artist's controller for comparing the determined artist's score with a reference score and correcting the position value of the drone and the photographing angle of the camera or outputting the image data according to the comparison result; A storage for storing image data output from the artistry control unit; A flight controller for controlling a flight operation of the drone; And a flight unit flying using at least four propellers, wherein the flight controller controls the flight operation of the drone to move the drone to the corrected position value whenever the position value of the drone is corrected, The camera controller controls the photographing angle of the camera with the corrected photographing angle value whenever the photographing angle value of the camera is corrected, and the artistry control section indicates that the artistry score of the photograph taken by the camera of the drone is the reference score. It is possible to repeatedly correct the position value of the drone and the photographing angle value of the camera until the above is achieved.

드론이 공중을 비행하면서 사진을 촬영하고, 촬영된 사진에 대한 예술성 점수를 학습된 컨볼루션 신경망을 이용하여 결정하고, 촬영된 사진의 예술성 점수가 기준 점수 미만이면 드론의 위치를 이동시키고 드론의 카메라의 촬영 각도를 조정하여 사진을 재촬영하고 재촬영된 사진에 대한 예술성 점수를 다시 기준 점수와 비교하고, 이러한 과정을 드론의 카메라에 의해 촬영된 사진에 대한 예술성 점수가 기준 점수 이상이 될 때까지 반복함으로써 드론이 스스로 예술 사진을 촬영할 수 있다. 이에 따라, 드론을 전문적으로 조작하지 못하는 일반 사용자들도 항공사진을 쉽게 촬영할 수 있다. As the drone flies in the air, it takes pictures, determines the artistic score of the photographed picture using a learned convolutional neural network, and if the artistic score of the photograph is less than the reference score, moves the drone's position and moves the drone's camera. Retake the photo by adjusting the angle of the shot, and compare the artist's score for the retaken picture with the reference score, and repeat this process until the artist's score for the photo taken by the drone's camera is above the reference score. By repeating, the drone can take art photos of itself. As a result, even ordinary users who cannot operate the drone professionally can easily shoot aerial photographs.

특히, 학습된 컨볼루션 신경망이 드론에 의해 촬영된 사진의 예술성 점수를 결정하고 그 결정 결과에 따라 드론의 위치와 드론 카메라의 촬영 각도를 조정하여 재촬영함으로써 본 발명의 드론은 예술성이 높은 항공 사진 등 예술사진을 촬영할 수 있는 기능을 제공할 수 있다. 이에 따라, 프로 사진작가가 아닌 일반인들도 본 발영의 드론을 이용하여 예술 사진을 경제적 부담 없이 촬영할 수 있다. In particular, the learned convolutional neural network determines the artistic score of the photograph taken by the drone and adjusts the location of the drone and the photographing angle of the drone camera according to the result of the determination to retake the drone according to the present invention. It can provide a function to shoot art photos. As a result, non-professional photographers can use the drones of this project to take art photos without any financial burden.

도 1은 본 발명의 일 실시예에 따른 드론(10)을 이용한 예술사진 촬영방법의 수행 예를 나타내는 도면이다.
도 2는 도 1에 도시된 드론(10) 및 원격제어서버(20)의 구성도이다.
도 3a은 본 발명의 일 실시예에 따른 컨볼루션 신경망(230)을 도시한 도면이다.
도 3b는 도 3a에 도시된 컨볼루셔널 계층을 도시한 도면이다.
도 4a 내지 4f는 본 발명의 일 실시예에 따른 인공 신경망에 의해 출력된 이미지의 각각의 클래스 확률을 나타내는 예시이다.
도 5는 도 1에 도시된 본 발명의 실시예에 따른 예술사진 촬영방법의 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 드론(10)에 의해 촬영된 각 사진을 도시한 도면이다.
도 7은 본 발명의 다른 일 실시예에 따른 드론(70)을 이용한 예술사진 촬영방법의 수행 예를 나타내는 도면이다.
도 8는 도 7에 도시된 드론(70)의 구성도이다.
도 9은 도 7에 도시된 본 발명의 실시예에 따른 예술사진 촬영방법의 흐름도이다. 1 is a view showing an example of performing an art photographing method using a drone 10 according to an embodiment of the present invention.
2 is a configuration diagram of the drone 10 and the remote control server 20 shown in FIG.
3A illustrates a convolutional neural network 230 in accordance with one embodiment of the present invention.
FIG. 3B illustrates the convolutional layer shown in FIG. 3A.
4A to 4F are examples showing the class probabilities of images output by an artificial neural network according to an embodiment of the present invention.
5 is a flowchart of an art photographing method according to an exemplary embodiment of the present invention shown in FIG. 1.
6 is a view showing each picture taken by the drone 10 according to an embodiment of the present invention.
7 is a view showing an example of performing an art photographing method using a drone 70 according to another embodiment of the present invention.
FIG. 8 is a configuration diagram of the drone 70 shown in FIG. 7.
FIG. 9 is a flowchart of an art photographing method according to an exemplary embodiment of the present invention shown in FIG. 7.

이하에서는 도면을 참조하여 본 발명의 실시예들을 상세하게 설명한다.Hereinafter, with reference to the drawings will be described embodiments of the present invention;

도 1은 본 발명의 일 실시예에 따른 드론을 이용한 예술사진 촬영방법의 수행 예를 나타내는 도면이다. 도 1을 참조하면, 드론(10)은 공중에서 비행 중에 사진을 촬영하고, 촬영된 사진에 대한 이미지 데이터를 원격제어서버(20)로 전송한다. 원격제어서버(20)는 드론의 카메라에 의해 촬영된 사진의 예술성 점수를 기준 점수와 비교하고, 비교 결과에 따라 드론(10)의 위치 값 및 카메라의 촬영 각도 값에 대한 보정 값을 포함하는 피드백 신호를 생성하고 드론(10)으로 전송한다. 드론(10)은 원격제어서버(20)로부터 수신된 피드백 신호에 따라 드론(10)을 보정된 위치 값으로 이동하고, 카메라의 촬영 각도를 보정된 촬영 각도 값으로 조정한다. 그리고, 드론(10)은 보정된 위치에서 카메라의 보정된 촬영 각도로 사진을 다시 촬영한다.1 is a view showing an example of performing an art photographing method using a drone according to an embodiment of the present invention. Referring to FIG. 1, the drone 10 takes a picture during flight in the air and transmits image data about the taken picture to the remote control server 20. The remote control server 20 compares the artistic score of the picture taken by the camera of the drone with the reference score, and includes a feedback including a correction value for the position value of the drone 10 and the photographing angle value of the camera according to the comparison result. Generate a signal and send it to the drone (10). The drone 10 moves the drone 10 to the corrected position value according to the feedback signal received from the remote control server 20, and adjusts the photographing angle of the camera to the corrected photographing angle value. Then, the drone 10 takes a picture again at the corrected photographing angle of the camera at the corrected position.

도 2는 도 1에 도시된 드론(10) 및 원격제어서버(20)의 구성도이다. 도 2를 참조하면, 드론(10)은 카메라(100), 카메라 제어부(110), GPS(Global Positioning System) 모듈(120), 비행 제어부(130), 비행부(140), 무선 통신부(150), 및 배터리(160)로 구성된다. 카메라(100)는 사진을 촬영하고, 촬영된 사진의 이미지 데이터를 무선 통신부(150)로 출력한다. 카메라 제어부(110)는 카메라의 촬영 각도를 조절한다. 카메라 제어부(110)는 드론을 제어하는 원격제어서버로부터 전송된 카메라의 촬영 각도 값에 기초하여, 카메라의 촬영 각도(예를 들어, 상하좌우 각도)를 조절한다. 추가적으로, 카메라 제어부(110)는 카메라의 줌, 조리개 등을 조절할 수 있다. 2 is a configuration diagram of the drone 10 and the remote control server 20 shown in FIG. 2, the drone 10 includes a camera 100, a camera controller 110, a global positioning system (GPS) module 120, a flight controller 130, a flight unit 140, and a wireless communication unit 150. , And a battery 160. The camera 100 takes a picture and outputs image data of the taken picture to the wireless communication unit 150. The camera controller 110 adjusts the photographing angle of the camera. The camera controller 110 adjusts the photographing angle (eg, up, down, left, and right angles) of the camera based on the photographing angle value of the camera transmitted from the remote control server controlling the drone. In addition, the camera controller 110 may adjust the zoom, aperture, etc. of the camera.

GPS 모듈(120)은 GPS 위성으로부터 GPS 신호를 수신하고 수신된 GPS 신호로부터 드론의 현재 위치 값(예를 들어, XYZ 좌표값)를 산출한다. GPS 모듈(120)은 드론의 카메라(100)에 의해 사진이 촬영된 시점에서의 드론(10)의 위치 값을 산출할 수 있다. GPS 모듈(120)은 산출된 드론의 위치 값을 무선 통신부(150)로 출력한다. GPS 신호로부터 드론의 현재 위치 값의 산출 방법은 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자에게 공지되어 있으므로 본 실시예의 특징이 흐려짐을 방지하기 위해 더 이상의 자세한 설명은 생략하기로 한다. The GPS module 120 receives a GPS signal from a GPS satellite and calculates a current position value (eg, XYZ coordinate value) of the drone from the received GPS signal. The GPS module 120 may calculate a position value of the drone 10 at the time when the picture is taken by the camera 100 of the drone. The GPS module 120 outputs the calculated position value of the drone to the wireless communication unit 150. Since the method of calculating the current position value of the drone from the GPS signal is known to those skilled in the art, the detailed description thereof will be omitted in order to prevent the feature of the present embodiment from blurring.

비행 제어부(130)는 비행부(140)를 제어하여, 드론(10)의 비행 동작을 제어한다. 비행부(140)는 네 개의 모터와 이것에 일대일로 직결된 네 개의 프로펠러로 구성되며 네 개의 프로펠러를 사용하여 비행한다. 비행부(140)는 여섯 개의 모터와 여섯 개의 프로펠러로 구성될 수도 있다. 비행 제어부(130)는 원격제어서버(20)로부터 전송된 드론의 위치 값에 기초하여, 드론의 비행 동작을 제어한다. 보다 구체적으로, 비행 제어부(130)는 원격제어서버(20)로부터 전송된 드론의 비행 동작에 대한 제어 명령에 따라, 비행부(100)의 네 개의 모터 각각의 회전수를 제어하는 방식으로 네 개의 프로펠러의 회전수를 제어함으로써 드론(10)의 위치를 이동시키거나 드론(10)의 공중 자세를 제어한다. The flight controller 130 controls the flight unit 140 to control the flight operation of the drone 10. The flight unit 140 is composed of four motors and four propellers directly connected to one-to-one and fly using four propellers. The flight unit 140 may be composed of six motors and six propellers. The flight control unit 130 controls the flight operation of the drone based on the position value of the drone transmitted from the remote control server 20. More specifically, the flight control unit 130 according to the control command for the flight operation of the drone transmitted from the remote control server 20, the four in a manner to control the number of rotation of each of the four motors of the flight unit 100 By controlling the rotation speed of the propeller, the position of the drone 10 is moved or the aerial attitude of the drone 10 is controlled.

무선 통신부(150)는 원격제어서버(20)의 무선 통신부(210)와 무선으로 통신하기 위한 모듈이다. 무선 통신부(150)는 카메라(100)에 의해 촬영된 사진의 이미지 데이터, 드론(10)의 위치 정보 및 카메라(100)의 촬영 각도 값을 포함하는 데이터 신호를 원격제어서버(10)로 전송하고, 원격제어서버(90)로부터 드론(10)의 보정된 위치 값 및 카메라(100)의 보정된 촬영 각도 값을 포함하는 피드백 신호를 수신한다. 드론(10)의 무선 통신부(150)는 예를 들어, WLAN(Wireless Local Area Network), 와이파이(Wi-Fi), 직비(ZigBee), 와이맥스(Wimax) 등과 같은 무선 통신 기술에 의하여 원격제어서버(20)의 무선 통신부(210)와 무선으로 통신할 수 있다. 배터리(160)는 드론의 구동계와 전자회로의 구동 전원, 즉 카메라(100), 카메라 제어부(110), GPS 모듈(120), 비행 제어부(130), 비행부(140), 무선 통신부(150)의 구동 전원을 공급한다. The wireless communication unit 150 is a module for wirelessly communicating with the wireless communication unit 210 of the remote control server 20. The wireless communication unit 150 transmits a data signal including image data of a photograph taken by the camera 100, position information of the drone 10, and a photographing angle value of the camera 100 to the remote control server 10. In addition, the remote control server 90 receives a feedback signal including a corrected position value of the drone 10 and a corrected photographing angle value of the camera 100. The wireless communication unit 150 of the drone 10, for example, the remote control server (Wireless Local Area Network (WLAN), Wi-Fi (Wi-Fi), ZigBee, Wimax (Wimax), etc. 20 may wirelessly communicate with the wireless communication unit 210 of FIG. The battery 160 is a driving power source for the drone and the electronic circuit, that is, the camera 100, the camera controller 110, the GPS module 120, the flight controller 130, the flight unit 140, and the wireless communication unit 150. Supply the drive power.

도 2를 참조하면, 원격제어서버(20)는 무선 통신부(210), 신호 처리부(220), 컨볼루션 신경망(230), 중앙 처리부(240), 피드백부(250), 및 스토리지(960)으로 구성된다. 원격제어서버(20)는 스마트 폰, 테블릿, 랩톱 컴퓨터 등과 같은 컴퓨팅 디바이스일 수 있다. 무선 통신부(210)는 드론(10)의 무선 통신부(150)와 신호를 무선으로 통신하기 위한 모듈로서, 드론(10)으로부터 카메라(100)에 의해 촬영된 사진의 이미지 데이터, 드론(10)의 위치 정보, 및 카메라(100)의 촬영 각도 값을 포함하는 신호를 수신하고, 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값에 대한 보정 값을 포함하는 피드백 신호를 드론(10)의 무선 통신부(150)로 전송한다. Referring to FIG. 2, the remote control server 20 includes a wireless communication unit 210, a signal processing unit 220, a convolutional neural network 230, a central processing unit 240, a feedback unit 250, and a storage 960. It is composed. The remote control server 20 may be a computing device such as a smart phone, tablet, laptop computer, or the like. The wireless communication unit 210 is a module for wirelessly communicating a signal with the wireless communication unit 150 of the drone 10. The image data of the photograph taken by the camera 100 from the drone 10, Receives a signal including the position information and the photographing angle value of the camera 100, the drone 10 receives a feedback signal including a correction value for the position value of the drone 10 and the photographing angle value of the camera 100 The wireless communication unit 150 transmits.

신호 처리부(220)는 드론(10)으로부터 전송된 데이터 신호로부터 드론 카메라(100)에 의해 촬영된 사진의 이미지 데이터, 드론(10)의 위치 값, 및 카메라(100)의 촬영 각도 값을 추출한다. 신호 처리부(220)는 이와 같이 추출된 사진의 이미지 데이터를 컨볼루션 신경망(230)에서 요구하는 크기의 이미지 데이터로 변환한다. 예를 들어, 신호 처리부(220)는 카메라(100)에 의해 촬영된 사진을 289×289 픽셀(pixel) 및 RGB 채널의 이미지 데이터로 변환하고, 컨볼루션 신경망(230)에 입력한다. 신호 처리부(220)는 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값을 예술성 제어부(240)로 출력한다. The signal processor 220 extracts image data of a photograph taken by the drone camera 100, a position value of the drone 10, and a photographing angle value of the camera 100 from the data signal transmitted from the drone 10. . The signal processor 220 converts the image data of the extracted picture into image data having a size required by the convolutional neural network 230. For example, the signal processor 220 converts a picture taken by the camera 100 into image data of 289 × 289 pixels and an RGB channel, and inputs it to the convolutional neural network 230. The signal processor 220 outputs the position value of the drone 10 and the photographing angle value of the camera 100 to the artistry controller 240.

컨볼루션 신경망(230)은 입력된 사진의 이미지 데이터에 대한 예술성 점수를 결정한다. 본 실시예의 컨볼루션 신경망(230)은 사진에 대한 예술성 점수를 결정할 수 있도록 다수의 학습용 사진에 의해 미리 학습된 컨볼루션 신경망(230)이다. 다수의 학습용 사진은 '사진 작가에 의해 촬영된 프로 클래스의 예술 사진', '아마추어에 의해 촬영된 아마추어 클래스의 예술 사진' 및 '촬영 대상의 일부가 잘려 있거나 사진이 흐려 예술성을 판단할 수 없는 비예술적 클래스의 사진'으로 분류된다. 컨볼루션 신경망(230)에 어떤 사진의 이미지 데이터을 입력하고, 입력된 각 사진의 이미지 데이터의 클래스 분류를 출력에 입력하는 방식으로 컨볼루션 신경망(230)을 다수의 학습용 사진에 대하여 학습시킨다. The convolutional neural network 230 determines the artistic score for the image data of the input picture. The convolutional neural network 230 of the present embodiment is a convolutional neural network 230 previously learned by a plurality of learning pictures so as to determine an artist's score for the picture. Many educational photographs include 'professional photography taken by photographer', 'amateur photography taken by amateur', and 'non-determinable artistry due to part of the subject being cut off or blurred. Photos of artistic class. The convolutional neural network 230 is trained on a plurality of learning pictures by inputting image data of a certain photograph into the convolutional neural network 230 and inputting a class classification of the image data of each photograph inputted to the output.

컨볼루션 신경망(230)에 대하여 상술한 학습을 수많은 사진에 대해 반복적으로 실시함으로써, 학습된 컨볼루션 신경망(20)은 수많은 사진 데이터 속에서 패턴 및 특징을 발견하여 각 사진의 각 클래스를 구별할 수 있게 된다. 학습된 컨볼루션 신경망(230)은 사진의 이미지 데이터를 입력하면, 입력된 사진에 대하여 프로 클래스의 확률, 아마추어 클래스의 확률 및 비예술적 클래스의 확률을 출력한다. 출력된 각 클래스의 확률에 기초하여, 예술성 제어부(240)는 입력된 사진의 예술성 점수를 결정할 수 있다. 예를 들어, 사진의 예술성 점수는 프로 클래스의 확률로 결정될 수 있다. By repeatedly performing the above-described learning on the convolutional neural network 230 for a number of photographs, the learned convolutional neural network 20 can find patterns and features in a large number of photographic data to distinguish each class of each photograph. Will be. When the trained convolutional neural network 230 inputs image data of a photograph, it outputs a probability of a pro class, an amateur class, and a non-artistic class with respect to the input photo. Based on the probability of each class output, the artistry controller 240 may determine the artistry score of the input picture. For example, the artist's artistic score may be determined as a pro class probability.

도 3a는 도 2에 도시된 컨볼루션 신경망의 구성도이다. 도 3a를 참조하면, 컨볼루션 신경망은 전통적인 다층퍼셉트론(Multilayer Perceptron) 인공 신경망 앞에 복수의 컨볼루셔널 계층(Convolutional Layer)을 붙인 것이다. 전통적인 인공 신경망은 이미지의 특징을 추출하는 데에 적합하지 않다. 이에 따라, 복수의 컨볼루셔널 계층을 이미지의 특징을 추출하는 역할을 한다. 복수의 컨볼루셔널 계층 사이사이에는 풀링 계층(Pooling Layer)이 삽입될 수 있는데, 풀링 계층은 그 앞에 배치된 컨볼루셔널 계층으로부터 출력된 이미지 특징을 서브샘플링함으로써 사진 분류에 필요 없는 특징을 제거하는 역할을 한다. 이와 같이, 사진의 이미지 데이터에 대하여 컨볼루셔널 계층과 풀링 계층을 번갈아 가면서 적용함으로써 추출된 이미지 특징 값은 인공 신경망에 입력된다. 인공 신경망은 이미지의 특징 값에 기초하여 사진에 대한 3 개의 클래스(프로 클래스, 아마추어 클래스 및 비예술적 클래스) 각각의 확률을 결정한다. 3A is a block diagram of the convolutional neural network shown in FIG. 2. Referring to FIG. 3A, a convolutional neural network is a plurality of convolutional layers attached to a conventional multilayer perceptron artificial neural network. Traditional artificial neural networks are not suitable for extracting features of an image. Accordingly, the plurality of convolutional layers serve to extract features of the image. A pooling layer may be inserted between the plurality of convolutional layers. The pooling layer removes features that are not necessary for photo classification by subsampling the image features output from the convolutional layer disposed before the pooling layer. Play a role. As described above, the extracted image feature values are alternately applied to the artificial neural network by applying the convolutional layer and the pooling layer alternately to the image data of the picture. The artificial neural network determines the probability of each of the three classes (professional, amateur and non-artistic classes) for photography based on the feature values of the image.

도 3b는 도 2에 도시된 컨볼루션 신경망의 구현 예이다. 도 3b를 참조하면, 컨볼루션 신경망은 4개의 컨볼루셔널 계층, 2개의 맥스 풀링(Max Pooling) 계층, 1개의 1차원화 변환을 수행하는 플래튼 계층(Flatten Layer), 및 인공 신경망에 해당하는 3개의 완전 접속 계층(Fully Connected Layer, fc)으로 구성된다. 각 컨볼루셔널 계층은 입력된 이미지로부터 특징을 추출하는 복수 개의 필터와 컨볼루셔널 계층의 출력에서 임계값 이상의 입력을 활성화하는 활성화 함수의 일종인 복수 개의 ReLu(Rectified Linear Unit)로 구성되고, 각 완전 접속 계층은 특정값 이하의 입력 값을 탈락시키는 탈락 계층(Dropout layer)을 포함할 수 있다. 3B is an example of implementation of the convolutional neural network shown in FIG. 2. Referring to FIG. 3B, a convolutional neural network corresponds to four convolutional layers, two max pooling layers, a platen layer performing one dimensionalization transformation, and an artificial neural network. It consists of three Fully Connected Layers (fc). Each convolutional layer consists of a plurality of filters that extract features from the input image and a plurality of rectified linear units (ReLu), which is a kind of activation function that activates inputs above the threshold at the output of the convolutional layer. The full access layer may include a dropout layer for dropping an input value below a specific value.

첫번째 컨볼루셔널 계층에 이미지가 289×289×3(가로×세로×RGB 채널) 크기로 입력된다. 96개의 필터를 사용하는 첫번째 컨볼루셔널 계층에서, 입력 289×289×3 이미지에 스트라이드(stride) 값은 5, 패딩(padding) 값은 0, 및 9×9 필터 윈도우를 적용하면, 결과 값으로 57×57×96의 특징 맵(feature map)이 출력된다. 57×57×96의 특징 맵은 두번째 컨볼루셔널 계층에 입력된다. 256개의 필터를 사용하는 두번째 컨볼루셔널 계층에서, 입력 57×57×96의 특징 맵에 스트라이드 값은 3, 입력값과 출력값의 사이즈를 동일하게 하는 패딩 값, 및 6×6 필터 윈도우를 적용하고 첫번째 맥스 풀링을 적용하면, 결과 값으로 14×14×256의 특징 맵이 출력된다. The image is input to the first convolutional layer at a size of 289 × 289 × 3 (width × length × RGB channel). In the first convolutional layer using 96 filters, if you apply a stride value of 5, a padding value of 0, and a 9 × 9 filter window to the input 289 × 289 × 3 image, you get the resulting value. A feature map of 57x57x96 is output. A feature map of 57x57x96 is input to the second convolutional layer. In the second convolutional layer using 256 filters, the stride value is applied to the feature map of input 57 × 57 × 96 with 3, the padding value equalizing the size of the input and output values, and the 6 × 6 filter window. Applying the first max pooling results in a feature map of 14x14x256.

14×14×256의 특징 맵이 세번째 컨볼루셔널 계층에 입력된다. 256개의 필터를 사용하는 세번째 컨볼루셔널 계층에서, 입력 14×14×256의 특징 맵에 스트라이드 값은 3, 입력값과 출력값의 사이즈를 동일하게 하는 패딩 값, 및 3×3 필터 윈도우를 적용하고 두번째 맥스 풀링을 적용하면, 결과 값으로 3×3×256의 특징 맵이 출력된다. 3×3×256의 특징 맵이 마지막 컨볼루셔널 계층에 입력된다. 384개의 필터를 사용하는 마지막 컨볼루셔널 계층에서, 입력 3×3×256의 특징 맵에 스트라이드 값은 3, 입력값과 출력값의 사이즈를 동일하게 하는 패딩 값, 및 3×3 필터를 적용하면, 결과 값으로 2×2×384의 특징 맵이 출력된다. A feature map of 14x14x256 is input to the third convolutional layer. In the third convolutional layer using 256 filters, we apply a stride value of 3, a padding value equaling the size of the input and output values, and a 3x3 filter window to the feature map of input 14x14x256. Applying the second max pooling results in a feature map of 3x3x256. A feature map of 3x3x256 is input to the last convolutional layer. In the last convolutional layer using 384 filters, a stride value of 3, a padding value equaling the size of the input and output values, and a 3x3 filter are applied to the feature map of input 3x3x256. As a result, a feature map of 2x2x384 is output.

출력된 특징 값은 3차원이기 때문에 1차원 데이터로 변환될 필요가 있으며, 2×2×256의 특징 맵은 1차원화하기 위하여 플래튼 계층에 입력된다. 1차원화 변환 계층은 2×2×256의 산술 연산 값인 1536개의 채널을 출력한다. 1차원화 변환 계층에서 출력된 1536개의 채널은 4096개의 채널의 첫 번째 완전 접속 계층(FC1)으로 입력된다. 다시 도 3을 참조하면, 드론의 위치 값 및 카메라의 촬영 각도 값은 다층 퍼셉트론(Multi Layer Perceptron)에 의해 4096개 채널로 변경된다. 컨볼루션 계층에서 출력된 이미지 특징 값에 대한 4096개 채널 및 드론의 위치 값 및 카메라의 촬영 각도 값에 대한 4096개 채널을 일괄 반영하여 완전 접속 계층(FC2)에 입력한다. 완전 접속 계층(FC2)은 탈락 계층에 의해 입력된 채널에서 데이터가 0.25보다 작은 값을 탈락시키면서 2048개의 채널을 출력한다. 완전 접속 계층(FC2)에서 출력된 2048개의 채널은 소프트 맥스(Soft Max) 함수에 의해 3개의 클래스의 확률로 출력된다. 상기된 구현 예의 수치는 이미지의 크기와 해상도에 따라 다양하게 변경될 수 있다.Since the output feature values are three-dimensional, they need to be converted into one-dimensional data, and a feature map of 2x2x256 is input to the platen layer for one-dimensionalization. The one-dimensionalized transform layer outputs 1536 channels that are arithmetic operation values of 2x2x256. The 1536 channels output from the one-dimensionalized transform layer are input to the first full access layer FC1 of 4096 channels. Referring again to FIG. 3, the position value of the drone and the photographing angle value of the camera are changed to 4096 channels by a multi layer perceptron. The 4096 channels of the image feature values output from the convolutional layer and the 4096 channels of the drone's position value and the camera's photographing angle value are collectively reflected and input to the complete access layer FC2. The full access layer FC2 outputs 2048 channels while dropping values smaller than 0.25 from the channel input by the dropout layer. The 2048 channels output from the full access layer FC2 are output with three classes of probabilities by the Soft Max function. The numerical values of the above-described embodiments may be variously changed according to the size and resolution of the image.

도 4a 내지 4f는 본 발명의 일 실시예에 따른 컨볼루션 신경망에 의해 출력된 이미지의 각각의 클래스 확률을 나타내는 예시이다. 도 4a로부터 도 4f의 예시는 드론이 예술사진 촬영방법의 각 단계들을 반복하는 과정에 촬영된 사진들이며, 각 사진에 대하여 컨볼루션 신경망에 의해 결정된 예술성 점수를 나타낸다. 도 4a로부터 도 4f의 사진에 대한 각 클래스의 확률을 보면, 예술사진 촬영방법의 반복을 통해 드론의 위치 값 및 카메라의 촬영 각도 값을 반복적으로 보정하여 프로 클래스의 확률은 증가하고 있으며, 아마추어 클래스의 확률 및 비예술적 클래스의 확률은 감소하고 있다. 4A to 4F are illustrations showing each class probability of an image output by a convolutional neural network according to an embodiment of the present invention. 4A to 4F are photographs taken while the drone repeats each step of the art photographing method, and represent artist scores determined by the convolutional neural network for each photograph. Looking at the probability of each class for the picture of Figure 4a to Figure 4f, through the repetition of the art photographing method iteratively correct the position value of the drone and the shooting angle value of the camera by increasing the probability of the professional class, amateur class The probability of and the probability of non-artistic classes are decreasing.

도 4f의 사진의 프로 클래스의 확률은 95%이고, 아마추어 클래스의 확률은 5%이고, 비예술적 클래스의 확률은 0%이다. 예를 들어, 예술적인 사진의 기준 점수가 프로 클래스의 확률이 95% 이상이고, 아마추어 클래스의 확률이 5% 이하이고, 비예술적 클래스의 확률이 0%으로 설정되면, 드론은 도 4f에 예시된 사진을 스토리지에 저장하고 예술사진 촬영방법의 프로세스를 종료한다. 이와 같이, 컨볼루션 신경망(230)은 입력된 사진에 대하여 프로 클래스의 확률, 아마추어 클래스의 확률 및 비 예술적 클래스의 확률을 출력한다. 그리고, 컨볼루션 신경망(230)은 출력된 각 클래스의 확률을 예술성 제어부(240)로 출력한다. The pro class probability of the picture of FIG. 4F is 95%, the amateur class probability is 5%, and the non-artistic class probability is 0%. For example, if the reference score of an artistic picture is greater than or equal to 95% of pro class, less than 5% of amateur class, and less than 0% of non-art class, the drone is illustrated in FIG. 4F. Save the photo to storage and end the process of taking art photos. As such, the convolutional neural network 230 outputs a probability of a professional class, a probability of an amateur class, and a probability of a non-artistic class with respect to the input photograph. The convolutional neural network 230 outputs the output probability of each class to the artistry control unit 240.

예술성 제어부(240)는 컨볼루션 신경망(230)에 의해 결정된 예술성 점수와 기준 점수를 비교하고, 비교 결과에 기초하여 사진이 예술적인 사진인지 결정한다. 기준 점수는 사용자에 의해 미리 설정될 수 있다. 비교 결과, 사진의 예술성 점수가 기준 점수 이상인 경우, 예술성 제어부(240)는 추출된 사진의 이미지 데이터를 스토리지(260)에 저장한다. 비교 결과, 촬영된 사진이 기준 점수 미만인 경우, 예술성 제어부(240)는 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값에 대한 보정값을 설정한다. 드론의 위치 값 및 카메라의 촬영 각도 값에 대한 보정값을 설정하는 방법에 대해서는 후술하는 도 5에 도시된 흐름도의 1600 단계에서 상세하게 설명하기로 한다. 보정된 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값을 피드백부(250)로 출력한다. The artistry controller 240 compares the artistry score determined by the convolutional neural network 230 with the reference score, and determines whether the photograph is an artistic photograph based on the comparison result. The reference score may be preset by the user. As a result of the comparison, when the artist's artistic score is equal to or greater than the reference score, the artistry controller 240 stores image data of the extracted photo in the storage 260. As a result of the comparison, when the photographed picture is less than the reference score, the artistry controller 240 sets a correction value for the position value of the drone 10 and the photographing angle value of the camera 100. A method of setting the correction value for the position value of the drone and the photographing angle value of the camera will be described in detail in step 1600 of the flowchart shown in FIG. 5. The corrected position value of the drone 10 and the photographing angle value of the camera 100 are output to the feedback unit 250.

피드백부(250)는 보정된 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값을 포함하는 피드백 신호를 생성하고, 생성된 피드백 신호를 무선 통신부(210)로 출력한다. 무선 통신부(210)는 보정된 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값을 포함하는 피드백 신호를 드론(10)으로 무선으로 송신한다. 스토리지(260)는 사진의 예술성 점수가 기준 점수 이상이면 출력된 사진의 이미지 데이터를 저장한다. The feedback unit 250 generates a feedback signal including the corrected position value of the drone 10 and the photographing angle value of the camera 100, and outputs the generated feedback signal to the wireless communication unit 210. The wireless communication unit 210 wirelessly transmits a feedback signal including the corrected position value of the drone 10 and a photographing angle value of the camera 100 to the drone 10. The storage 260 stores image data of the output photo when the artistic score of the photo is greater than or equal to the reference score.

도 5는 본 발명의 일 실시예에 따른 드론(10)을 이용한 예술사진 촬영방법의 흐름도이다. 본 실시예에 따른 드론(10)을 이용한 예술사진 촬영방법은 도 2에 도시된 드론(10) 및 원격제어서버(20) 각각에서 수행되는 다음과 같은 단계들로 구성된다. 5 is a flowchart of a method for photographing art using the drone 10 according to an embodiment of the present invention. Art photographing method using the drone 10 according to the present embodiment is composed of the following steps performed in each of the drone 10 and the remote control server 20 shown in FIG.

1100 단계에서 드론(10)은 피사체로 지정된 대상의 주변을 비행하면서 드론(10)의 카메라(100)는 사진을 촬영하고 사진의 이미지 데이터를 생성한다. 드론(10)은 촬영된 사진의 이미지 데이터를 포함하는 데이터 신호를 생성하고, 드론(10)의 무선 통신부(150)를 통하여 데이터 신호를 원격제어서버(90)로 전송한다. 드론(10)의 GPS 모듈(120)은 사진 촬영시의 드론(10)의 위치 값을 산출하고, 카메라 제어부(110)는 사진 촬영시의 카메라(100)의 촬영 각도 값을 산출한다. 드론(10)의 위치 값 및 카메라의 촬영 각도 값은 무선 통신부(150)로 출력된다. 드론(10)의 무선 통신부(150)는 데이터 신호에 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값을 포함시킨다. 추가적으로, 데이터 신호는 카메라(100)의 줌 값 및 조리개 값을 더 포함할 수 있다. In operation 1100, the drone 10 may fly around a target designated as a subject, and the camera 100 of the drone 10 may take a picture and generate image data of the picture. The drone 10 generates a data signal including image data of the photographed picture, and transmits the data signal to the remote control server 90 through the wireless communication unit 150 of the drone 10. The GPS module 120 of the drone 10 calculates a position value of the drone 10 at the time of taking a picture, and the camera controller 110 calculates a shooting angle value of the camera 100 at the time of taking a picture. The position value of the drone 10 and the photographing angle value of the camera are output to the wireless communication unit 150. The wireless communication unit 150 of the drone 10 includes the position value of the drone 10 and the photographing angle value of the camera 100 in the data signal. In addition, the data signal may further include a zoom value and an aperture value of the camera 100.

1200 단계에서, 원격제어서버(20)의 무선 통신부(210)는 드론(10)의 무선 통신부(150)로부터 전송된 데이터 신호를 수신한다. 무선 통신부(210)는 수신된 데이터 신호를 원격제어서버(20)의 신호 처리부(220)로 출력한다. 신호 처리부(220)는 무선 통신부(210)에 의해 수신된 데이터 신호에서 촬영된 사진의 이미지 데이터를 추출한다. 신호 처리부(220)는 사진의 이미지 데이터를 컨볼루션 신경망(230)에 입력하기 위하여 이미지 데이터를 변환할 수 있다. 이와 같이 추출된 이미지 데이터는 신호 처리부(220)로부터 컨볼루션 신경망(230)으로 출력된다. In operation 1200, the wireless communication unit 210 of the remote control server 20 receives a data signal transmitted from the wireless communication unit 150 of the drone 10. The wireless communication unit 210 outputs the received data signal to the signal processing unit 220 of the remote control server 20. The signal processor 220 extracts image data of the photographed picture from the data signal received by the wireless communication unit 210. The signal processor 220 may convert the image data to input the image data of the picture to the convolutional neural network 230. The extracted image data is output from the signal processor 220 to the convolutional neural network 230.

1300 단계에서, 원격제어서버(20)의 신호 처리부(220)는 원격제어서버(20)의 무선 통신부(210)에 의해 수신된 데이터 신호로부터 사진 촬영시 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값을 추출한다. 신호 처리부(220)는 이와 같이 추출된 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값을 컨볼루션 신경망(230) 및 예술성 제어부(240)로 출력한다. In step 1300, the signal processing unit 220 of the remote control server 20 is the position value of the drone 10 and the camera 100 when taking a picture from the data signal received by the wireless communication unit 210 of the remote control server 20 Extract the shooting angle value. The signal processor 220 outputs the position value of the drone 10 and the photographing angle value of the camera 100 thus extracted to the convolutional neural network 230 and the artistry controller 240.

1400 단계에서, 원격제어서버(20)의 예술성 제어부(240)는 신호 처리부(220)로부터 출력된 사진의 이미지 데이터를 원격제어서버(20)의 컨볼루션 신경망(230)에 입력하고, 컨볼루션 신경망(230)은 사진의 예술성 점수를 결정한다. 상술한 바와 같이, 사진의 예술성 점수는 컨볼루션 신경망(230)에 의해 프로 클래스의 확률, 아마추어 클래스의 확률 및/또는 비예술적 클래스의 확률로 표현된다. 컨볼루션 신경망(230)에 의해 결정된 사진의 예술성 점수는 예술성 제어부(240)로 출력된다. In operation 1400, the artistry control unit 240 of the remote control server 20 inputs the image data of the photo output from the signal processing unit 220 to the convolutional neural network 230 of the remote control server 20, the convolutional neural network 230 determines the artistic score of the picture. As described above, the artist's artistic score is represented by the convolutional neural network 230 as a pro class probability, an amateur class probability, and / or a non-artistic class probability. The artistry score of the picture determined by the convolutional neural network 230 is output to the artistry controller 240.

1500 단계에서, 원격제어서버(20)의 예술성 제어부(240)는 원격제어서버의 사용자에 의해 미리 설정된 기준 점수와 컨볼루션 신경망(230)에 의해 결정된 사진의 예술성 점수를 비교한다. 예술성 점수와 기준 점수의 비교 결과에 따라서 예술 사진인지 여부가 결정된다. 1400 단계에서 전술한 바와 같이, 사진의 예술성 점수는 프로 클래스의 확률, 아마추어 클래스의 확률 및 비예술적 클래스의 확률로 표현된다. 기준 점수 또한 프로 클래스의 확률, 아마추어 클래스의 확률 및 비예술적 클래스의 확률로 표현될 수 있다. 예술성 제어부(240)는 컨볼루션 신경망(230)에 의해 결정된 사진의 각 클래스 별 확률이 기준 점수의 각 클래스 별 기준 점수를 만족하는지를 비교한다. 기준 점수는 각 클래스의 기준 상위 확률 또는 기준 하위 확률로 표현될 수 있다. 예를 들어, 기준 점수는 프로 클래스위 확률이 95% 이상이고, 아마추어 클래스외 확률이 5% 이하이고, 비예술적 클래스의 확률이 0%으로 표현될 수 있다. 이러한 예시에서, 예술성 제어부(240)는 촬영된 사진의 프로 클래스의 확률이 95% 이상이고, 아마추어 클래스 확률이 5% 이하이고, 비예술적 클래스의 확률이 0%인 경우 사진의 예술성 점수가 기준 점수 이상이라고 결정한다.In operation 1500, the artistry control unit 240 of the remote control server 20 compares the artist score of the picture determined by the convolutional neural network 230 with a reference score preset by the user of the remote control server. The result of the comparison between the artistry score and the reference score determines whether or not it is an art picture. As described above in step 1400, the artistic score of the photograph is expressed as a probability of a professional class, a probability of an amateur class, and a probability of a non-artistic class. The reference score can also be expressed in terms of probability of professional class, probability of amateur class and probability of non-artistic class. The artistry controller 240 compares whether the probability of each class of the picture determined by the convolutional neural network 230 satisfies the reference score for each class of the reference score. The reference score may be expressed as a reference high probability or a reference low probability of each class. For example, the reference score may be expressed as 95% or more probability of professional class, 5% or less probability of amateur class, and 0% probability of non-artistic class. In this example, the artistry control unit 240 has the artistic score of the photograph when the pro class probability of the photographed photograph is 95% or more, the amateur class probability is 5% or less, and the probability of the non-artistic class is 0%. It is decided that it is abnormal.

예술성 점수와 기준 점수의 비교 결과에 따라서 예술사진인지 여부가 결정된다. 컨볼루션 신경망(230)에 의해 결정된 사진의 예술성 점수가 기준 점수 이상이면, 예술사진으로 결정된다. 사진의 예술성 점수가 기준 점수 이상이면, 즉 촬영된 사진이 예술사진으로 결정되면, 드론(10)은 예술사진 촬영이라는 예술사진 촬영방법의 목적을 달성하였으므로, 촬영된 사진을 스토리지에 저장하고 예술사진 촬영방법의 수행을 종료한다. 사진의 예술성 점수가 기준 점수 미만이면, 드론(10)은 예술사진 촬영이라는 예술사진 촬영방법의 목적을 달성하지 못 하였으므로, 새로운 사진을 촬영해야 한다. 다시 말해, 1500 단계의 비교 결과에 따라 1600 단계로 진행하거나1900 단계로 진행한다. The result of the comparison between the artistry score and the reference score determines whether it is an art picture. If the artistry score of the picture determined by the convolutional neural network 230 is equal to or greater than the reference score, it is determined to be an art picture. If the artistic score of the photograph is equal to or higher than the reference score, that is, the photographed photograph is determined to be an art photograph, the drone 10 has achieved the purpose of the art photographing method of art photography, so that the photographed photograph is stored in storage and the art photograph is stored. The execution of the shooting method is finished. If the artist's artistic score of the photograph is less than the reference score, the drone 10 has not achieved the purpose of the art photography method of art photography, it is necessary to take a new picture. In other words, the process proceeds to step 1600 or 1900 according to the comparison result of step 1500.

1600 단계에서, 원격제어서버(20)의 예술성 제어부(240)는 사진의 예술성 점수가 기준 점수 미만이면 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값을 보정한다. 현재 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값으로 촬영된 사진이 기준 점수를 만족하지 못하므로, 기준 점수를 만족하는 예술성 점수를 갖는 사진을 촬영하기 위하여 예술성 제어부(240)는 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값을 보정한다. 예술성 제어부(240)는 사진의 예술성 점수의 변화 추이에 대한 드론 위치의 변화 패턴 및 카메라 촬영 각도의 변화 패턴에 기초하여 사진의 예술성 점수가 상승되는 방향으로 드론(10)의 위치 값과 카메라(100)의 촬영 각도 값의 보정 값을 설정한다.In operation 1600, the artistry controller 240 of the remote control server 20 corrects the position value of the drone 10 and the photographing angle value of the camera 100 when the artistry score of the photograph is less than the reference score. Since the photograph taken by the current position value of the drone 10 and the photographing angle value of the camera 100 does not satisfy the reference score, the artistry control unit 240 to take a photo having an artist score that satisfies the reference score The position value of the drone 10 and the photographing angle value of the camera 100 are corrected. The artistry control unit 240 is a position value of the drone 10 and the camera 100 in a direction in which the artist's score of the photograph is increased based on the pattern of change of the drone position and the pattern of change of the camera shooting angle with respect to the change of the artist's score of the photograph. Set the correction value of the shooting angle value.

드론(10)은 촬영된 사진의 예술성 점수가 기준 점수 이상이 될 때까지 예술사진 촬영방법의 각 단계들(1100, 1200, 1300, 1400, 1500, 1600, 1700, 1800, 1900)을 반복적으로 수행하면서, 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값에서 촬영된 다수의 사진에 대한 각각의 예술성 점수를 스토리지(260)에 저장한다. 원격제어서버(20)의 예술성 제어부(240)는 스토리지(260)에 저장된 각 위치 값 및 촬영 각도 값에 따른 예술성 점수에 기초하여, 사진의 예술성 점수 변화 추이에 대한 드론(10)의 위치 변화 패턴 및 카메라(100)의 촬영 각도 변화 패턴을 산출할 수 있다. 예를 들어, 드론(10)은 제 1 위치 값 및 제 1 촬영 각도 값에서 제 1 사진을 촬영하고, 그 후 드론(10)은 제 2 위치 값으로 이동하고 카메라 촬영 각도 값을 제 2 촬영 각도 값으로 조정하여 제 2 사진을 촬영하고, 이러한 과정을 n 번 반복한다고 가정한다. 이 때, 원격제어서버(20)의 예술성 제어부(240)는 제 1 위치 값, 제 2 위치 값, ..., 제 n 위치 값 및 각 위치 값의 예술성 점수에 기초하여, 예술성 점수의 변화 추이에 대한 드론(10)의 위치 변화 패턴을 산출할 수 있다. 마찬가지로, 예술성 제어부(240)는 제 1 촬영 각도 값, 제 2 촬영 각도 값, ..., 제 n 촬영 각도 값 및 각 촬영 각도 값의 예술성 점수에 기초하여, 예술성 점수의 변화 추이에 대한 드론(10)의 촬영 각도 변화 패턴을 산출할 수 있다. The drone 10 repeatedly performs each step (1100, 1200, 1300, 1400, 1500, 1600, 1700, 1800, 1900) of the art photography method until the artistic score of the photographed photograph is equal to or higher than the reference score. In doing so, each artist score for the plurality of pictures taken at the position value of the drone 10 and the photographing angle value of the camera 100 is stored in the storage 260. The artistry control unit 240 of the remote control server 20 is a position change pattern of the drone 10 for the trend of the artist score change of the picture based on the artistry score according to each position value and the shooting angle value stored in the storage 260. And a photographing angle change pattern of the camera 100. For example, the drone 10 takes a first picture at the first position value and the first photographing angle value, and then the drone 10 moves to the second position value and the camera photographing angle value is the second photographing angle. Assume that the second picture is taken by adjusting the value, and the process is repeated n times. At this time, the artistry control unit 240 of the remote control server 20 is based on the first position value, the second position value, ..., the n-th position value and the artistic score of each position value, the trend of the change of artistry score The change pattern of the position of the drone 10 with respect to may be calculated. Similarly, the artistry control unit 240 is based on the drone for the trend of the change of artistry score based on the first shooting angle value, the second shooting angle value, ..., the n-th shooting angle value and the artistry score of each shooting angle value. 10) can calculate the shooting angle change pattern.

그리고, 예술성 제어부(240)는 결정된 예술성 점수 변화 추이에 대한 드론(10)의 위치 변화 패턴 및 카메라(100)의 촬영 각도 변화 패턴에 기초하여, 예술성 점수가 상승되는 방향으로 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값을 보정한다. 예를 들어, 제 1 사진의 예술성 점수가 제 2 사진의 예술성 점수보다 높을 경우, 드론(10)이 제 1 위치에서 제 2 위치를 향하는 방향으로 드론(10)의 위치를 이동하고, 카메라(100)의 촬영 각도도 제 1 촬영 각도에서 제 2 촬영 각도를 향하는 방향으로 조절하는 것이 예술성 점수를 상승시키는 방향일 수 있다. 반대로, 제 1 사진의 예술성 점수가 제 2 사진의 예술성 점수보다 낮을 경우, 드론(10)이 제 1 위치에서 제 2 위치를 향하는 방향과 정반대 방향으로 이동하고, 카메라(100)의 촬영 각도도 제 1 촬영 간도에서 제 2 촬영 각도를 향하는 방향과 정반대 방향으로 카메라(100)의 촬영 각도를 조절하는 것이 예술성 점수를 상승시키는 방향일 수 있다. In addition, the artist control unit 240 may position the drone 10 in a direction in which the artistry score is increased based on the position change pattern of the drone 10 and the photographing angle change pattern of the camera 100 with respect to the determined artist score change trend. Value and the photographing angle value of the camera 100 are corrected. For example, when the artistic score of the first picture is higher than the artistic score of the second picture, the drone 10 moves the position of the drone 10 in a direction from the first position to the second position, and the camera 100 Adjusting the photographing angle of) in the direction from the first photographing angle to the second photographing angle may be a direction of increasing the artistry score. On the contrary, if the artistry score of the first picture is lower than the artistry score of the second picture, the drone 10 moves in the direction opposite to the direction from the first position to the second position, and the shooting angle of the camera 100 is also lowered. Adjusting the photographing angle of the camera 100 in a direction opposite to the direction of the second photographing angle in the first photographing interval may be a direction for increasing the artistry score.

보다 구체적으로, 제 2 위치 값 및 제 2 촬영 각도 값에서 촬영한 제 2 사진의 예술성 점수가 제 1 위치 값 및 제 1 촬영 각도 값에서 촬영한 제 1 사진의 예술성 점수보다 단위 변화량 이상으로 높은 경우, 예술성 제어부(240)에 의해 결정되는 드론(10)의 위치 보정 값은 제 1 위치 값에서 제 2 위치 값으로의 위치 변화의 순방향에 해당하는 방향, 및 제 1 사진의 예술성 점수와 제 2 사진의 예술성 점수의 차이에 비례하는 크기를 갖는 변위를 갖는다. 또한, 카메라(100)의 촬영 각도 보정 값은 제 1 촬영 각도 값과 제 2 촬영 각도 값으로의 각도 변화의 순방향에 해당하는 방향, 및 제 1 사진의 예술성 점수와 제 2 사진의 예술성 점수의 차이에 비례하는 크기를 갖는 변위를 갖는다.More specifically, when the artistry score of the second photograph taken at the second position value and the second photographing angle value is higher than the artistry score of the first photograph photographed at the first position value and the first photographing angle value, the unit change amount is higher than the artistry score. The position correction value of the drone 10 determined by the artistry control unit 240 may correspond to a direction corresponding to the forward direction of the position change from the first position value to the second position value, and the artistry score of the first photograph and the second photograph. Has a displacement with a magnitude proportional to the difference in the artist's score. In addition, the photographing angle correction value of the camera 100 is a direction corresponding to the forward direction of the angle change to the first photographing angle value and the second photographing angle value, and the difference between the artistic score of the first picture and the artistic score of the second picture. Has a displacement with a magnitude proportional to.

제 2 위치 값 및 제 2 촬영 각도 값에서 촬영한 제 2 사진의 예술성 점수가 제 1 위치 값 및 제 1 촬영 각도 값에서 촬영한 제 1 사진의 예술성 점수보다 단위변화량 이상으로 낮은 경우, 예술성 제어부(240)에 의해 결정되는 드론(10)의 위치 보정 값은 제 1 위치 값에서 제 2 위치 값으로의 위치 변화의 역방향에 해당하는 방향, 및 제 1 사진의 예술성 점수와 제 2 사진의 예술성 점수의 차이에 비례하는 크기를 갖는 변위를 갖는다. 또한, 카메라(100)의 촬영 각도 보정 값은 제 1 촬영 각도 값과 제 2 촬영 각도 값으로의 각도 변화의 역방향에 해당하는 방향, 및 제 1 사진의 예술성 점수와 제 2 사진의 예술성 점수의 차이에 비례하는 크기를 갖는 변위를 갖는다.When the artistry score of the second photograph taken at the second position value and the second photographing angle value is lower than the artistry score of the first photograph photographed at the first position value and the first photographing angle value, the artistry control unit ( The position correction value of the drone 10 determined by 240 is a direction corresponding to the reverse direction of the change of the position from the first position value to the second position value, and the artistic score of the first photograph and the artistic score of the second photograph. Have a displacement with a magnitude proportional to the difference. In addition, the photographing angle correction value of the camera 100 is a direction corresponding to the reverse direction of the change of angle between the first photographing angle value and the second photographing angle value, and the difference between the artistic score of the first picture and the artistic score of the second picture. Has a displacement with a magnitude proportional to.

만약, 제 1 사진의 예술성 점수와 제 2 사진의 예술성 점수의 차이가 단위 변화량 미만이면, 예술성 제어부(240)는 드론(10)의 위치 보정 값 및 카메라(100)의 촬영 각도 보정 값을 랜덤하게 설정한다. 제 1 사진의 예술성 점수와 제 2 사진의 예술성 점수의 차이가 단위 변화량 보다 작은 경우, 제 1 사진의 예술성 점수와 제 2 사진의 예술성 점수의 차이가 미미하여 예술성 점수 변화 패턴의 방향성이 있다고 보기 어렵다. 따라서, 예술성 점수 변화 패턴의 방향성을 형성하기 위하여, 드론(10)의 위치 보정 값 및 카메라(100)의 촬영 각도 보정 값을 임의의 보정 값으로 랜덤하게 설정한다.If the difference between the artistry score of the first picture and the artistry score of the second picture is less than a unit change amount, the artistry control unit 240 randomly determines the position correction value of the drone 10 and the photographing angle correction value of the camera 100. Set it. When the difference between the artistry score of the first picture and the artistry score of the second picture is smaller than the unit change amount, it is difficult to see the direction of the artistry score change pattern because the difference between the artistry score of the first picture and the artistry score of the second picture is insignificant. Therefore, in order to form the directionality of the artistic score change pattern, the position correction value of the drone 10 and the photographing angle correction value of the camera 100 are randomly set to an arbitrary correction value.

예술성 제어부(240)가 드론(10)의 위치 보정 값 및 카메라(100)의 촬영 각도 보정 값을 결정할 때, 이전에 촬영된 사진에 대한 예술성 점수, 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값이 존재하지 않는 경우에도, 예술성 제어부(240)는 드론(10)의 위치 보정 값 및 카메라(100)의 촬영 각도 보정 값을 랜덤하게 임의의 보정 값으로 설정한다. 추가적으로, 예술성 제어부(240)는 예술성 점수의 변화 추이에 대한 카메라의 줌 변화 패턴 및 조리개 변화 패턴을 산출할 수 있다. 예술성 제어부(240)는 산출된 카메라의 줌 변화 패턴 및 조리개 변화 패턴에 기초하여, 사진의 예술성 점수가 상승되는 방향으로 카메라의 줌 값 및 조리개 값을 보정할 수 있다. When the artistry controller 240 determines the position correction value of the drone 10 and the photographing angle correction value of the camera 100, the artistry score for the previously photographed picture, the position value of the drone 10, and the camera 100. Even if the photographing angle value does not exist, the artistry controller 240 randomly sets the position correction value of the drone 10 and the photographing angle correction value of the camera 100 to an arbitrary correction value. In addition, the artist control unit 240 may calculate the zoom change pattern and the aperture change pattern of the camera with respect to the change of the artist score. The artistry controller 240 may correct the zoom value and the aperture value of the camera in a direction in which the artist's artist score is increased based on the calculated zoom change pattern and the aperture change pattern of the camera.

예술성 제어부(240)는 촬영시 드론(10)의 위치 값에 드론(10)의 위치 보정 값을 합산하여 보정된 드론(10)의 위치 값을 산출하고, 촬영시 카메라(100)의 촬영 각도 값에 카메라(100)의 촬영 각도 보정 값을 합산하여 보정된 카메라(100)의 촬영 각도 값을 산출한다. 그리고, 예술성 제어부(240)는 산출된 보정된 드론(10)의 위치 값 및 카메라의 촬영 각도 값을 피드백부(250)로 출력한다. The artistry control unit 240 calculates the position value of the corrected drone 10 by adding the position correction value of the drone 10 to the position value of the drone 10 at the time of shooting, and the photographing angle value of the camera 100 at the time of shooting. The photographing angle correction value of the camera 100 is calculated by summing the photographing angle correction values of the camera 100. The artistry controller 240 outputs the calculated position value of the drone 10 and the photographing angle value of the camera to the feedback unit 250.

도 6은 본 발명의 일 실시예에 따른 드론(10)에 의해 촬영된 각 사진을 도시한 도면이다. 도 6의 601은 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값을 보정하기 전에 촬영된 사진이며, 도 6의 602는 드론(10)의 보정된 위치 값 및 카메라(100)의 보정된 촬영 각도 값으로 촬영된 사진이다. 601과 602의 사진을 비교하면, 보정 전 드론(10)의 위치 값 및 카메라의 촬영 각도 값으로 촬영된 사진(601)은 피사체인 자동차의 일부만이 사진에 포함되어 있으나, 보정된 드론(10)의 위치 값 및 카메라의 촬영 각도 값으로 찰영된 사진(602)은 자동차의 전부가 사진에 포함되어 있다. 피사체의 일부만이 사진에 포함된 경우 예술 사진이 아니므로, 피사체의 전부가 사진에 포함되도록 사진을 재촬영할 필요가 있다. 601의 사진을 촬영한 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값이 제 1 위치 값 및 제 1 촬영 각도 값이라 가정하고, 602의 사진을 촬영한 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값을 제 2 위치 값 및 제 2 촬영 각도 값이라 가정한다. 6 is a view showing each picture taken by the drone 10 according to an embodiment of the present invention. 6 is a photograph taken before the position value of the drone 10 and the photographing angle value of the camera 100 are corrected, and 602 of FIG. 6 is a corrected position value of the drone 10 and the camera 100. The picture was taken at the corrected shooting angle value. When the photographs of 601 and 602 are compared, the photograph 601 photographed using the position value of the drone 10 before the correction and the photographing angle value of the camera includes only a part of the vehicle as the subject, but the corrected drone 10 The photograph 602 taken with the position value of the camera and the photographing angle value of the camera includes the entire vehicle in the photograph. If only a part of the subject is included in the picture, it is not an art picture, so it is necessary to retake the picture so that all of the subject is included in the picture. Assuming that the position value of the drone 10 taking a picture of 601 and the photographing angle value of the camera 100 are the first position value and the first photographing angle value, the position value of the drone 10 for taking a picture of 602. And a photographing angle value of the camera 100 as a second position value and a second photographing angle value.

601의 사진을 참고하면, 사진(601)에 자동차의 앞부분만이 포함되어 있으므로, 자동차의 전부를 사진에 포함시키기 위하여 드론(10)의 위치 값은 자동차와 대향하는 방향, 즉 자동차와 멀어지는 방향이 예술성 점수가 상승되는 방향이다. 또한, 카메라(100)의 촬영 각도는 상향되는 방향이 예술성 점수가 상승되는 방향이다. 이러한 방향성은 전술한 바와 같이, 예술성 점수 변화 추이에 대한 드론(10)의 위치 변화 패턴 및 카메라(100)의 촬영 각도 변화 패턴에 기초하여 결정된다. 원격제어서버의 예술성 제어부(240)는 상술한 방향을 갖도록 드론(10)의 위치 및 카메라(100)의 촬영 각도를 보정한다. Referring to the picture of 601, since the picture 601 includes only the front part of the car, the position value of the drone 10 is in a direction facing the car, that is, away from the car in order to include the whole car in the picture. The artist's score is rising. In addition, the shooting angle of the camera 100 is a direction in which the artistry score is increased in the upward direction. This direction is determined based on the position change pattern of the drone 10 and the photographing angle change pattern of the camera 100 with respect to the trend of changing the artist score as described above. The artistry control unit 240 of the remote control server corrects the position of the drone 10 and the photographing angle of the camera 100 to have the above-described direction.

상술한 방식으로 원격제어서버의 예술성 제어부(240)가 드론(10)의 제 1 위치 값 및 카메라(100)의 제 1 촬영 각도 값에 대한 위치 보정 값과 촬영 각도 보정 값을 설정한다. 드론(10)의 제 2 위치 값은 드론(10)의 제 1 위치 값에 위치 보정 값이 반영된 값이며, 제 2 촬영 각도 값은 제 1 촬영 각도 값에 촬영 각도 보정 값이 반영된 값이다. 드론(10)은 비행 제어부(160)를 통하여 비행부(170)를 제어하여 새로운 드론(10)의 위치인 제 2 위치 값으로 이동하고, 카메라 제어부(110)를 통하여 카메라(100)의 촬영 각도를 새로운 카메라의 촬영 각도인 제 2 촬영 각도 값으로 조정한다. 그 후 드론(10)은 제 2 위치 값 및 제 2 촬영 각도 값으로 자동차를 촬영한다. 602의 사진을 참고하면, 드론(10)의 제 2 위치 값 및 제 2 촬영 각도 값으로 촬영된 사진(602)에는 자동차의 전부가 포함되어 있다. In the manner described above, the artistry control unit 240 of the remote control server sets the position correction value and the photographing angle correction value for the first position value of the drone 10 and the first photographing angle value of the camera 100. The second position value of the drone 10 is a value in which the position correction value is reflected in the first position value of the drone 10, and the second photographing angle value is a value in which the photographing angle correction value is reflected in the first photographing angle value. The drone 10 controls the flight unit 170 through the flight control unit 160 to move to the second position value, which is the position of the new drone 10, and the photographing angle of the camera 100 through the camera control unit 110. To a second shooting angle value, which is the shooting angle of the new camera. The drone 10 then photographs the vehicle with the second position value and the second photographing angle value. Referring to the photograph of 602, the photograph 602 photographed at the second position value and the second photographing angle value of the drone 10 includes the entire vehicle.

1700 단계에서, 원격제어서버(20)의 피드백부(250)는 보정된 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값을 포함하는 피드백 신호를 생성한다. 그리고, 피드백부(250)는 생성된 피드백 신호를 무선 통신부(210)로 출력하고, 무선 통신부(210)는 피드백 신호를 드론(10)으로 무선으로 전송한다. In operation 1700, the feedback unit 250 of the remote control server 20 generates a feedback signal including the corrected position value of the drone 10 and a photographing angle value of the camera 100. The feedback unit 250 outputs the generated feedback signal to the wireless communication unit 210, and the wireless communication unit 210 wirelessly transmits the feedback signal to the drone 10.

1800 단계에서, 드론(10)의 무선 통신부(150)는 원격제어서버(90)로부터 전송된 피드백 신호를 수신한다. 피드백 신호는 보정된 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값을 포함하고 있다. 드론(10)의 비행 제어부(130)는 보정된 드론(10)의 위치 값으로 드론(10)을 이동시키도록 비행부(140)를 제어한다. 카메라 제어부(110)는 보정된 카메라(100)의 촬영 각도 값으로 카메라(100)의 촬영 각도를 조절한다. In operation 1800, the wireless communication unit 150 of the drone 10 receives a feedback signal transmitted from the remote control server 90. The feedback signal includes the corrected position value of the drone 10 and a photographing angle value of the camera 100. The flight controller 130 of the drone 10 controls the flight unit 140 to move the drone 10 to the corrected position value of the drone 10. The camera controller 110 adjusts the photographing angle of the camera 100 using the corrected photographing angle value of the camera 100.

그리고, 드론(10)은 보정된 드론(10)의 위치 값 및 카메라(100)의 촬영 각도 값으로 사진을 다시 촬영하고, 예술사진 촬영방법의 각 단계들(1100, 1200, 1300, 1400, 1500, 1600, 1700, 1800, 1900)을 다시 수행한다. Then, the drone 10 retakes the picture with the corrected position value of the drone 10 and the photographing angle value of the camera 100, and each step 1100, 1200, 1300, 1400, 1500 of the art photographing method. , 1600, 1700, 1800, 1900).

1900 단계에서, 촬영된 사진의 예술성 점수가 미리 설정된 기준 점수 이상이면 예술성 제어부(240)는 추출된 사진의 이미지 데이터를 스토리지(260)에 저장한다. 또한, 드론(10) 및 원격제어서버(20)는 카메라(100)에 의해 촬영된 사진에 대한 예술성 점수가 기준 점수 이상이 될 때까지 예술사진 촬영방법의 각 단계들(1100, 1200, 1300, 1400, 1500, 1600, 1700, 1800, 1900)을 반복적으로 수행한다. 기준 점수가 프로 클래스의 기준 상위 확률, 아마추어 클래스의 기준 하위 확률 및 비예술적 클래스의 제로 확률로 표현될 경우, 예술성 제어부(240)는 컨볼루션 신경망(230)에 의해 출력된 사진의 프로 클래스의 확률이 기준 상위 확률 이상이고, 아마추어 클래스의 확률이 기준 하위 확률 이하이고, 비예술적 클래스의 확률이 0이면, 추출된 사진의 위미지 데이터를 스토리지(260)에 저장한다. 원격제어서버(20)는 스토리지(260)에 저장된 사진을 디스플레이패널 등과 같은 영상출력장치를 통하여 사용자에게 제공할 수 있다. 드론(10) 및 원격제어서버(20)는 컨볼루션 신경망(230)에 의해 출력된 사진의 프로 클래스의 확률이 기준 상위 확률 이상으로 상승되고, 아마추어 클래스의 확률이 기준 하위 확률 이하로 하강되고, 비예술적 클래스의 확률이 0이 될 때까지 각 단계들(1100, 1200, 1300, 1400, 1500, 1600, 1700, 1800, 1900)을 반복적으로 수행한다.In operation 1900, if the artistry score of the taken picture is equal to or greater than a preset reference score, the artistry controller 240 stores image data of the extracted picture in the storage 260. In addition, the drone 10 and the remote control server 20 steps (1100, 1200, 1300, each step of the art photography method until the artist's score for the picture taken by the camera 100 or more than the reference score) 1400, 1500, 1600, 1700, 1800, 1900) are repeatedly performed. When the reference score is expressed as the reference upper probability of the pro class, the reference lower probability of the amateur class, and the zero probability of the non-artistic class, the artistry control unit 240 determines the pro class probability of the picture output by the convolutional neural network 230. If the probability is greater than the reference upper probability, the probability of the amateur class is less than the reference lower probability, and the probability of the non-artistic class is 0, the location data of the extracted photo is stored in the storage 260. The remote control server 20 may provide a user with a picture stored in the storage 260 through an image output device such as a display panel. The drone 10 and the remote control server 20 increase the probability of the professional class of the picture output by the convolutional neural network 230 above the reference upper probability, the probability of the amateur class drops below the reference lower probability, Each step (1100, 1200, 1300, 1400, 1500, 1600, 1700, 1800, 1900) is repeatedly performed until the probability of the non-artistic class becomes zero.

도 7은 본 발명의 일 실시예에 따른 드론(70)을 이용한 예술사진 촬영방법의 수행 예를 나타내는 도면이다. 도 7을 참조하면, 드론(70)은 공중에서 비행 중에 사진을 촬영하고, 컨볼루션 신경망(740)에 의해 결정된 사진의 예술성 점수가 기준 점수 미만인 경우 드론(70)은 드론(70)의 위치 및 카메라(700)의 촬영 각도를 보정하여 다시 사진을 촬영한다.7 is a view showing an example of performing an art photographing method using a drone 70 according to an embodiment of the present invention. Referring to FIG. 7, the drone 70 takes a picture in flight in the air, and when the artistic score of the picture determined by the convolutional neural network 740 is less than the reference score, the drone 70 determines the position of the drone 70 and Photographs are taken again by correcting the photographing angle of the camera 700.

도 8은 도 7에 도시된 드론(70)의 구성도이다. 도 7을 참조하면, 드론(70)은 카메라(700), 카메라 제어부(710), GPS(Global Positioning System) 모듈(720), 데이터 변환부(730), 컨볼루션 신경망(740), 예술성 제어부(750), 비행 제어부(760), 비행부(770), 스토리지(780) 및 배터리(790)로 구성된다. 카메라(700)는 영상 또는 사진을 촬영하고, 촬영된 영상 또는 사진의 이미지 데이터를 입력 처리부(730)로 전송한다. 카메라 제어부(710)는 카메라(700)의 촬영 각도를 조절한다. GPS 모듈(720)은 GPS 위성으로부터 GPS 신호를 수신하고 수신된 GPS 신호로부터 드론(70)의 현재 위치 값(예를 들어, XYZ 좌표값)를 획득한다. GPS 모듈(720)은 카메라(700)에 의해 사진이 촬영된 시점에서의 드론(70)의 위치 값을 획득할 수 있다. 카메라(700), 카메라 제어부(710) 및 GPS 모듈(720)들의 자세한 설명은 도 2에 도시된 실시예와 동일하므로 이것들에 대한 설명은 도 2에 도시된 실시예에 대한 설명으로 갈음하기로 한다.FIG. 8 is a configuration diagram of the drone 70 shown in FIG. 7. Referring to FIG. 7, the drone 70 includes a camera 700, a camera controller 710, a global positioning system (GPS) module 720, a data converter 730, a convolutional neural network 740, and an artistry controller ( 750, a flight controller 760, a flight 770, a storage 780, and a battery 790. The camera 700 captures an image or a photo and transmits the image data of the captured image or photo to the input processor 730. The camera controller 710 adjusts the photographing angle of the camera 700. The GPS module 720 receives a GPS signal from a GPS satellite and obtains a current position value (eg, XYZ coordinate value) of the drone 70 from the received GPS signal. The GPS module 720 may acquire a position value of the drone 70 at the time when the picture is taken by the camera 700. Detailed descriptions of the camera 700, the camera controller 710, and the GPS module 720 are the same as those of the embodiment illustrated in FIG. 2, and thus description thereof will be replaced with the description of the embodiment illustrated in FIG. 2. .

데이터 변환부(730)는 카메라(700)로부터 촬영된 사진의 이미지 데이터를, 카메라 제어부(710)로부터 카메라 촬영 각도 값을 그리고 GPS 모듈(720)로부터 사진 촬영시 드론의 위치 값을 수신한다. 데이터 변환부(730)는 카메라(700)에 의해 촬영된 사진을 컨볼루션 신경망(740)에서 요구하는 크기의 이미지 데이터로 변환한다. 예를 들어, 데이터 변환부(730)는 촬영된 사진을 289×289 픽셀(pixel) 및 RGB 채널의 이미지 데이터로 변환하고, 컨볼루션 신경망(740)에 입력한다. The data converter 730 receives image data of a photograph taken from the camera 700, a camera photographing angle value from the camera controller 710, and a position value of the drone when photographing from the GPS module 720. The data converter 730 converts the photograph taken by the camera 700 into image data having a size required by the convolutional neural network 740. For example, the data converter 730 converts the captured picture into image data of 289 × 289 pixels and an RGB channel, and inputs it to the convolutional neural network 740.

컨볼루션 신경망(740)은 입력된 사진의 이미지 데이터에 대한 예술성 점수를 결정한다. 보다 구체적으로, 컨볼루션 신경망(740)은 입력된 사진에 대하여 프로 클래스의 확률, 아마추어 클래스의 확률 및 비예술적 클래스의 확률을 출력한다. 그리고, 컨볼루션 신경망(140)은 출력된 각 클래스의 확률을 예술성 제어부(750)로 제공한다. 컨볼루션 신경망(740)의 자세한 설명은 도 2에 도시된 실시예와 동일하므로 이것들에 대한 설명은 도 2에 도시된 실시예에 대한 설명으로 갈음하기로 한다. Convolutional neural network 740 determines the artistry score for the image data of the input picture. More specifically, the convolutional neural network 740 outputs a pro class probability, an amateur class probability, and a non-artistic class probability with respect to the input photograph. In addition, the convolutional neural network 140 provides the output probability of each class to the artistry controller 750. Since the detailed description of the convolutional neural network 740 is the same as the embodiment shown in FIG. 2, the description thereof will be replaced with the description of the embodiment shown in FIG. 2.

예술성 제어부(750)는 결정된 예술성 점수와 미리 정의된 기준 점수를 비교하고, 비교 결과에 기초하여 촬영된 사진이 예술 사진인지 결정한다. 예를 들어, 예술성 제어부(750)는 사진의 프로 클래스의 확률이 95% 이상이고, 아마추어 클래스의 확률이 5% 이하이고, 비 예술적 클래스의 확률이 0%인 경우 예술적인 사진이라고 결정한다. 비교 결과, 촬영된 사진이 기준 점수 이상인 경우, 예술성 제어부(750)는 촬영된 사진의 이미지 데이터를 스토리지(780)에 저장한다. 비교 결과, 촬영된 사진이 기준 점수 미만인 경우, 예술성 제어부(750)는 드론(70)의 위치 값 및 카메라(700)의 촬영 각도 값을 보정하고, 보정된 드론(70)의 위치 값을 비행 제어부(770)로 출력하고, 보정된 카메라(700)의 촬영 각도 값을 카메라 제어부(710)로 출력한다. 컨볼루션 신경망(740)의 자세한 설명은 도 2에 도시된 실시예와 동일하므로 이것들에 대한 설명은 도 2에 도시된 실시예에 대한 설명으로 갈음하기로 한다. The artistry controller 750 compares the determined artistry score with a predefined reference score and determines whether the photographed picture is an art picture based on the comparison result. For example, the artist control unit 750 determines that the pro class of the photograph is 95% or more, the amateur class is 5% or less, and the non-artistic class is 0%. As a result of the comparison, when the photographed picture is equal to or greater than the reference score, the artistry controller 750 stores the image data of the photographed picture in the storage 780. As a result of the comparison, when the photographed picture is less than the reference score, the artistry controller 750 corrects the position value of the drone 70 and the photographing angle value of the camera 700, and adjusts the position value of the corrected drone 70 to the flight controller. The controller 710 outputs the corrected photographing angle value of the camera 700 to the camera controller 710. Since the detailed description of the convolutional neural network 740 is the same as the embodiment shown in FIG. 2, the description thereof will be replaced with the description of the embodiment shown in FIG. 2.

비행 제어부(760)는 드론(70)의 비행부(770)를 제어하여 드론(70)의 비행 동작을 제어한다. 비행부(770)는 네 개의 모터와 이것에 일대일로 직결된 네 개의 프로펠러로 구성되며 네 개의 프로펠러를 사용하여 비행한다. 비행부(140)는 여섯 개의 모터와 여섯 개의 프로펠러로 구성될 수도 있다. 비행 제어부(760)는 예술성 제어부(750)에 의해 산출된 드론(70)의 위치 값에 기초하여, 드론(70)의 비행 동작을 제어한다. 보다 구체적으로, 비행 제어부(760)는 드론(70)의 위치 값에 따라 비행부(770)의 네 개의 모터 각각의 회전수를 제어하는 방식으로 네 개의 프로펠러의 회전수를 제어함으로써 드론(70)의 위치를 이동시키거나 드론(70)의 공중 자세를 제어한다. The flight controller 760 controls the flight operation of the drone 70 by controlling the flight unit 770 of the drone 70. The flight unit 770 is composed of four motors and four propellers directly connected to one-to-one and fly using four propellers. The flight unit 140 may be composed of six motors and six propellers. The flight controller 760 controls the flight operation of the drone 70 based on the position value of the drone 70 calculated by the artistry controller 750. More specifically, the flight controller 760 controls the number of revolutions of the four propellers in a manner to control the number of revolutions of each of the four motors of the flight unit 770 according to the position value of the drone 70. Move the position of or control the aerial attitude of the drone 70.

스토리지(780)에는 사진의 이미지 데이터가 저장된다. 배터리(790)는 드론(70) 및 드론(70)에 장착된 카메라에 전력을 공급한다. The storage 780 stores image data of a photo. The battery 790 supplies power to the drone 70 and the camera mounted on the drone 70.

도 9는 본 발명의 일 실시예에 따른 드론(70)을 이용한 예술사진 촬영방법의 흐름도이다. 도 9를 참조하면, 본 실시예에 따른 드론(70)을 이용한 예술사진 촬영방법은 도 7에 도시된 드론(70)에서 시계열적으로 처리되는 단계들로 구성된다. 또한, 본 실시예에 따른 드론(70)을 이용한 예술사진 촬영 방법은 다음과 같은 단계들로 구성된다.9 is a flowchart of a method for photographing art using the drone 70 according to an embodiment of the present invention. Referring to FIG. 9, the art photographing method using the drone 70 according to the present exemplary embodiment includes steps that are processed in time series in the drone 70 illustrated in FIG. 7. In addition, the art photographing method using the drone 70 according to the present embodiment is composed of the following steps.

910 단계에서, 드론(70)은 피사체로 지정된 대상 주변을 비행하고 드론(70)의 카메라(700)는 사진을 촬영하고, 촬영된 사진의 이미지 데이터를 획득한다. 획득된 이미지 데이터는 데이터 변환부(730)로 출력된다. In operation 910, the drone 70 may fly around a target designated as a subject, and the camera 700 of the drone 70 may take a picture and acquire image data of the taken picture. The obtained image data is output to the data converter 730.

920 단계에서, 드론(70)의 데이터 변환부(730)는 드론(70)의 카메라(700)가 피사체를 촬영한 시점에서의 드론(70)의 GPS 모듈(720)에서 산출된 위치 값을 획득하고, 카메라 제어부(710)로부터 피사체를 촬영한 카메라(700)의 촬영 각도 값을 획득한다. 데이터 변환부(730)는 획득된 촬영된 시점의 드론(70)의 위치 값 및 카메라(700)의 촬영 각도 값을 컨볼루션 신경망(140) 및 예술성 제어부(750)로 출력한다. In operation 920, the data converter 730 of the drone 70 acquires the position value calculated by the GPS module 720 of the drone 70 when the camera 700 of the drone 70 photographs the subject. Then, the photographing angle value of the camera 700 photographing the subject is obtained from the camera controller 710. The data converter 730 outputs the acquired position value of the drone 70 and the photographing angle value of the camera 700 to the convolutional neural network 140 and the artistry controller 750.

930 단계에서, 데이터 변환부(730)는 사진의 이미지 데이터를 드론(70)의 컨볼루션 신경망(740)에 입력하고, 드론(70)의 컨볼루션 신경망(740)은 사진의 예술성 점수를 결정한다. 930 단계의 상세한 동작에 대하여는, 앞서 도 5의 실시예에서 설명된 1400 단계와 동일한 동작을 수행하므로 이것에 대한 설명은 도 5에 도시된 실시예에 대한 설명으로 갈음하기로 한다. In operation 930, the data converter 730 inputs image data of the photograph into the convolutional neural network 740 of the drone 70, and the convolutional neural network 740 of the drone 70 determines the artistic score of the photograph. . For the detailed operation of step 930, since the same operation as the step 1400 described in the embodiment of FIG. 5 is performed, the description thereof will be replaced with the description of the embodiment shown in FIG.

940 단계에서, 드론(70)의 예술성 제어부(740)는 드론(70)의 사용자에 의해 미리 설정된 기준 점수와 컨볼루션 신경망(730)에 의해 결정된 사진의 예술성 점수를 비교한다. 940 단계의 상세한 동작에 대하여는, 앞서 도 5의 실시예에서 설명된 1500 단계와 동일한 동작을 수행하므로 이것에 대한 설명은 도 5에 도시된 실시예에 대한 설명으로 갈음하기로 한다. 940 단계의 비교 결과에 기초하여, 950 단계 또는 960 단계로 진행한다. In operation 940, the artistry controller 740 of the drone 70 compares the artist score of the photograph determined by the convolutional neural network 730 with a reference score preset by the user of the drone 70. As to the detailed operation of step 940, the same operation as the operation 1500 of the embodiment of FIG. 5 is performed. Therefore, a description thereof will be replaced with the description of the embodiment of FIG. 5. Based on the comparison result of step 940, the process proceeds to step 950 or 960.

950 단계에서, 예술성 제어부(750)는 사진의 예술성 점수의 변화 추이에 대한 드론 위치의 변화 패턴 및 카메라 촬영 각도의 변화 패턴에 기초하여 사진의 예술성 점수가 상승되는 방향으로 드론(70)의 위치 값과 카메라(700)의 촬영 각도 값을 보정한다. 예술성 제어부(750)는 촬영된 사진의 예술성 점수가 기준 점수 미만인 경우, 새로운 사진을 촬영하기 위하여 현재 드론(70)의 위치 값 및 카메라(700)의 촬영 각도 값에 대한 보정값을 산출한다. 드론(70)의 위치 값 및 카메라(700)의 촬영 각도 값에 대한 보정 값의 산출방법은 앞서 도 5의 실시예에서 설명된 1600 단계와 동일하므로 이것에 대한 설명은 도 5에 도시된 실시예에 대한 설명으로 갈음하기로 한다. In operation 950, the artist control unit 750 may determine the position value of the drone 70 in a direction in which the artist's artist score is increased based on the drone position change pattern and the camera photographing angle change pattern with respect to the change in the artist's artist score. And correct the photographing angle value of the camera 700. The artist control unit 750 calculates a correction value for the position value of the current drone 70 and the photographing angle value of the camera 700 in order to capture a new picture when the artist score of the photographed picture is less than the reference score. Since the method of calculating the correction value for the position value of the drone 70 and the photographing angle value of the camera 700 is the same as in step 1600 described above with reference to the embodiment of FIG. 5, the description thereof will be described with reference to the embodiment shown in FIG. 5. I will replace it with a description of.

드론(70)의 위치 값과 카메라의 촬영 각도 값이 보정된 경우, 드론(70)은 비행 제어부(760)를 통하여 비행부(770)를 제어하여 드론(70)의 위치를 보정된 위치 값으로 이동하고, 카메라 제어부(710)를 통하여 카메라(700)의 촬영 각도 값을 보정된 촬영 각도 값으로 조정한다. 드론(70)은 보정된 드론(70)의 위치 값 및 카메라(700)의 촬영 각도 값으로 사진을 다시 촬영하고, 예술사진 촬영방법의 각 단계들(910, 920, 930, 940, 950, 960)을 다시 수행한다. 또한, 드론(70)은 카메라(700)에 의해 촬영된 사진에 대한 예술성 점수가 기준 점수 이상이 될 때까지 예술사진 촬영방법의 각 단계들(910, 920, 930, 940, 950, 960)을 반복적으로 수행한다.When the position value of the drone 70 and the photographing angle value of the camera are corrected, the drone 70 controls the flight unit 770 through the flight control unit 760 to adjust the position of the drone 70 to the corrected position value. The camera controller 710 adjusts the photographing angle value of the camera 700 to the corrected photographing angle value through the camera controller 710. The drone 70 retakes the photo with the corrected position value of the drone 70 and the photographing angle value of the camera 700, and the steps 910, 920, 930, 940, 950, 960 of the art photographing method. ) Again. In addition, the drone 70 performs the steps 910, 920, 930, 940, 950, 960 of the art photography method until the artist score for the picture taken by the camera 700 is equal to or greater than the reference score. Perform iteratively.

950 단계는, 예술사진 촬영방법의 각 단계들(910, 920, 930, 940, 950, 960)의 반복에 따르는 예술성 점수의 변화 추이에 대한 드론(70)의 위치 변화 패턴 및 카메라(700)의 촬영 각도 변화 패턴에 기초하여 사진의 예술성 점수가 상승되는 방향으로 드론(70)의 위치 값과 카메라(700)의 촬영 각도 값을 보정한다. In step 950, the position change pattern of the drone 70 and the camera 700 may be changed according to the change of the artist's score according to the repetition of the steps 910, 920, 930, 940, 950, 960 of the art photography method. Based on the photographing angle change pattern, the position value of the drone 70 and the photographing angle value of the camera 700 are corrected in the direction in which the artistic score of the photograph is increased.

960 단계에서, 촬영된 사진의 예술성 점수가 미리 설정된 기준 점수 이상이면 예술성 제어부(750)는 획득된 사진의 이미지 데이터를 스토리지(780)에 저장한다. 촬영된 사진의 예술성 점수가 기준 점수 이상인 경우, 촬영된 사진이 예술적인 사진으로 결정되므로, 촬영된 사진의 이미지 데이터를 스토리지(780)에 저장하고 예술사진 촬영방법을 종료한다. 930 단계에 서술한 바와 같이, 사진의 예술성 점수는 프로 클래스의 확률, 아마추어 클래스의 확률 및 비예술적 클래스의 확률로 표현되고, 기준 점수 또한 각 클래스의 기준 상위 점수 또는 기준 하위 점수로 표현된다. 예술성 제어부(750)는 촬영된 사진의 프로 클래스의 확률이 프로 클래스의 기준 상위 점수 이상이고, 촬영된 사진의 아마추어 클래스의 확률이 아마추어 클래스의 기준 하위 점수 이하이고, 촬영된 사진의 비예술적 클래스의 확률이 비예술적 클래스의 기준 하위 점수 이하인 경우, 획득된 사진의 이미지 데이터를 스토리지(780)에 저장한다.In operation 960, if the artistry score of the taken picture is equal to or greater than a preset reference score, the artistry controller 750 stores the image data of the acquired picture in the storage 780. If the artistic score of the taken picture is equal to or greater than the reference score, since the taken picture is determined to be an artistic picture, the image data of the taken picture is stored in the storage 780 and the method of photographing the art is finished. As described in step 930, the artist's artistic score is expressed as a pro class probability, an amateur class probability, and a non-artistic class probability, and the reference score is also expressed as a reference high score or a reference low score of each class. The artistry control unit 750 may determine that the probability of the pro class of the photographed photograph is equal to or higher than the reference high score of the pro class, the probability of the amateur class of the photographed photograph is equal to or less than the reference lower score of the amateur class, If the probability is less than or equal to the reference lower score of the non-artistic class, the image data of the obtained photo is stored in the storage 780.

상술한 본 발명의 실시예들에 따르면, 드론 스스로 사진을 촬영하고, 드론 또는 원격제어서버에 포함된 미리 학습된 인공 신경망을 통하여 사진의 예술성 점수를 결정함으로써, 드론의 사용자가 드론 및 드론에 장착된 카메라를 조작하지 않더라도 예술적인 사진을 촬영할 수 있다. 이에 따라, 드론의 사용자는 드론을 조작하여 드론의 위치 및 카메라의 촬영 각도를 수시로 조작하여 사진을 촬영하고 촬영된 사진을 평가하여 드론의 위치 및 카메라의 촬영 각도를 보정하여 사진을 재촬영하는 수고스러움을 덜 수 있다. 또한, 본 발명은 예술성 점수를 결정하도록 학습된 인공 신경망을 활용으로 인하여 프로 사진작가 없이도 예술적인 사진을 촬영할 수 있으므로, 프로 사진작가를 고용하는 비용을 절감할 수 있다. According to the embodiments of the present invention described above, the user of the drone is mounted on the drone and the drone by taking a photograph of the drone itself and determining the artistic score of the photograph through a pre-trained artificial neural network included in the drone or the remote control server. You can take artistic pictures without operating the camera. Accordingly, the user of the drone manipulates the drone's position and the camera's shooting angle from time to time to take a picture, evaluates the taken picture, corrects the drone's position and the camera's shooting angle, and retakes the picture. You can lessen the feeling. In addition, the present invention can take an artistic picture without a professional photographer due to utilizing the artificial neural network learned to determine the artistry score, it is possible to reduce the cost of hiring a professional photographer.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 실시가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구혈될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.Meanwhile, the above-described embodiments of the present invention can be implemented as a program executable on a computer, and can be collected in a general-purpose digital computer operating the program using a computer-readable recording medium. In addition, the structure of the data used in the above-described embodiment of the present invention can be recorded on the computer-readable recording medium through various means. The computer-readable recording medium may include a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optical read medium (eg, a CD-ROM, a DVD, etc.).

이제까지 본 발명에 대하여 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로해석되어야 할 것이다.So far I looked at the center of the preferred embodiment of the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown not in the above description but in the claims, and all differences within the equivalent scope should be interpreted as being included in the present invention.

10 ... 드론 100 ... 카메라
110 ... 카메라 제어부 120 ... GPS 모듈
130 ... 비행 제어부 140 ... 비행부
150 ... 무선 통신부 160 ... 배터리
20 ... 원격제어서버 210 ... 무선 통신부
220 ... 신호 처리부 230 ... 컨볼루션 신경망
240 ... 예술성 제어부 250 ... 피드백부
260 ... 스토리지
70 ... 드론 700 ... 카메라
710 ... 카메라 제어부 720 ... GPS 모듈
730 ... 데이터 변환부 740 ... 컨볼루션 신경망
750 ... 예술성 제어부 760 ... 비행 제어부
770 ... 비행부 780 ... 스토리지
790 ... 배터리10 ... drone 100 ... camera
110 ... camera control unit 120 ... GPS module
130 ... flight control unit 140 ... flight unit
150 ... Wireless Communication Unit 160 ... Battery
20 ... Remote control server 210 ... Wireless communication unit
220 ... signal processor 230 ... convolutional neural network
240 ... Artistic Control Unit 250 ... Feedback Unit
260 ... Storage
70 ... Drone 700 ... Camera
710 ... camera control unit 720 ... GPS module
730 ... Data Converter 740 ... Convolutional Neural Network
750 ... artistry control 760 ... flight control
770 ... flight 780 ... storage
790 ... battery

Claims

In the art photography method using the drones (10, 70),
Obtaining image data of a photograph taken by cameras 100 and 700 of drones 10 and 70 in flight;
Calculating position values of the drones (10, 70) and photographing angle values of the cameras (100, 700) at the time of photographing;
Determining the artistic score of the picture taken by the camera (100, 700) from the output of the convolutional neural network (230, 740) by inputting the acquired image data into the convolutional neural network (230, 740);
Comparing the determined artistry score with a reference score;
Correcting the position value of the drone (10, 70) and the photographing angle value of the camera (100, 700) if the determined artistry score is less than the reference score; And
Storing the obtained image data when the determined artistry score is equal to or greater than the reference score.
When the position values of the drones 10 and 70 and the photographing angle values of the cameras 100 and 700 are corrected, the drones 10 and 70 having the corrected position values and the cameras having the corrected photographing angle values ( 100, 700) are performed again,
And the steps are repeatedly performed until the artist score for the picture taken by the camera (100, 700) is equal to or greater than the reference score.

The method of claim 1,
Correcting the position values of the drones 10 and 70 and the photographing angle values of the cameras 100 and 700 may include changing the position pattern of the drones 10 and 70 with respect to the change of the artist's score according to the repetition of the steps. An art photograph correcting the position values of the drones 10 and 70 and the photographing angle values of the cameras 100 and 700 in a direction in which the determined artistry score is increased based on the photographing angle change patterns of the cameras 100 and 700. How to shoot.

The method of claim 2,
Correcting the position values of the drones 10 and 70 and the photographing angle values of the cameras 100 and 700 may be performed when the determined artistry score is higher than the unitary change amount determined by the artist score before the determination of the artistry score. 10, 70 has a magnitude proportional to the direction corresponding to the forward direction of the current position change of the drones 10, 70 and the difference between the determined artistry score and the artistry score determined before the determination of the artistry score. The displacement value is set as the position correction value of the drones 10 and 70, and the direction corresponding to the forward direction of the current photographing angle change of the cameras 100 and 700 indicated by the photographing angle change patterns of the cameras 100 and 700; A photographing angle of the cameras 100 and 700 with a displacement value having a magnitude proportional to the difference between the determined artistry score and the artistry score determined before the determination of the artistry score. Art photography method to set the correction value.

The method of claim 3, wherein
Correcting the position values of the drones 10 and 70 and the photographing angle values of the cameras 100 and 700 may be performed if the determined artistry score is lower than the unit change amount than the artistry score determined before the determination of the artistry score. A magnitude proportional to a direction corresponding to the reverse direction of the current position change of the drones 10 and 70 represented by the position change patterns of the drones 10 and 70 and a difference between the determined artistry score and the artistry score determined before the determination of the artistry score. A displacement value having a value corresponding to a position correction value of the drones 10 and 70 and corresponding to a reverse direction of the current photographing angle change of the cameras 100 and 700 indicated by the photographing angle change patterns of the cameras 100 and 700. Photographing the cameras 100 and 700 with displacement values having a magnitude proportional to a direction and a difference between the determined artistry score and the artistry score determined prior to the determination of the artistry score. Art photography method to set the angle correction value.

The method of claim 4, wherein
Correcting the position values of the drones 10 and 70 and the photographing angle values of the cameras 100 and 700 may have no artistic score determined prior to the determination of the artistry score or may be determined prior to the determination of the determined artistic score and the artistic score. Art position photographing method for randomly setting a position correction value of the drone (10, 70) and a photographing angle correction value of the camera (100, 700) if the difference in the determined artistry score is less than the unit change amount.

The method of claim 1,
Many educational photographs are classified into art classes of professional classes taken by photographers, art photographs of amateur classes taken by amateurs, and photographs of non-artistic classes,
In the learning of the convolutional neural networks 230 and 740, image data of each training photograph is input to the input layer of the convolutional neural networks 230 and 740, and the respective angles are output to the output layers of the convolutional neural networks 230 and 740. It is made repeatedly for the plurality of learning pictures in a manner of inputting the classification of the learning pictures,
The determining of the artistry score may include inputting the acquired image data into the convolutional neural networks 230 and 740 in which the learning is completed, and the probability of the pro class and the amateur class output from the convolutional neural networks 230 and 740. The probability of the pro class of the probability of the non-artistic class, the art photography method for determining the artistry score.

The method of claim 6,
The storing of the acquired image data may include obtaining the acquired image data when the probability of the professional class is greater than or equal to the reference upper probability, the probability of the amateur class is less than the reference lower probability, and the probability of the non-artistic class is zero. Save it,
The steps are repeated until the probability of the professional class rises above the reference upper probability corresponding to the reference score, the probability of the amateur class falls below the reference lower probability, and the probability of the non-artistic class becomes zero. How to take art photography.

In the remote control server to control the drone having the art photography function,
Data signal including image data of the photograph taken by the camera 100 of the drone 10 in flight in the air, the position value of the drone 10 at the time of photographing, and the photographing angle value of the camera 100 Wireless communication unit 210 to wirelessly receive from the drone (10);
A signal processor 220 extracting the image data, the position value of the drone 10 and the photographing angle value from the data signal received by the wireless communication unit 210;
A convolutional neural network 230 for determining an artistic score of a picture taken by the camera 100 from the extracted image data;
An artistry controller 240 comparing the determined artistry score with a reference score and correcting the position value of the drone 10 and the photographing angle value of the camera 100 or outputting the extracted image data according to the comparison result;
A storage unit 260 for storing image data output from the artistry control unit 240; And
Each time the position value of the drone 10 and the photographing angle value of the camera 100 are corrected, the feedback unit 250 generates a feedback signal including the corrected position value and the corrected photographing angle value. and,
The wireless communication unit 210 transmits the feedback signal to the drone 10,
The artistry control unit 240 repeatedly measures the position value of the drone 10 and the camera 100 until the artist's score of the picture taken by the camera 100 of the drone 10 becomes equal to or greater than the reference score. Remote control server to correct the shooting angle value.

In the drone with the art photography function,
A camera 700 for taking a picture;
A camera controller 710 for controlling a photographing angle of the camera 700;
A GPS module 720 for generating a position value of the drone 70;
A data converter 730 for converting a photo taken by the camera 700 into image data for input to a convolutional neural network 740;
A convolutional neural network 740 for determining the artistic score of the picture taken by the camera 700 from the image data;
An artist's controller 750 comparing the determined artist's score with a reference score and correcting the position value of the drone 70 and the photographing angle of the camera 700 or outputting the image data according to the comparison result;
A storage 780 storing image data output from the artistry controller 750;
A flight controller 760 for controlling a flight operation of the drone 70; And
A flying portion 770 flying using at least four propellers,
The flight controller 760 controls the flight operation of the drone 70 so that the drone 70 moves to the corrected position value whenever the position value of the drone 70 is corrected,
The camera controller 710 controls the photographing angle of the camera 700 using the corrected photographing angle value whenever the photographing angle value of the camera 700 is corrected.
The artistry controller 750 repeatedly measures the position value of the drone 70 and the camera 700 until the artistry score of the photograph taken by the camera 700 of the drone 70 becomes equal to or greater than the reference score. Drone to correct shooting angle value.

A computer-readable recording medium having recorded thereon a program for executing the method of claim 1 on a computer.