KR20210011186A - Apparatus and method for analyzing images of drones - Google Patents

Apparatus and method for analyzing images of drones Download PDF

Info

Publication number
KR20210011186A
KR20210011186A KR1020190088285A KR20190088285A KR20210011186A KR 20210011186 A KR20210011186 A KR 20210011186A KR 1020190088285 A KR1020190088285 A KR 1020190088285A KR 20190088285 A KR20190088285 A KR 20190088285A KR 20210011186 A KR20210011186 A KR 20210011186A
Authority
KR
South Korea
Prior art keywords
image data
location information
drone
change
occurred
Prior art date
Application number
KR1020190088285A
Other languages
Korean (ko)
Inventor
박준연
박지현
변지숙
송의석
이건우
정창용
제보은
Original Assignee
주식회사 어플라이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 어플라이 filed Critical 주식회사 어플라이
Priority to KR1020190088285A priority Critical patent/KR20210011186A/en
Publication of KR20210011186A publication Critical patent/KR20210011186A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

Disclosed are a device and method for analyzing an image photographed by a drone. According to one embodiment of the present invention, the device for analyzing an image of a drone comprises: a communication unit performing communication with a drone; an analysis unit analyzing image data received from the drone; and an interface unit outputting an analysis result of the analysis unit, and receiving an input of a user. The analysis unit may receive location information and image data through the communication unit, and analyze the image data using an artificial neural network learned with an image data set to which a label for a location is assigned.

Description

드론 영상 분석 장치 및 방법{Apparatus and method for analyzing images of drones}Apparatus and method for analyzing images of drones}

영상을 분석하기 위한 기술로서 특히, 드론이 촬영한 영상을 분석하여 시설물의 파손을 검출하기 위한 드론 영상 분석 장치 및 방법에 관한 것이다.As a technology for analyzing an image, in particular, it relates to a drone image analysis apparatus and method for detecting damage to a facility by analyzing an image captured by a drone.

드론은 항법 및 제어, 사용 목적에 따라 다양한 센서들이 탑재되고 있다. 예를 들어, 드론은 항법을 위해 GPS, 지자기 센서, 관성항법장치 등을 탑재하고 있으며, Radar, LiDAR 및 카메라를 활용하여 근거리의 장애물 회피, 감시정찰 및 특정 대상에 대한 모니터링 등을 수행한다. Drones are equipped with various sensors depending on the purpose of navigation, control and use. For example, drones are equipped with GPS, geomagnetic sensors, and inertial navigation devices for navigation, and use radar, LiDAR, and cameras to avoid obstacles at close range, surveillance and reconnaissance, and monitoring of specific targets.

또한, 드론을 이용해 특정 대상을 등을 모니터링하기 위하여 드론에 대한 직접적인 조종 없이 자율적으로 주행할 수 있는 기술이 개발되고 있다.In addition, a technology that enables autonomous driving without direct control of a drone is being developed in order to monitor a specific target using a drone.

드론이 촬영한 영상을 분석하기 위한 장치 및 방법을 제공하는데 목적이 있다.An object of the present invention is to provide an apparatus and method for analyzing an image captured by a drone.

일 양상에 따르면, 드론 영상 분석 장치는 드론과 통신을 수행하는 통신부; 드론으로부터 수신한 영상 데이터를 분석하는 분석부; 및 분석부의 분석 결과를 출력하고, 사용자의 입력을 수신하는 인터페이스부를 포함하며, 분석부는 통신부를 통하여 위치 정보 및 영상 데이터를 수신하며, 위치에 대한 레이블이 부여된 영상 데이터 세트로 학습된 인공 신경망을 이용하여 영상 데이터를 분석할 수 있다.According to an aspect, an apparatus for analyzing a drone image includes: a communication unit that communicates with a drone; An analysis unit that analyzes the image data received from the drone; And an interface unit that outputs an analysis result of the analysis unit and receives a user's input, and the analysis unit receives location information and image data through the communication unit, and uses an artificial neural network learned from the image data set labeled for the location. Can be used to analyze image data.

인공 신경망은 위치 정보 및 영상 데이터를 입력 받으며, 영상 데이터를 기초로 위치 정보가 지시하는 위치에서 변화가 발생하였는지 여부를 결정할 수 있다. The artificial neural network receives location information and image data, and may determine whether a change has occurred in a location indicated by the location information based on the image data.

분석부는 인공 신경망이 변화가 발생한 것으로 결정한 경우, 변화가 발생된 위치 정보 및 변화가 발생된 위치 정보에 대응하는 영상 데이터 중 적어도 하나를 인터페이스부를 통하여 출력할 수 있다. When the artificial neural network determines that the change has occurred, the analysis unit may output at least one of the location information where the change has occurred and the image data corresponding to the location information where the change has occurred, through the interface unit.

분석부는 인터페이스부를 제어하여 변화가 발생된 위치 정보가 지시하는 위치를 지도상에 표시할 수 있다. The analysis unit may control the interface unit to display a location indicated by the location information where the change has occurred on a map.

분석부는 인터페이스부를 통하여 사용자로부터 분석 결과에 대한 피드백 정보를 수신하며, 피드백 정보가 분석 결과가 잘못된 것임을 지시하는 경우, 변화가 발생된 위치 정보 및 변화가 발생된 위치 정보에 대응하는 영상 데이터를 이용하여 인공 신경망을 학습시킬 수 있다. The analysis unit receives feedback information on the analysis result from the user through the interface unit, and when the feedback information indicates that the analysis result is incorrect, the analysis unit uses the location information where the change occurred and the image data corresponding to the location information where the change occurred. Artificial neural networks can be trained.

분석부는 인터페이스부를 통하여 사용자로부터 출력된 변화가 발생된 위치 정보 및 변화가 발생된 위치 정보에 대응하는 영상 데이터 중 어느 하나를 선택하는 입력을 수신하는 경우, 변화가 발생된 위치 정보를 기초로 비행 계획 정보를 생성하여 드론에 전송할 수 있다.When the analysis unit receives an input for selecting any one of the location information where the change occurred from the user and the image data corresponding to the location information where the change occurred, the flight plan is based on the location information where the change occurred. It can generate information and transmit it to the drone.

다른 양상에 따르면, 드론 영상을 분석하는 방법은 드론으로부터 위치 정보 및 영상 데이터를 수신하는 단계; 위치에 대한 레이블이 부여된 영상 데이터 세트로 학습된 인공 신경망을 이용하여 영상 데이터를 분석하는 단계; 및 분석 결과를 출력하는 단계를 포함할 수 있다.According to another aspect, a method of analyzing a drone image includes receiving location information and image data from a drone; Analyzing the image data using an artificial neural network learned from the image data set labeled with the position; And outputting the analysis result.

또 다른 양상에 따르면, 드론 영상 분석 장치는 영상을 촬영하여 영상 데이터를 생성하는 카메라부; 드론의 위치를 측정하여 위치 데이터를 생성하는 위치 측정부; 영상 데이터를 분석하는 분석부; 및 분석부의 분석 결과를 사용자 장치에 전송하고, 사용자 장치로부터 제어 신호를 수신하는 통신부를 포함하며, 분석부는 위치 측정부로부터 위치 정보를 수신하며, 카메라부로부터 영상 데이터를 수신하며, 위치에 대한 레이블이 부여된 영상 데이터 세트로 학습된 인공 신경망을 이용하여 영상 데이터를 분석할 수 있다. According to another aspect, an apparatus for analyzing an image of a drone includes a camera unit configured to generate image data by photographing an image; A position measuring unit that measures the position of the drone and generates position data; An analysis unit for analyzing image data; And a communication unit that transmits the analysis result of the analysis unit to the user device and receives a control signal from the user device, and the analysis unit receives location information from the position measurement unit, receives image data from the camera unit, and a label for the location The image data can be analyzed using an artificial neural network learned from the assigned image data set.

인공 신경망은 위치 정보 및 영상 데이터를 입력 받으며, 영상 데이터를 기초로 위치 정보가 지시하는 위치에서 변화가 발생하였는지 여부를 결정할 수 있다.The artificial neural network receives location information and image data, and may determine whether a change has occurred in a location indicated by the location information based on the image data.

분석부는 인공 신경망이 변화가 발생한 것으로 결정한 경우, 변화가 발생된 위치 정보 및 변화가 발생된 위치 정보에 대응하는 영상 데이터 중 적어도 하나를 통신부를 통하여 사용자 장치에 전송할 수 있다.When the artificial neural network determines that the change has occurred, the analysis unit may transmit at least one of the location information where the change has occurred and the image data corresponding to the location information where the change has occurred to the user device through the communication unit.

분석부는 통신부를 통하여 사용자로부터 분석 결과에 대한 피드백 정보를 수신하며, 피드백 정보가 분석 결과가 잘못된 것임을 지시하는 경우, 변화가 발생된 위치 정보 및 변화가 발생된 위치 정보에 대응하는 영상 데이터를 이용하여 인공 신경망을 학습시킬 수 있다.The analysis unit receives feedback information on the analysis result from the user through the communication unit, and when the feedback information indicates that the analysis result is incorrect, the analysis unit uses the location information where the change occurred and the image data corresponding to the location information where the change occurred. Artificial neural networks can be trained.

분석부는 통신부를 통하여 사용자로부터 변화가 발생된 위치로 이동을 요청하는 제어 신호를 수신하는 경우, 제어 신호를 기초로 비행 경로 정보를 생성할 수 있다.When receiving a control signal requesting a movement to a location where a change has occurred from a user through the communication unit, the analysis unit may generate flight path information based on the control signal.

또 다른 양상에 따르면, 드론이 영상을 분석하는 방법은 영상을 촬영하여 영상 데이터를 생성하는 단계; 드론의 위치를 측정하여 위치 정보를 생성하는 단계; 위치에 대한 레이블이 부여된 영상 데이터 세트로 학습된 인공 신경망을 이용하여 영상 데이터를 분석하는 단계; 및 분석 결과를 사용자 장치에 전송하는 단계를 포함할 수 있다.According to another aspect, a method of analyzing an image by a drone includes: generating image data by photographing an image; Generating location information by measuring the location of the drone; Analyzing the image data using an artificial neural network learned from the image data set labeled with the position; And transmitting the analysis result to the user device.

인공 신경망을 이용하여 드론 영상을 분석함으로써 시설물이 파손된 부분을 자동으로 검출하고 사용자에게 알릴 수 있다.By analyzing the drone image using an artificial neural network, the damaged part of the facility can be automatically detected and notified to the user.

도 1은 일 실시예에 따른 드론 영상 분석 장치의 구성도이다.
도 2는 예에 따른 인공 신경망의 학습 데이터를 도시한 예시도이다.
도 3은 일 예에 따른 인공 신경망의 동작을 도시한 예시도이다.
도 4는 일 예에 따른 드론 영상 분석 장치의 동작을 도시한 예시도이다.
도 5는 일 실시예에 따른 드론의 영상을 분석하는 방법을 도시한 흐름도이다.
도 6은 일 실시예에 따른 드론 영상 분석 장치의 구성도이다.
도 7은 일 실시예에 따른 드론이 영상을 분석하는 방법을 도시한 흐름도이다.1 is a block diagram of an apparatus for analyzing a drone image according to an exemplary embodiment.
2 is an exemplary diagram showing training data of an artificial neural network according to an example.
3 is an exemplary diagram illustrating an operation of an artificial neural network according to an example.
4 is an exemplary diagram illustrating an operation of a drone image analysis apparatus according to an example.
5 is a flowchart illustrating a method of analyzing an image of a drone according to an exemplary embodiment.
6 is a block diagram of an apparatus for analyzing a drone image according to an exemplary embodiment.
7 is a flowchart illustrating a method of analyzing an image by a drone according to an exemplary embodiment.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In describing the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout this specification.

이하, 드론 영상 분석 장치 및 방법의 실시예들을 도면들을 참고하여 자세히 설명한다.Hereinafter, embodiments of a drone image analysis apparatus and method will be described in detail with reference to the drawings.

도 1은 일 실시예에 따른 드론 영상 분석 장치의 구성도이다.1 is a block diagram of an apparatus for analyzing a drone image according to an exemplary embodiment.

도 1을 참조하면, 드론 영상 분석 장치(100)는 드론과 통신을 수행하는 통신부(110), 드론으로부터 수신한 영상 데이터를 분석하는 분석부(120) 및 분석부(120)의 분석 결과를 출력하고, 사용자의 입력을 수신하는 인터페이스부(130)를 포함할 수 있다.Referring to FIG. 1, the drone image analysis apparatus 100 outputs an analysis result of the communication unit 110 performing communication with the drone, the analysis unit 120 analyzing image data received from the drone, and the analysis unit 120 And, it may include an interface unit 130 for receiving a user input.

일 예에 따르면, 분석부(120)는 통신부(110)를 통하여 위치 정보 및 영상 데이터를 수신할 수 있다. 일 예로, 위치 정보와 영상 데이터는 각각 다른 주기로 수신될 수 있다. 예를 들어, 위치 정보는 소정의 시간 단위로 수신될 수 있으며, 영상 데이터는 연속적으로 수신될 수 있다. 이러한 경우, 분석부(120)는 소정의 규칙에 따라 위치 정보와 영상 데이터를 매핑시킬 수 있다. 예를 들어, 분석부(120)는 제 1 위치 정보가 수신된 후 제 2 위치 정보가 수신되기 전까지 수신되는 영상 데이터를 제 1 위치 정보와 매핑시킬 수 있다. 여기서, 영상 데이터는 소정 단위로 구분될 수 있다. 예를 들어, 영상 데이터는 프레임 단위로 구분될 수 있으며, 영상 데이터가 위치 정보에 매핑되는 단위는 프레임 단위일 수 있다. According to an example, the analysis unit 120 may receive location information and image data through the communication unit 110. For example, location information and image data may be received at different periods, respectively. For example, location information may be received in a predetermined time unit, and image data may be continuously received. In this case, the analysis unit 120 may map location information and image data according to a predetermined rule. For example, the analysis unit 120 may map the received image data with the first location information after the first location information is received and before the second location information is received. Here, the image data may be divided into a predetermined unit. For example, image data may be divided into frames, and a unit in which image data is mapped to location information may be frame units.

일 예에 따르면, 분석부(120)는 위치에 대한 레이블이 부여된 영상 데이터 세트로 학습된 인공 신경망을 이용하여 영상 데이터를 분석할 수 있다. According to an example, the analysis unit 120 may analyze the image data using an artificial neural network learned from an image data set to which a label for a location is assigned.

도 3을 참조하면, 분석부(120)는 인공 신경망(125)을 포함할 수 있으며, 인공 신경망(125)은 입력층(input layer), 하나 이상의 은닉층(hidden layer) 및 출력층(output layer)으로 구성될 수 있다. 일 예로, 인공 신경망(125)은 위치 정보 및 영상 데이터를 입력층을 통하여 입력 받을 수 있으며, 은닉층 및 출력층을 통해 분석된 결과를 출력할 수 있다. Referring to FIG. 3, the analysis unit 120 may include an artificial neural network 125, and the artificial neural network 125 includes an input layer, one or more hidden layers, and an output layer. Can be configured. For example, the artificial neural network 125 may receive location information and image data through an input layer, and may output an analysis result through the hidden layer and the output layer.

일 예에 따르면, 인공 신경망(125)은 위치 정보 및 영상 데이터를 입력 받으며, 영상 데이터를 기초로 위치 정보가 지시하는 위치에서 변화가 발생하였는지 여부를 결정할 수 있다. 일 예로, 인공 신경망(125)은 위치 정보를 통하여 함께 입력된 영상 데이터의 위치에 대한 정보를 알 수 있다. 이를 통하여, 인공 신경망(125)은 해당 위치 상에서 촬영된 영상이 위치에 대한 레이블이 부여된 영상 데이터 세트와의 관계에서 변경된 부분이 있는지 여부를 결정할 수 있다. 예를 들어, 드론이 소정 위치에서 시설물을 촬영한 영상 데이터를 전송하는 경우, 드론 영상 분석 장치는 학습된 결과를 이용하여 촬영한 영상 데이터 상에서 이전과 달라진 부분이 있는지 여부를 확인할 수 있다. 다시 말해, 드론 영상 분석 장치는 이전에 촬영된 영상과 새롭게 촬영된 영상을 비교하여 달라진 부분을 확인함으로써 시설물에 외관상으로 파손된 부분이 있는지 여부를 알 수 있다. According to an example, the artificial neural network 125 receives location information and image data, and may determine whether a change has occurred in a location indicated by the location information based on the image data. As an example, the artificial neural network 125 may know information on the location of image data input together through location information. Through this, the artificial neural network 125 may determine whether or not there is a change in the relationship between the image captured on the corresponding location and the image data set labeled with the location. For example, when a drone transmits image data photographing a facility at a predetermined location, the drone image analysis apparatus may use the learned result to check whether there is a different part of the captured image data. In other words, the drone image analysis apparatus can determine whether or not there is an apparently damaged part of the facility by comparing the previously captured image with the newly captured image and checking the changed part.

다른 예로, 인공 신경망(125)은 위치 정보가 지시하는 위치에서 영상 데이터가 변경되었을 확률을 계산할 수 있다. 예를 들어, 인공 신경망(125)은 위치 정보와 영상 데이터를 입력 받아 변경 확률 xx% 라는 결과를 출력할 수 있다. 이러한 경우, 분석부(120)는 변경 확률이 소정 확률 이상인지 여부를 확인하여 파손이 발생되었는지 여부를 결정할 수 있다. 예를 들어, 기준 확률이 25%이며, 인공 신경망(125)의 분석 결과 변경 확률이 40%로 추정되는 경우, 분석부(120)는 해당 위치의 영상 데이터 상 변경 사항이 있는 것으로 결정할 수 있다.As another example, the artificial neural network 125 may calculate a probability that the image data has changed at a location indicated by the location information. For example, the artificial neural network 125 may receive location information and image data and output a result of a change probability of xx%. In this case, the analysis unit 120 may determine whether or not damage has occurred by checking whether the change probability is greater than or equal to a predetermined probability. For example, if the reference probability is 25% and the change probability is estimated to be 40% as a result of the analysis of the artificial neural network 125, the analysis unit 120 may determine that there is a change in the image data of the corresponding location.

일 예에 따르면, 분석부(120)는 인공 신경망(125)이 변화가 발생한 것으로 결정한 경우, 변화가 발생된 위치 정보 및 변화가 발생된 위치 정보에 대응하는 영상 데이터 중 적어도 하나를 인터페이스부(130)를 통하여 출력할 수 있다.According to an example, when the artificial neural network 125 determines that a change has occurred, the analysis unit 120 transmits at least one of the location information where the change has occurred and the image data corresponding to the location information where the change has occurred, to the interface unit 130 ) Can be printed.

도 4는 일 예에 따른 드론 영상 분석 장치의 동작을 도시한 예시도이다.4 is an exemplary diagram illustrating an operation of a drone image analyzing apparatus according to an example.

도 4를 참조하면, 드론 영상 분석 장치(100)는 인터페이스부(130)를 통하여 변화가 발생된 위치 정보(420) 및 변화가 발생된 위치 정보에 대응하는 영상 데이터(410) 중 적어도 하나를 출력할 수 있다.Referring to FIG. 4, the drone image analysis apparatus 100 outputs at least one of the location information 420 where the change has occurred and the image data 410 corresponding to the location information where the change has occurred through the interface unit 130. can do.

일 예에 따르면, 변화가 발생된 곳은 하나 이상일 수 있다. 따라서, 드론 영상 분석 장치(100)는 변화가 발생된 하나 이상의 위치 정보(420) 또는 하나 이상의 영상 데이터(410)를 출력할 수 있다. According to an example, there may be one or more places where the change has occurred. Accordingly, the drone image analysis apparatus 100 may output one or more location information 420 or one or more image data 410 where changes have occurred.

일 예에 따르면, 변화가 발생된 하나 이상의 위치 정보는 GPS 좌표(예를 들어, aa°aa'aa.aa"N bb°bb'bb.bb"E)로 표시될 수 있다. 또는, 하나 이상의 위치 정보는 식별 기호(예를 들어, 발생 지점 1)로 표시될 수 있다. 다른 예로, 분석부(120)는 인터페이스부(130)를 제어하여 변화가 발생된 위치 정보가 지시하는 위치를 지도상에 표시할 수 있다.According to an example, one or more location information where a change has occurred may be displayed in GPS coordinates (eg, aa°aa'aa.aa"N bb°bb'bb.bb"E). Alternatively, one or more location information may be indicated by an identification symbol (eg, occurrence point 1). As another example, the analysis unit 120 may control the interface unit 130 to display a location indicated by the location information where the change has occurred on a map.

일 예에 따르면, 변화가 발생된 하나 이상의 영상 데이터(410)는 드론이 촬영한 영상일 수 있다. 예를 들어, 드론 영상 분석 장치(100)는 드론으로부터 수신한 영상 데이터 원본을 출력할 수 있다. 다른 예로, 드론 영상 분석 장치(100)는 영상 데이터 중 변경이 발생된 지점을 포함하는 일부를 추출하여 출력할 수 있다.According to an example, the one or more image data 410 in which changes have occurred may be images captured by a drone. For example, the drone image analysis apparatus 100 may output an original image data received from a drone. As another example, the drone image analysis apparatus 100 may extract and output a part of the image data including the point where the change occurs.

일 예에 따르면, 분석부(120)는 인터페이스부(130)를 통하여 사용자로부터 분석 결과에 대한 피드백 정보를 수신할 수 있다. 예를 들어, 사용자는 인터페이스부(130)를 통해 출력된 영상 데이터를 확인하거나, 변경이 발생된 것으로 분석된 실제 위치에서 현장 확인 후 분석 결과가 적절한 것인지 판단할 수 있다. 이후, 사용자가 분석 결과가 잘못된 것으로 판단하는 경우, 사용자는 인터페이스부(130)를 통하여 해당 위치에서의 분석 결과가 잘못된 것임을 입력할 수 있다. 예를 들어, 인터페이스부(130)는 피드백 입력을 수신할 수 있는 표시(430)(예를 들어, 이미지, 문자, 기호, 도형 등)를 출력할 수 있다.According to an example, the analysis unit 120 may receive feedback information on an analysis result from a user through the interface unit 130. For example, the user may check the image data output through the interface unit 130 or determine whether the analysis result is appropriate after checking the site at an actual location analyzed as having a change. Thereafter, when the user determines that the analysis result is wrong, the user may input that the analysis result at the corresponding location is wrong through the interface unit 130. For example, the interface unit 130 may output a display 430 (eg, an image, text, symbol, figure, etc.) capable of receiving a feedback input.

일 예에 따르면, 피드백 정보가 분석 결과가 잘못된 것임을 지시하는 경우, 분석부(120)는 변화가 발생된 위치 정보 및 변화가 발생된 위치 정보에 대응하는 영상 데이터를 이용하여 인공 신경망을 학습시킬 수 있다. 예를 들어, 분석부(120)는 잘못된 결과로 판단된 위치 정보 및 영상 데이터를 기초로 학습 데이터 세트를 생성할 수 있으며, 생성된 학습 데이터를 이용하여 인공 신경망을 학습시킬 수 있다. According to an example, when the feedback information indicates that the analysis result is incorrect, the analysis unit 120 may train the artificial neural network using the location information where the change has occurred and the image data corresponding to the location information where the change has occurred. have. For example, the analysis unit 120 may generate a training data set based on location information and image data determined as an incorrect result, and train an artificial neural network using the generated training data.

다른 예로, 분석부(120)는 분석 결과를 기초로 학습 데이터 세트를 생성하여 인공 신경망을 학습시킬 수 있다. 예를 들어, 분석부(120)는 분석 결과에 대하여 별도의 피드백을 수신하지 않는 경우, 해당 분석 결과에 이상이 없는 것으로 결정할 수 있으며, 해당 분석 결과를 이용하여 학습 데이터 세트를 생성할 수 있다.As another example, the analysis unit 120 may train an artificial neural network by generating a training data set based on the analysis result. For example, when a separate feedback is not received for the analysis result, the analysis unit 120 may determine that there is no abnormality in the analysis result, and may generate a training data set using the analysis result.

일 예에 따르면, 분석부(120)는 인터페이스부(130)를 통하여 사용자로부터 변화가 발생된 지점에 대한 정보를 수신할 수 있다. 예를 들어, 분석부(120)의 분석 결과 변화가 없는 것으로 판단되었으나, 사용자가 현장 확인 중 변화가 발생된 부분을 발견한 경우, 사용자는 해당 위치에서 인터페이스부를 통하여 변화가 발생되었음을 입력할 수 있다. According to an example, the analysis unit 120 may receive information on a point where a change occurs from a user through the interface unit 130. For example, when it is determined that there is no change as a result of the analysis by the analysis unit 120, but the user finds a part where the change has occurred while checking the site, the user may input that the change has occurred at the corresponding location through the interface unit. .

일 예로, 분석부(120)는 사용자로부터 입력 받은 정보에 기초하여 해당 위치의 영상 데이터를 검색할 수 있으며, 검색된 영상 데이터를 출력할 수 있다. 또한, 분석부(120)는 출력된 영상 데이터에 대하여 사용자로부터 변화가 발생된 영상에 대한 선택 입력을 수신할 수 있다. 예를 들어, 분석부(120)는 사용자로부터 입력 받은 위치로부터 소정 반경 이내에서 촬영된 영상 데이터를 출력할 수 있으며, 사용자는 출력된 영상 데이터 중 변화가 발생된 영상 데이터를 선택할 수 있다. 이후, 분석부(120)는 해당 영상 데이터를 기초로 인공 신경망을 학습시킬 수 있다.For example, the analysis unit 120 may search for image data of a corresponding location based on information input from a user, and may output the searched image data. In addition, the analysis unit 120 may receive a selection input for an image in which a change has occurred from a user with respect to the output image data. For example, the analysis unit 120 may output image data captured within a predetermined radius from a position input from the user, and the user may select image data in which a change has occurred among the output image data. Thereafter, the analysis unit 120 may train an artificial neural network based on the corresponding image data.

일 예에 따르면, 분석부(120)는 인터페이스부(130)를 통하여 사용자로부터 출력된 변화가 발생된 위치 정보 및 변화가 발생된 위치 정보에 대응하는 영상 데이터 중 어느 하나를 선택하는 입력을 수신할 수 있다. 예를 들어, 도 4에서 나타나는 바와 같이, 드론 영상 분석 장치(100)는 하나 이상의 분석 결과를 출력할 수 있으며, 하나 이상의 분석 결과 중 어느 하나를 선택하는 사용자 입력을 수신할 수 있다. 다른 예를 들어, 분석부(120)는 인터페이스부(130)를 통하여 변화가 발생된 위치 정보 또는 변화가 발생된 위치 정보에 대응하는 영상 데이터를 선택할 수 있는 표시(440)(예를 들어, 이미지, 문자, 기호, 도형 등)를 출력할 수 있다.According to an example, the analysis unit 120 may receive an input for selecting one of image data corresponding to the location information where the change occurs and the location information where the change occurs, output from the user through the interface unit 130. I can. For example, as shown in FIG. 4, the drone image analysis apparatus 100 may output one or more analysis results, and may receive a user input for selecting any one of the one or more analysis results. For another example, the analysis unit 120 may select a display 440 (eg, image data corresponding to the location information where the change has occurred or the location information where the change has occurred) through the interface unit 130. , Characters, symbols, figures, etc.) can be printed.

일 예에 따르면, 분석부(120)는 사용자가 선택한 변화가 발생된 위치 정보를 기초로 비행 계획 정보를 생성하여 드론에 전송할 수 있다. 예를 들어, 분석부(120)가 인터페이스부(130)를 통하여 영상 데이터(410) 중 가장 위쪽의 영상 데이터를 선택하는 경우, 분석부(120)는 선택된 영상 데이터에 해당하는 위치인 "aa°aa'aa.aa"N bb°bb'bb.bb"E"로 드론이 이동할 수 있도록 비행 계획 정보를 생성하여 드론에 전송할 수 있다.According to an example, the analysis unit 120 may generate flight plan information based on the location information at which the change selected by the user has occurred and transmit it to the drone. For example, when the analysis unit 120 selects the uppermost image data among the image data 410 through the interface unit 130, the analysis unit 120 is the position corresponding to the selected image data "aa° Aa'aa.aa"N bb°bb'bb.bb"E" can generate flight plan information so that the drone can move and transmit it to the drone.

도 5는 일 실시예에 따른 드론의 영상을 분석하는 방법을 도시한 흐름도이다.5 is a flowchart illustrating a method of analyzing an image of a drone according to an exemplary embodiment.

도 5를 참조하면, 드론 영상 분석 장치는 드론으로부터 위치 정보 및 영상 데이터를 수신할 수 있다(510). 일 예로, 위치 정보와 영상 데이터는 각각 수신될 수 있다. 예를 들어, 위치 정보는 소정의 시간 단위로 수신될 수 있으며, 영상 데이터는 연속적으로 수신될 수 있다. 이러한 경우, 드론 영상 분석 장치 소정의 규칙에 따라 위치 정보와 영상 데이터를 매핑시킬 수 있다. 예를 들어, 드론 영상 분석 장치 제 1 위치 정보가 수신된 후 제 2 위치 정보가 수신되기 전까지 수신되는 영상 데이터를 제 1 위치 정보와 매핑시킬 수 있다. 여기서, 영상 데이터는 소정 단위로 구분될 수 있다. 예를 들어, 영상 데이터는 프레임 단위로 구분될 수 있으며, 영상 데이터가 위치 정보에 매핑되는 단위는 프레임 단위일 수 있다.Referring to FIG. 5, the drone image analysis apparatus may receive location information and image data from a drone (510 ). For example, location information and image data may be respectively received. For example, location information may be received in a predetermined time unit, and image data may be continuously received. In this case, location information and image data may be mapped according to a predetermined rule of the drone image analysis apparatus. For example, after receiving the first location information of the drone image analysis apparatus, the received image data may be mapped with the first location information before the second location information is received. Here, the image data may be divided into a predetermined unit. For example, image data may be divided into frames, and a unit in which image data is mapped to location information may be frame units.

일 예로, 드론 영상 분석 장치는 수신한 영상 데이터를 분석할 수 있다(520).As an example, the drone image analysis apparatus may analyze the received image data (520 ).

일 예에 따르면, 드론 영상 분석 장치는 위치에 대한 레이블이 부여된 영상 데이터 세트로 학습된 인공 신경망을 이용하여 영상 데이터를 분석할 수 있다. 일 예로, 인공 신경망은 위치 정보 및 영상 데이터를 입력 받으며, 영상 데이터를 기초로 위치 정보가 지시하는 위치에서 변화가 발생하였는지 여부를 결정할 수 있다. According to an example, the drone image analysis apparatus may analyze image data using an artificial neural network learned from an image data set to which a location label is assigned. For example, the artificial neural network may receive location information and image data, and may determine whether a change has occurred in a location indicated by the location information based on the image data.

일 예로, 인공 신경망은 위치 정보를 통하여 함께 입력된 영상 데이터의 위치에 대한 정보를 알 수 있다. 이를 통하여, 인공 신경망은 해당 위치 상에서 촬영된 영상이 위치에 대한 레이블이 부여된 영상 데이터 세트와의 관계에서 변경된 부분이 있는지 여부를 결정할 수 있다. As an example, the artificial neural network may know information about the location of image data input together through location information. Through this, the artificial neural network may determine whether or not there is a changed part of the image captured on the corresponding position in the relationship with the image data set labeled for the position.

예를 들어, 드론이 소정 위치에서 시설물을 촬영한 영상 데이터를 전송하는 경우, 드론 영상 분석 장치는 학습된 결과를 이용하여 촬영한 영상 데이터 상에서 이전과 달라진 부분이 있는지 여부를 확인할 수 있다. 다시 말해, 드론 영상 분석 장치는 이전에 촬영된 영상과 새롭게 촬영된 영상을 비교하여 달라진 부분을 확인함으로써 시설물에 외관상으로 파손된 부분이 있는지 여부를 알 수 있다. For example, when a drone transmits image data photographing a facility at a predetermined location, the drone image analysis apparatus may use the learned result to check whether there is a different part of the captured image data. In other words, the drone image analysis apparatus can determine whether or not there is an apparently damaged part of the facility by comparing the previously captured image with the newly captured image and checking the changed part.

다른 예로, 인공 신경망은 위치 정보가 지시하는 위치에서 영상 데이터가 변경되었을 확률을 계산할 수 있다. 예를 들어, 인공 신경망은 위치 정보와 영상 데이터를 입력 받아 변경 확률 xx% 라는 결과를 출력할 수 있다. 이러한 경우, 드론 영상 분석 장치는 변경 확률이 소정 확률 이상인지 여부를 확인하여 파손이 발생되었는지 여부를 결정할 수 있다. 예를 들어, 기준 확률이 25%이며, 인공 신경망의 분석 결과 변경 확률이 40%로 추정되는 경우, 드론 영상 분석 장치는 해당 위치의 영상 데이터 상 변경 사항이 있는 것으로 결정할 수 있다.As another example, the artificial neural network may calculate a probability that the image data has changed at a location indicated by the location information. For example, the artificial neural network may receive location information and image data and output a result of xx% change probability. In this case, the drone image analysis apparatus may determine whether or not damage has occurred by checking whether the change probability is greater than or equal to a predetermined probability. For example, when the reference probability is 25% and the change probability is estimated to be 40% as a result of analysis of the artificial neural network, the drone image analysis apparatus may determine that there is a change in the image data of the corresponding location.

일 예로, 드론 영상 분석 장치는 분석한 결과를 인터페이스를 통하여 출력할 수 있다(530). 드론 영상 분석 장치는 인공 신경망이 변화가 발생한 것으로 결정한 경우, 변화가 발생된 위치 정보 및 변화가 발생된 위치 정보에 대응하는 영상 데이터 중 적어도 하나를 인터페이스를 통하여 출력할 수 있다. 일 예에 따르면, 변화가 발생된 곳은 하나 이상일 수 있다. 따라서, 드론 영상 분석 장치는 변화가 발생된 하나 이상의 위치 정보 또는 하나 이상의 영상 데이터를 출력할 수 있다. For example, the drone image analysis apparatus may output the analysis result through the interface (530 ). When the artificial neural network determines that the change has occurred, the drone image analysis apparatus may output at least one of the location information where the change has occurred and the image data corresponding to the location information where the change has occurred through the interface. According to an example, there may be one or more places where the change has occurred. Accordingly, the drone image analysis apparatus may output one or more location information or one or more image data where changes have occurred.

도 6은 일 실시예에 따른 드론 영상 분석 장치의 구성도이다.6 is a block diagram of an apparatus for analyzing a drone image according to an exemplary embodiment.

도 6을 참조하면, 드론 영상 분석 장치(600)는 영상을 촬영하여 영상 데이터를 생성하는 카메라부(610), 드론의 위치를 측정하여 위치 데이터를 생성하는 위치 측정부(620), 영상 데이터를 분석하는 분석부(630) 및 분석부의 분석 결과를 사용자 장치에 전송하고, 사용자 장치로부터 제어 신호를 수신하는 통신부(640)를 포함할 수 있다. 일 예에 따르면, 드론 영상 분석 장치(600)는 드론에 탑재되어 동작할 수 있다.6, the drone image analysis apparatus 600 includes a camera unit 610 that generates image data by photographing an image, a position measurement unit 620 that measures the position of a drone to generate position data, and image data. It may include an analysis unit 630 that analyzes and a communication unit 640 that transmits the analysis result of the analysis unit to the user device and receives a control signal from the user device. According to an example, the drone image analysis apparatus 600 may be mounted on a drone and operated.

일 예에 따르면, 분석부(630)는 위치 측정부(620)로부터 위치 정보를 수신하며, 카메라부(610)로부터 영상 데이터를 수신할 수 있다. 일 예로, 위치 측정부(620)의 위치 측정 주기와 카메라부(610)의 영상 획득 주기가 다를 수 있다. 예를 들어, 위치 측정부(620)는 소정 시간 주기로 위치를 측정하나, 카메라부(610)는 연속된 영상을 촬영할 수 있다. 이러한 경우, 분석부(630)는 위치 정보와 영상 데이터를 소정의 규칙에 따라 매핑시킬 수 있다.According to an example, the analysis unit 630 may receive location information from the location measurement unit 620 and may receive image data from the camera unit 610. For example, a position measurement period of the position measurement unit 620 and an image acquisition period of the camera unit 610 may be different. For example, the position measuring unit 620 measures a position at a predetermined time period, but the camera unit 610 may capture a continuous image. In this case, the analysis unit 630 may map the location information and the image data according to a predetermined rule.

일 예에 따르면, 분석부(630)는 위치에 대한 레이블이 부여된 영상 데이터 세트로 학습된 인공 신경망을 이용하여 영상 데이터를 분석할 수 있다.According to an example, the analysis unit 630 may analyze image data using an artificial neural network learned from an image data set to which a label is assigned to a location.

일 예에 따르면, 분석부(630)는 인공 신경망을 포함할 수 있다. 일 예로, 인공 신경망은 위치 정보 및 영상 데이터를 입력 받으며, 영상 데이터를 기초로 위치 정보가 지시하는 위치에서 변화가 발생하였는지 여부를 결정할 수 있다. 일 예로, 인공 신경망은 위치 정보를 통하여 함께 입력된 영상 데이터의 위치에 대한 정보를 알 수 있다. 이를 통하여, 인공 신경망은 해당 위치 상에서 촬영된 영상이 위치에 대한 레이블이 부여된 영상 데이터 세트와의 관계에서 변경된 부분이 있는지 여부를 결정할 수 있다. 예를 들어, 카메라부(610)를 통하여 영상 데이터를 획득한 경우, 드론 영상 분석 장치는 학습된 결과를 이용하여 촬영한 영상 데이터 상에서 이전과 달라진 부분이 있는지 여부를 확인할 수 있다. 다시 말해, 드론 영상 분석 장치는 이전에 촬영된 영상과 새롭게 촬영된 영상을 비교하여 달라진 부분을 확인함으로써 시설물에 외관상으로 파손된 부분이 있는지 여부를 알 수 있다. According to an example, the analysis unit 630 may include an artificial neural network. For example, the artificial neural network may receive location information and image data, and may determine whether a change has occurred in a location indicated by the location information based on the image data. As an example, the artificial neural network may know information about the location of image data input together through location information. Through this, the artificial neural network may determine whether or not there is a changed part of the image captured on the corresponding position in the relationship with the image data set labeled for the position. For example, when the image data is acquired through the camera unit 610, the drone image analysis apparatus may check whether there is a different part of the captured image data using the learned result. In other words, the drone image analysis apparatus can determine whether or not there is an apparently damaged part of the facility by comparing the previously captured image with the newly captured image and checking the changed part.

다른 예로, 인공 신경망은 위치 정보가 지시하는 위치에서 영상 데이터가 변경되었을 확률을 계산할 수 있다. 예를 들어, 인공 신경망은 위치 정보와 영상 데이터를 입력 받아 변경 확률 xx% 라는 결과를 출력할 수 있다. 이러한 경우, 분석부(630)는 변경 확률이 소정 확률 이상인지 여부를 확인하여 파손이 발생되었는지 여부를 결정할 수 있다. 예를 들어, 기준 확률이 25%이며, 인공 신경망의 분석 결과 변경 확률이 40%로 추정되는 경우, 분석부(630)는 해당 위치의 영상 데이터 상 변경 사항이 있는 것으로 결정할 수 있다.As another example, the artificial neural network may calculate a probability that the image data has changed at a location indicated by the location information. For example, the artificial neural network may receive location information and image data and output a result of xx% change probability. In this case, the analysis unit 630 may determine whether or not damage has occurred by checking whether the change probability is greater than or equal to a predetermined probability. For example, when the reference probability is 25% and the change probability is estimated to be 40% as a result of the analysis of the artificial neural network, the analysis unit 630 may determine that there is a change in the image data of the corresponding location.

일 예에 따르면, 분석부(120)는 인공 신경망이 변화가 발생한 것으로 결정한 경우, 변화가 발생된 위치 정보 및 변화가 발생된 위치 정보에 대응하는 영상 데이터 중 적어도 하나를 통신부(640)를 통하여 사용자 장치에 전송할 수 있다.According to an example, when the artificial neural network determines that the change has occurred, the analysis unit 120 transmits at least one of the location information where the change has occurred and the image data corresponding to the location information where the change has occurred, through the communication unit 640. Can be transferred to the device.

일 예에 따르면, 분석부(630)는 통신부(640)를 통하여 사용자로부터 분석 결과에 대한 피드백 정보를 수신할 수 있다. 또한, 피드백 정보가 분석 결과가 잘못된 것임을 지시하는 경우, 분석부(630)는 변화가 발생된 위치 정보 및 변화가 발생된 위치 정보에 대응하는 영상 데이터를 이용하여 인공 신경망을 학습시킬 수 있다.According to an example, the analysis unit 630 may receive feedback information on an analysis result from a user through the communication unit 640. In addition, when the feedback information indicates that the analysis result is wrong, the analysis unit 630 may train the artificial neural network using the location information where the change has occurred and the image data corresponding to the location information where the change has occurred.

일 예에 따르면, 분석부(630)는 통신부(640)를 통하여 사용자로부터 변화가 발생된 위치로 이동을 요청하는 제어 신호를 수신하는 경우, 제어 신호를 기초로 비행 경로 정보를 생성할 수 있다. According to an example, the analysis unit 630 may generate flight path information based on the control signal when receiving a control signal requesting movement from a user to a location where a change has occurred through the communication unit 640.

도 7은 일 실시예에 따른 드론이 영상을 분석하는 방법을 도시한 흐름도이다.7 is a flowchart illustrating a method of analyzing an image by a drone according to an exemplary embodiment.

일 예에 따르면, 드론 영상 분석 장치는 영상을 촬영하여 영상 데이터를 생성하고, 드론의 위치를 측정하여 위치 정보를 생성할 수 있다(710).According to an example, the drone image analysis apparatus may generate image data by photographing an image, and may generate location information by measuring a location of the drone (operation 710 ).

드론 영상 분석 장치는 GPS, 관성 측정 장치 등 센서를 이용하여 드론의 위치 정보를 측정할 수 있다. 또한, 드론 영상 분석 장치는 카메라를 이용하여 영상을 촬영하여 영상 데이터를 생성할 수 있다.The drone image analysis device may measure the location information of the drone using sensors such as GPS and inertial measurement devices. Also, the drone image analysis apparatus may generate image data by photographing an image using a camera.

일 예에 따르면, 드론 영상 분석 장치는 위치에 대한 레이블이 부여된 영상 데이터 세트로 학습된 인공 신경망을 이용하여 영상 데이터를 분석할 수 있다(720). 일 예로, 인공 신경망은 위치 정보 및 영상 데이터를 입력 받으며, 영상 데이터를 기초로 위치 정보가 지시하는 위치에서 변화가 발생하였는지 여부를 결정할 수 있다. 일 예로, 인공 신경망은 위치 정보를 통하여 함께 입력된 영상 데이터의 위치에 대한 정보를 알 수 있다. 이를 통하여, 인공 신경망은 해당 위치 상에서 촬영된 영상이 위치에 대한 레이블이 부여된 영상 데이터 세트와의 관계에서 변경된 부분이 있는지 여부를 결정할 수 있다. 다시 말해, 드론 영상 분석 장치는 이전에 촬영된 영상과 새롭게 촬영된 영상을 비교하여 달라진 부분을 확인함으로써 시설물에 외관상으로 파손된 부분이 있는지 여부를 알 수 있다. According to an example, the drone image analysis apparatus may analyze image data using an artificial neural network learned from an image data set to which a label for a location is assigned (720). For example, the artificial neural network may receive location information and image data, and may determine whether a change has occurred in a location indicated by the location information based on the image data. As an example, the artificial neural network may know information about the location of image data input together through location information. Through this, the artificial neural network may determine whether or not there is a changed part of the image captured on the corresponding position in the relationship with the image data set labeled for the position. In other words, the drone image analysis apparatus can determine whether or not there is an apparently damaged part of the facility by comparing the previously captured image with the newly captured image and checking the changed part.

다른 예로, 인공 신경망은 위치 정보가 지시하는 위치에서 영상 데이터가 변경되었을 확률을 계산할 수 있다. 예를 들어, 인공 신경망은 위치 정보와 영상 데이터를 입력 받아 변경 확률 xx% 라는 결과를 출력할 수 있다. 이러한 경우, 드론 영상 분석 장치는 변경 확률이 소정 확률 이상인지 여부를 확인하여 파손이 발생되었는지 여부를 결정할 수 있다. 예를 들어, 기준 확률이 25%이며, 인공 신경망의 분석 결과 변경 확률이 40%로 추정되는 경우, 드론 영상 분석 장치는 해당 위치의 영상 데이터에 변경 사항이 있는 것으로 결정할 수 있다.As another example, the artificial neural network may calculate a probability that the image data has changed at a location indicated by the location information. For example, the artificial neural network may receive location information and image data and output a result of xx% change probability. In this case, the drone image analysis apparatus may determine whether or not damage has occurred by checking whether the change probability is greater than or equal to a predetermined probability. For example, if the reference probability is 25% and the change probability is estimated to be 40% as a result of the analysis of the artificial neural network, the drone image analysis apparatus may determine that there is a change in the image data of the corresponding location.

일 예에 따르면, 드론 영상 분석 장치는 분석 결과를 사용자 장치에 전송할 수 있다(730). 일 예로, 드론 영상 분석 장치는 인공 신경망이 변화가 발생한 것으로 결정한 경우, 변화가 발생된 위치 정보 및 변화가 발생된 위치 정보에 대응하는 영상 데이터 중 적어도 하나를 사용자 장치에 전송할 수 있다.According to an example, the drone image analysis device may transmit the analysis result to the user device (730 ). For example, when the artificial neural network determines that a change has occurred, the drone image analysis apparatus may transmit at least one of the location information where the change has occurred and the image data corresponding to the location information where the change has occurred to the user device.

본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함할 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 작성되고 실행될 수 있다.One aspect of the present invention may be implemented as a computer-readable code in a computer-readable recording medium. Codes and code segments implementing the above program can be easily inferred by a computer programmer in the art. The computer-readable recording medium may include any type of recording device storing data that can be read by a computer system. Examples of computer-readable recording media may include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, and the like. Further, the computer-readable recording medium can be distributed over a computer system connected by a network, and written and executed in computer-readable code in a distributed manner.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시 예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.So far, the present invention has been looked at around its preferred embodiments. Those of ordinary skill in the art to which the present invention pertains will be able to understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Accordingly, the scope of the present invention is not limited to the above-described embodiments, but should be construed to include various embodiments within the scope equivalent to those described in the claims.

100: 드론 영상 분석 장치 110: 통신부
120: 분석부 125: 인공 신경망
130: 인터페이스부 600: 드론 영상 분석 장치
610: 카메라부 620: 위치 측정부
630: 분석부 640: 통신부100: drone image analysis device 110: communication unit
120: analysis unit 125: artificial neural network
130: interface unit 600: drone image analysis device
610: camera unit 620: position measuring unit
630: analysis unit 640: communication unit

Claims (13)

드론과 통신을 수행하는 통신부;
상기 드론으로부터 수신한 영상 데이터를 분석하는 분석부; 및
상기 분석부의 분석 결과를 출력하고, 사용자의 입력을 수신하는 인터페이스부를 포함하며,
상기 분석부는
상기 통신부를 통하여 위치 정보 및 영상 데이터를 수신하며,
위치에 대한 레이블이 부여된 영상 데이터 세트로 학습된 인공 신경망을 이용하여 상기 영상 데이터를 분석하는, 드론 영상 분석 장치. A communication unit that communicates with the drone;
An analysis unit that analyzes the image data received from the drone; And
And an interface unit that outputs an analysis result of the analysis unit and receives a user's input,
The analysis unit
Receiving location information and image data through the communication unit,
A drone image analysis device that analyzes the image data using an artificial neural network learned from an image data set labeled with a location. 제 1 항에 있어서,
상기 인공 신경망은
상기 위치 정보 및 상기 영상 데이터를 입력 받으며,
상기 영상 데이터를 기초로 상기 위치 정보가 지시하는 위치에서 변화가 발생하였는지 여부를 결정하는, 드론 영상 분석 장치.The method of claim 1,
The artificial neural network is
Receiving the location information and the image data,
A drone image analysis apparatus that determines whether a change has occurred in a location indicated by the location information based on the image data. 제 2 항에 있어서,
상기 분석부는
상기 인공 신경망이 변화가 발생한 것으로 결정한 경우, 변화가 발생된 위치 정보 및 변화가 발생된 위치 정보에 대응하는 영상 데이터 중 적어도 하나를 상기 인터페이스부를 통하여 출력하는, 드론 영상 분석 장치.The method of claim 2,
The analysis unit
When the artificial neural network determines that the change has occurred, at least one of the location information where the change has occurred and the image data corresponding to the location information where the change has occurred is output through the interface unit. 제 3 항에 있어서,
상기 분석부는
상기 인터페이스부를 제어하여 상기 변화가 발생된 위치 정보가 지시하는 위치를 지도상에 표시하는, 드론 영상 분석 장치.The method of claim 3,
The analysis unit
Controlling the interface unit to display a location indicated by the location information where the change has occurred on a map. 제 3 항에 있어서,
상기 분석부는
상기 인터페이스부를 통하여 사용자로부터 분석 결과에 대한 피드백 정보를 수신하며,
상기 피드백 정보가 분석 결과가 잘못된 것임을 지시하는 경우, 상기 변화가 발생된 위치 정보 및 상기 변화가 발생된 위치 정보에 대응하는 영상 데이터를 이용하여 상기 인공 신경망을 학습시키는, 드론 영상 분석 장치.The method of claim 3,
The analysis unit
Receiving feedback information on the analysis result from the user through the interface unit,
When the feedback information indicates that the analysis result is wrong, the artificial neural network is trained by using the location information where the change has occurred and the image data corresponding to the location information where the change has occurred. 제 3 항에 있어서,
상기 분석부는
상기 인터페이스부를 통하여 사용자로부터 출력된 상기 변화가 발생된 위치 정보 및 상기 변화가 발생된 위치 정보에 대응하는 영상 데이터 중 어느 하나를 선택하는 입력을 수신하는 경우, 상기 변화가 발생된 위치 정보를 기초로 비행 계획 정보를 생성하여 상기 드론에 전송하는, 드론 영상 분석 장치.The method of claim 3,
The analysis unit
When receiving an input for selecting one of the location information where the change has occurred and the image data corresponding to the location information where the change has occurred, output from the user through the interface unit, based on the location information where the change has occurred. A drone image analysis device that generates flight plan information and transmits it to the drone. 드론으로부터 위치 정보 및 영상 데이터를 수신하는 단계;
위치에 대한 레이블이 부여된 영상 데이터 세트로 학습된 인공 신경망을 이용하여 상기 영상 데이터를 분석하는 단계; 및
상기 분석 결과를 출력하는 단계를 포함하는, 드론 영상을 분석하는 방법.Receiving location information and image data from the drone;
Analyzing the image data using an artificial neural network learned from an image data set labeled with a position; And
A method of analyzing a drone image comprising the step of outputting the analysis result. 영상을 촬영하여 영상 데이터를 생성하는 카메라부;
드론의 위치를 측정하여 위치 데이터를 생성하는 위치 측정부;
상기 영상 데이터를 분석하는 분석부; 및
상기 분석부의 분석 결과를 사용자 장치에 전송하고, 사용자 장치로부터 제어 신호를 수신하는 통신부를 포함하며,
상기 분석부는
상기 위치 측정부로부터 위치 정보를 수신하며,
상기 카메라부로부터 영상 데이터를 수신하며,
위치에 대한 레이블이 부여된 영상 데이터 세트로 학습된 인공 신경망을 이용하여 상기 영상 데이터를 분석하는, 드론 영상 분석 장치.A camera unit for generating image data by photographing an image;
A position measuring unit that measures the position of the drone and generates position data;
An analysis unit that analyzes the image data; And
And a communication unit for transmitting the analysis result of the analysis unit to the user device, and receiving a control signal from the user device,
The analysis unit
Receiving location information from the location measuring unit,
Receiving image data from the camera unit,
A drone image analysis device that analyzes the image data using an artificial neural network learned from an image data set labeled with a location. 제 8 항에 있어서,
상기 인공 신경망은
상기 위치 정보 및 상기 영상 데이터를 입력 받으며,
상기 영상 데이터를 기초로 상기 위치 정보가 지시하는 위치에서 변화가 발생하였는지 여부를 결정하는, 드론 영상 분석 장치.The method of claim 8,
The artificial neural network is
Receiving the location information and the image data,
A drone image analysis apparatus that determines whether a change has occurred in a location indicated by the location information based on the image data. 제 9 항에 있어서,
상기 분석부는
상기 인공 신경망이 변화가 발생한 것으로 결정한 경우, 변화가 발생된 위치 정보 및 변화가 발생된 위치 정보에 대응하는 영상 데이터 중 적어도 하나를 상기 통신부를 통하여 사용자 장치에 전송하는, 드론 영상 분석 장치.The method of claim 9,
The analysis unit
When the artificial neural network determines that the change has occurred, the drone image analysis apparatus transmits at least one of the location information where the change has occurred and the image data corresponding to the location information where the change has occurred to the user device through the communication unit. 제 10 항에 있어서,
상기 분석부는
상기 통신부를 통하여 사용자로부터 분석 결과에 대한 피드백 정보를 수신하며,
상기 피드백 정보가 분석 결과가 잘못된 것임을 지시하는 경우, 상기 변화가 발생된 위치 정보 및 상기 변화가 발생된 위치 정보에 대응하는 영상 데이터를 이용하여 상기 인공 신경망을 학습시키는, 드론 영상 분석 장치.The method of claim 10,
The analysis unit
Receiving feedback information on the analysis result from the user through the communication unit,
When the feedback information indicates that the analysis result is wrong, the artificial neural network is trained by using the location information where the change has occurred and the image data corresponding to the location information where the change has occurred. 제 8 항에 있어서,
상기 분석부는
상기 통신부를 통하여 사용자로부터 변화가 발생된 위치로 이동을 요청하는 제어 신호를 수신하는 경우, 상기 제어 신호를 기초로 비행 경로 정보를 생성하는, 드론 영상 분석 장치.The method of claim 8,
The analysis unit
When receiving a control signal requesting a movement to a location where a change occurs from a user through the communication unit, the drone image analysis apparatus generates flight path information based on the control signal. 영상을 촬영하여 영상 데이터를 생성하는 단계;
드론의 위치를 측정하여 위치 정보를 생성하는 단계;
위치에 대한 레이블이 부여된 영상 데이터 세트로 학습된 인공 신경망을 이용하여 상기 영상 데이터를 분석하는 단계; 및
상기 분석 결과를 사용자 장치에 전송하는 단계를 포함하는, 드론이 영상을 분석하는 방법.Generating image data by photographing an image;
Generating location information by measuring the location of the drone;
Analyzing the image data using an artificial neural network learned from an image data set labeled with a position; And
A method for analyzing an image by a drone, comprising transmitting the analysis result to a user device.
KR1020190088285A 2019-07-22 2019-07-22 Apparatus and method for analyzing images of drones KR20210011186A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190088285A KR20210011186A (en) 2019-07-22 2019-07-22 Apparatus and method for analyzing images of drones

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190088285A KR20210011186A (en) 2019-07-22 2019-07-22 Apparatus and method for analyzing images of drones

Publications (1)

Publication Number Publication Date
KR20210011186A true KR20210011186A (en) 2021-02-01

Family

ID=74571494

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190088285A KR20210011186A (en) 2019-07-22 2019-07-22 Apparatus and method for analyzing images of drones

Country Status (1)

Country Link
KR (1) KR20210011186A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102416275B1 (en) 2021-06-10 2022-07-05 에스큐엔지니어링(주) the verification standard chart of photographing apparatus for facilities inspecting drone and the method of evaluating photographing performance using the same
KR20220112590A (en) * 2021-02-04 2022-08-11 창원대학교 산학협력단 Artificial Intelligence-based Water Quality Contaminant Monitoring System and Method
KR102628294B1 (en) * 2022-12-29 2024-01-23 주식회사 아쎄따 Apparatus and method for measuring floating population using drones

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220112590A (en) * 2021-02-04 2022-08-11 창원대학교 산학협력단 Artificial Intelligence-based Water Quality Contaminant Monitoring System and Method
KR102416275B1 (en) 2021-06-10 2022-07-05 에스큐엔지니어링(주) the verification standard chart of photographing apparatus for facilities inspecting drone and the method of evaluating photographing performance using the same
KR102628294B1 (en) * 2022-12-29 2024-01-23 주식회사 아쎄따 Apparatus and method for measuring floating population using drones

Similar Documents

Publication Publication Date Title
KR20210011186A (en) Apparatus and method for analyzing images of drones
US20100228418A1 (en) System and methods for displaying video with improved spatial awareness
Fusco et al. Indoor localization for visually impaired travelers using computer vision on a smartphone
US10726262B2 (en) Imaging support system, device and method, and imaging terminal
US10970541B2 (en) Geo-registering an aerial image by an object detection model using machine learning
CN109443345B (en) Positioning method and system for monitoring navigation
US10872238B2 (en) Augmented reality system to map and visualize sensor data
JP6943183B2 (en) Positioning device, position identification method, position identification program and camera device
Rane et al. Real object detection using TensorFlow
KR20200031884A (en) Apparatus and method for detecting damages by blight and harmful insects
JP2018106439A (en) Measurement support device
JP2019075037A (en) Information processing apparatus, information processing method, and program
CN112418096A (en) Method and device for detecting falling and robot
KR20210063569A (en) Method and aooaratus for object regobnition using thermal imaging sensor and imaging sensor
WO2022004333A1 (en) Information processing device, information processing system, information processing method, and program
US10438066B2 (en) Evaluation of models generated from objects in video
US11842452B2 (en) Portable display device with overlaid virtual information
US20160012290A1 (en) Photo-Optic Comparative Geolocation System
Baeck et al. Drone based near real-time human detection with geographic localization
KR102351057B1 (en) Apparatus and method for controlling the unmanned aerial vehicle based on disaster complexity
KR20200124899A (en) Apparatus and method for checking facility
KR20210011195A (en) Apparatus and method for generating flight plan information
US20230095339A1 (en) Augmented reality for emergency response
KR102361218B1 (en) Guided weapon, guided weapon system, and method of identifying and tracking target
KR20200060994A (en) Method for monitoring material location using low-power infrared beacon and speed camera and system using the same

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application