KR102580958B1

KR102580958B1 - Learning device, learning method, device and method for determing wildfire for embedding drone

Info

Publication number: KR102580958B1
Application number: KR1020200172383A
Authority: KR
Inventors: 유준혁; 정성우
Original assignee: 대구대학교 산학협력단
Priority date: 2020-12-10
Filing date: 2020-12-10
Publication date: 2023-09-19
Also published as: KR20220082455A

Abstract

본 발명의 일실시예에 따르면, 드론 탑재용 산불 여부 결정 학습 장치에 있어서, 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 미리 설정된 방법을 기초로 입력 이미지를 전처리 하고, 상기 전처리 한 입력 이미지를 기초로 모델을 이용하여 피쳐 맵을 생성하고, 상기 생성한 피쳐 맵을 기초로 산불 여부를 결정한다.According to an embodiment of the present invention, a learning device for determining whether or not a forest fire is mounted on a drone includes at least one processor, wherein the at least one processor preprocesses an input image based on a preset method, and performs the preprocessing. A feature map is generated using a model based on the input image, and whether or not there is a forest fire is determined based on the generated feature map.

Description

A learning device for determining whether a forest fire is mounted on a drone, a learning method for determining a forest fire, a device for determining a forest fire, and a method for determining whether a forest fire is present {LEARNING DEVICE, LEARNING METHOD, DEVICE AND METHOD FOR DETERMING WILDFIRE FOR EMBEDDING DRONE}

아래의 실시예들은 드론 탑재용 산불 여부 결정 학습 장치, 산불 여부 결정 학습 방법, 산불 여부 결정 장치 및 산불 여부 결정 방법에 관한 것이다.The following embodiments relate to a drone-mounted forest fire decision learning device, a forest fire decision learning method, a forest fire decision device, and a forest fire determination method.

머신 러닝(machine learning)은 인공 지능의 한 분야로, 패턴인식과 컴퓨터 학습 이론의 연구로부터 진화한 분야이며, 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야를 말한다. 머신 러닝의 핵심은 표현(representation)과 일반화(generalization)에 있다. 표현이란 데이터의 평가이며, 일반화란 아직 알 수 없는 데이터에 대한 처리이다. 이는 전산 학습 이론 분야이기도 하다.Machine learning is a field of artificial intelligence that evolved from the study of pattern recognition and computer learning theory, and refers to the field of developing algorithms and technologies that enable computers to learn. The core of machine learning lies in representation and generalization. Representation is the evaluation of data, and generalization is the processing of data that is not yet known. This is also a field of computational learning theory.

딥 러닝(deep learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계학습(machine learning) 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야라고 이야기할 수 있다.Deep learning is defined as a set of machine learning algorithms that attempt a high level of abstraction through a combination of several non-linear transformation techniques. In the larger framework, it is a type of machine learning that teaches computers about human thinking. It can be said to be a field.

대한민국 공개특허공보 제10-2020-0109403호(2020.09.23.공개)Republic of Korea Patent Publication No. 10-2020-0109403 (published on September 23, 2020)

본 발명의 실시예에 따르면, 입력 이미지를 기초로 산불 여부를 결정할 수 있는 드론 탑재용 산불 여부 결정 학습 장치 및 산불 여부 결정 학습 방법을 제공할 수 있다.According to an embodiment of the present invention, a drone-mounted forest fire decision learning device and a forest fire decision learning method capable of determining whether a forest fire exists based on an input image can be provided.

또한, 본 발명의 다른 실시예에 따르면, 데이터 증강 기법을 기초로 입력 이미지의 양을 증가시킬 수 있는 드론 탑재용 산불 여부 결정 학습 장치 및 산불 여부 결정 학습 방법을 제공할 수 있다.In addition, according to another embodiment of the present invention, a drone-mounted forest fire decision learning device and a forest fire decision learning method capable of increasing the amount of input images based on data augmentation techniques can be provided.

또한, 본 발명의 또 다른 실시예에 따르면, YCbCr 색상공간 변환 기법을 기초로 입력 이미지를 전처리 할 수 있는 드론 탑재용 산불 여부 결정 학습 장치 및 산불 여부 결정 학습 방법을 제공할 수 있다.In addition, according to another embodiment of the present invention, a drone-mounted forest fire decision learning device and a forest fire decision learning method capable of preprocessing an input image based on the YCbCr color space conversion technique can be provided.

또한, 본 발명의 또 다른 실시예에 따르면, 피쳐 맵을 생성하기 위한 모델 내부에 포함된 적어도 하나의 계층에서 배치 정규화를 수행할 수 있는 드론 탑재용 산불 여부 결정 학습 장치 및 산불 여부 결정 학습 방법을 제공할 수 있다.In addition, according to another embodiment of the present invention, a drone-mounted forest fire decision learning device and a forest fire decision learning method capable of performing batch normalization in at least one layer included within a model for generating a feature map are provided. can be provided.

또한, 본 발명의 또 다른 실시예에 따르면, 입력 이미지를 기초로 산불 여부를 결정할 수 있는 드론 탑재용 산불 여부 결정 장치 및 산불 여부 결정 방법을 제공할 수 있다.In addition, according to another embodiment of the present invention, a drone-mounted forest fire determination device and a forest fire determination method that can determine the presence of a forest fire based on an input image can be provided.

또한, 본 발명의 또 다른 실시예에 따르면, YCbCr 색상공간 변환 기법을 기초로 입력 이미지를 전처리 할 수 있는 드론 탑재용 산불 여부 결정 장치 및 산불 여부 결정 방법을 제공할 수 있다.In addition, according to another embodiment of the present invention, a device for determining whether a forest fire is mounted on a drone and a method for determining whether a forest fire is present can be provided, which can preprocess an input image based on the YCbCr color space conversion technique.

또한, 본 발명의 또 다른 실시예에 따르면, 피쳐 맵을 생성하기 위한 모델 내부에 포함된 적어도 하나의 계층에서 배치 정규화를 수행할 수 있는 드론 탑재용 산불 여부 결정 장치 및 산불 여부 결정 방법을 제공할 수 있다.In addition, according to another embodiment of the present invention, a device for determining whether a forest fire is mounted on a drone capable of performing batch normalization in at least one layer included within a model for generating a feature map and a method for determining whether a forest fire is present are provided. You can.

또한, 상기 적어도 하나의 프로세서는, 데이터 증강 기법을 기초로 상기 입력 이미지의 양을 증가시킬 수 있다.Additionally, the at least one processor may increase the amount of the input image based on a data augmentation technique.

또한, 상기 미리 설정된 방법은, YCbCr 색상공간 변환 기법일 수 있다.Additionally, the preset method may be a YCbCr color space conversion technique.

또한, 상기 모델은, 내부에 포함된 적어도 하나의 계층에서 배치 정규화를 수행할 수 있다.Additionally, the model may perform batch normalization on at least one layer included therein.

본 발명의 다른 실시예에 따르면, 미리 설정된 방법을 기초로 입력 이미지를 전처리 하는 단계, 상기 전처리 한 입력 이미지를 기초로 모델을 이용하여 피쳐 맵을 생성하는 단계 및 상기 생성한 피쳐 맵을 기초로 산불 여부를 결정하는 단계를 포함한다.According to another embodiment of the present invention, preprocessing an input image based on a preset method, generating a feature map using a model based on the preprocessed input image, and generating a feature map based on the generated feature map. It includes the step of determining whether or not.

또한, 상기 드론 탑재용 이미지 분류 학습 방법은, 데이터 증강 기법을 기초로 상기 입력 이미지의 양을 증가시키는 단계를 더 포함할 수 있다.In addition, the drone-mounted image classification learning method may further include increasing the amount of the input image based on a data augmentation technique.

본 발명의 또 다른 실시예에 따르면, 드론 탑재용 산불 여부 결정 장치에 있어서, 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 미리 설정된 방법을 기초로 입력 이미지를 전처리 하고, 상기 전처리 한 입력 이미지를 기초로 모델을 이용하여 피쳐 맵을 생성하고, 상기 생성한 피쳐 맵을 기초로 산불 여부를 결정한다.According to another embodiment of the present invention, an apparatus for determining whether a forest fire is mounted on a drone includes at least one processor, wherein the at least one processor preprocesses an input image based on a preset method, and the preprocessing A feature map is generated using a model based on the input image, and whether or not there is a forest fire is determined based on the generated feature map.

본 발명의 일실시예에 따르면, 입력 이미지를 기초로 산불 여부를 결정할 수 있는 효과가 있다.According to one embodiment of the present invention, it is possible to determine whether or not there is a forest fire based on the input image.

또한, 데이터 증강 기법을 기초로 입력 이미지의 양을 증가시킬 수 있는 효과가 있다.Additionally, there is an effect of increasing the amount of input images based on data augmentation techniques.

또한, YCbCr 색상공간 변환 기법을 기초로 입력 이미지를 전처리 할 수 있는 효과가 있다.In addition, there is an effect of preprocessing the input image based on the YCbCr color space conversion technique.

또한, 피쳐 맵을 생성하기 위한 모델 내부에 포함된 적어도 하나의 계층에서 배치 정규화를 수행할 수 있는 효과가 있다.Additionally, there is an effect of performing batch normalization on at least one layer included within the model for generating a feature map.

도 1은 일실시예에 따른 드론 탑재용 산불 여부 결정 학습 장치의 구성을 나타내는 도면이다.
도 2는 일실시예에 따른 드론 탑재용 산불 여부 결정 학습 방법을 나타내는 플로우 차트이다.
도 3은 일실시예에 따른 드론 탑재용 산불 여부 결정 장치의 구성을 나타내는 도면이다.
도 4는 일실시예에 따른 드론 탑재용 산불 여부 결정 방법을 나타내는 플로우 차트이다.
도 5는 본 발명의 일실시예를 구현하기 위한 예시적인 컴퓨터 시스템의 블록도이다.Figure 1 is a diagram showing the configuration of a learning device for determining whether or not a forest fire is mounted on a drone according to an embodiment.
Figure 2 is a flow chart showing a learning method for determining whether a forest fire is mounted on a drone according to an embodiment.
Figure 3 is a diagram showing the configuration of a device for determining whether a forest fire is mounted on a drone according to an embodiment.
Figure 4 is a flow chart showing a method for determining whether a drone is mounted on a forest fire according to an embodiment.
Figure 5 is a block diagram of an exemplary computer system for implementing one embodiment of the present invention.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the concept of the present invention disclosed in this specification are merely illustrative for the purpose of explaining the embodiments according to the concept of the present invention, and the embodiments according to the concept of the present invention are It may be implemented in various forms and is not limited to the embodiments described herein.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.Since the embodiments according to the concept of the present invention can make various changes and have various forms, the embodiments will be illustrated in the drawings and described in detail in this specification. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosed forms, and includes all changes, equivalents, or substitutes included in the spirit and technical scope of the present invention.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another component, for example, without departing from the scope of rights according to the concept of the present invention, a first component may be named a second component, and similarly The second component may also be named the first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is said to be "connected" or "connected" to another component, it is understood that it may be directly connected to or connected to the other component, but that other components may exist in between. It should be. On the other hand, when it is mentioned that a component is “directly connected” or “directly connected” to another component, it should be understood that there are no other components in between. Other expressions that describe the relationship between components, such as "between" and "immediately between" or "neighboring" and "directly adjacent to" should be interpreted similarly.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.The terms used in this specification are merely used to describe specific embodiments and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise.

본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this specification, terms such as “comprise” or “have” are intended to designate the existence of the described features, numbers, steps, operations, components, parts, or combinations thereof, but are not intended to indicate the presence of one or more other features or numbers. It should be understood that this does not preclude the existence or addition of steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as generally understood by a person of ordinary skill in the technical field to which the present invention pertains.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms as defined in commonly used dictionaries should be interpreted as having meanings consistent with the meanings they have in the context of the related technology, and unless clearly defined in this specification, should not be interpreted in an idealized or overly formal sense. No.

이하의 설명에서 동일한 식별 기호는 동일한 구성을 의미하며, 불필요한 중복적인 설명 및 공지 기술에 대한 설명은 생략하기로 한다.In the following description, the same identification symbol means the same configuration, and unnecessary redundant descriptions and descriptions of known technologies will be omitted.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail by explaining preferred embodiments of the present invention with reference to the accompanying drawings.

도 1은 일실시예에 따른 드론 탑재용 산불 여부 결정 학습 장치의 구성을 나타내는 도면이다. Figure 1 is a diagram showing the configuration of a learning device for determining whether or not a forest fire is mounted on a drone according to an embodiment.

도 1을 참조하면, 일실시예에 따른 드론 탑재용 산불 여부 결정 학습 장치(100)는 증강 모듈(120), 전처리 모듈(130), 모델(140), 결정 모듈(150) 및 손실 함수(160)를 포함한다. Referring to FIG. 1, the drone-mounted forest fire decision learning device 100 according to an embodiment includes an augmentation module 120, a preprocessing module 130, a model 140, a decision module 150, and a loss function 160. ) includes.

일실시예에 따른 드론 탑재용 산불 여부 결정 학습 장치(100)는 입력 이미지(110)를 획득할 수 있다. 이때, 입력 이미지(110)는 산불과 관련된 이미지일 수 있으나, 입력 이미지(110)가 이에 한정되는 것은 아니다. 또한, 입력 이미지(110)는 산불과 관련된 영상의 프레임일 수 있으나, 입력 이미지(110)가 이에 한정되는 것은 아니다.The drone-mounted forest fire determination learning device 100 according to one embodiment may acquire the input image 110. At this time, the input image 110 may be an image related to a forest fire, but the input image 110 is not limited thereto. Additionally, the input image 110 may be a frame of an image related to a forest fire, but the input image 110 is not limited thereto.

일실시에 따라 증강 모듈(120)은 데이터 증강 기법을 기초로 입력 이미지(110)의 양을 미리 설정된 양(예컨대, 3배)으로 증가시킬 수 있다. According to one embodiment, the augmentation module 120 may increase the amount of the input image 110 by a preset amount (eg, three times) based on a data augmentation technique.

일실시에 따라 증강 모듈(120)은 입력 이미지(110)를 가로 방향으로 뒤집어 새로운 입력 이미지를 생성할 수 있다. According to one implementation, the augmentation module 120 may flip the input image 110 horizontally to generate a new input image.

일실시에 따라 증강 모듈(120)은 입력 이미지(110)를 세로 방향으로 뒤집어 새로운 입력 이미지를 생성할 수 있다. According to one implementation, the augmentation module 120 may flip the input image 110 vertically to generate a new input image.

일실시에 따라 증강 모듈(120)은 입력 이미지(110)를 임의의 방향으로 회전시켜 새로운 입력 이미지를 생성할 수 있다. According to one implementation, the augmentation module 120 may generate a new input image by rotating the input image 110 in a random direction.

일실시에 따라 증강 모듈(120)은 입력 이미지(110)의 색상, 채도 및 밝기 중 적어도 어느 하나를 변경하여 새로운 입력 이미지를 생성할 수 있다. According to one embodiment, the augmentation module 120 may generate a new input image by changing at least one of the color, saturation, and brightness of the input image 110.

일실시에 따라 전처리 모듈(130)은 미리 설정된 방법을 기초로 입력 이미지(110)를 전처리 할 수 있다. 이때, 상기 미리 설정된 방법은 YCbCr 색상공간 변환 기법일 수 있으나, 상기 미리 설정된 방법이 이에 한정되는 것은 아니다. According to one implementation, the preprocessing module 130 may preprocess the input image 110 based on a preset method. At this time, the preset method may be a YCbCr color space conversion technique, but the preset method is not limited to this.

일실시에 따라 전처리 모듈(130)은 학습 효과 향상을 위하여 입력 이미지(110)를 YCbCr 색상공간으로 변환할 수 있다. According to one implementation, the preprocessing module 130 may convert the input image 110 into the YCbCr color space to improve the learning effect.

일실시에 따라 모델(140)은 전처리 모듈(130)이 전처리 한 입력 이미지(110)를 기초로 피쳐 맵을 생성할 수 있다. According to one implementation, the model 140 may generate a feature map based on the input image 110 preprocessed by the preprocessing module 130.

일실시에 따라 모델(140)은 내부에 산불과 관련된 특징을 추출하기 위한 딥 뉴럴 네트워크(Deep Neural Network)를 포함할 수 있다. 이때, 상기 딥 뉴럴 네트워크(Deep Neural Network)는 합성곱 신경망(Convolution Neural Network) 일 수 있으나, 상기 딥 뉴럴 네트워크(Deep Neural Network)가 이에 한정되는 것은 아니다. According to one implementation, the model 140 may include a deep neural network therein for extracting features related to forest fires. At this time, the deep neural network may be a convolution neural network, but the deep neural network is not limited thereto.

일실시에 따라 모델(140)은 내부에 복수개의 계층(layer)을 포함할 수 있다.According to one implementation, the model 140 may include a plurality of layers therein.

일실시에 따라 모델(140)은 과적합 감소를 위하여 내부에 포함된 상기 복수개의 계층(layer) 중 적어도 하나의 계층에서 배치 정규화를 수행할 수 있다. According to one embodiment, the model 140 may perform batch normalization on at least one layer among the plurality of layers included therein to reduce overfitting.

일실시에 따라 모델(140)은 전처리 모듈(130)이 전처리 한 입력 이미지(110)가 상기 복수개의 계층(layer) 각각을 통과할 때 상기 복수개의 계층(layer) 각각이 출력하는 출력 값의 분포를 정규화 할 수 있다.According to one embodiment, the model 140 is a distribution of output values output by each of the plurality of layers when the input image 110 preprocessed by the preprocessing module 130 passes through each of the plurality of layers. can be normalized.

일실시에 따라 결정 모듈(150)은 모델(140)이 생성한 피쳐 맵을 기초로 산불 여부를 결정할 수 있다. According to one implementation, the decision module 150 may determine whether there is a forest fire based on the feature map generated by the model 140.

일실시에 따라 결정 모듈(150)은 분류할 클래스의 수만큼 상기 피쳐 맵의 차원을 줄일 수 있다.According to one implementation, the decision module 150 may reduce the dimension of the feature map by the number of classes to be classified.

일실시에 따라 결정 모듈(150)은 평균 풀링층을 포함할 수 있다.In one implementation, the decision module 150 may include an average pooling layer.

일실시에 따라 결정 모듈(150)은 상기 평균 풀링층을 이용하여 상기 차원을 출인 상기 피쳐맵의 평균을 획득할 수 있다. According to one implementation, the decision module 150 may obtain the average of the feature map from the dimension using the average pooling layer.

일실시에 따라 결정 모듈(150)은 미리 설정된 함수 연산을 기초로 상기 피쳐맵의 평균을 분류할 수 있다. 이때, 상기 미리 설정된 함수는 Softmax 일 수 있으나, 상기 미리 설정된 함수가 이에 한정되는 것은 아니다. According to one implementation, the decision module 150 may classify the average of the feature map based on a preset function operation. At this time, the preset function may be Softmax, but the preset function is not limited to this.

일실시에 따라 결정 모듈(150)은 상기 피쳐맵의 평균을 기초로 입력 이미지(110)를 산불 이미지와 산불이 아닌 이미지로 분류하여 산불 여부를 결정할 수 있다. According to one implementation, the decision module 150 may determine whether a forest fire exists by classifying the input image 110 into a forest fire image and a non-forest forest image based on the average of the feature maps.

일실시에 따라 손실 함수(160)는 정답(Ground Truth)(170)을 획득할 수 있다. Depending on the implementation, the loss function 160 may obtain the ground truth 170.

일실시에 따라 손실 함수(160)는 결정 모듈(150)이 입력 이미지(110)를 분류한 결과를 획득할 수 있다. According to one implementation, the loss function 160 may obtain a result of the decision module 150 classifying the input image 110.

일실시에 따라 손실 함수(160)는 정답(Ground Truth)(170)과 결정 모듈(150)이 입력 이미지(110)를 분류한 결과를 기초로 손실(loss)을 결정할 수 있다. 이때, 상기 손실은 정답(Ground Truth)(170)과 결정 모듈(150)이 입력 이미지(110)를 분류한 결과와의 차이일 수 있으나, 상기 손실이 이에 한정되는 것은 아니다. In one implementation, the loss function 160 may determine a loss based on the ground truth 170 and the result of the decision module 150 classifying the input image 110. At this time, the loss may be the difference between the ground truth 170 and the result of the decision module 150 classifying the input image 110, but the loss is not limited to this.

일실시에 따라 손실 함수(160)는 상기 결정한 손실(loss)을 기초로 드론 탑재용 산불 여부 결정 학습 장치(100)에 포함된 적어도 하나의 네트워크(예컨대, 모델)를 업데이트 할 수 있다. According to one embodiment, the loss function 160 may update at least one network (eg, model) included in the drone-mounted forest fire decision learning device 100 based on the determined loss.

다른 실시예에 따라 드론 탑재용 산불 여부 결정 학습 장치(100)는 손실 함수(160)가 결정한 손실(loss)을 기초로 드론 탑재용 산불 여부 결정 학습 장치(100)에 포함된 적어도 하나의 네트워크(예컨대, 모델)를 업데이트 할 수 있다. According to another embodiment, the learning device 100 for determining whether a forest fire is mounted on a drone is based on the loss determined by the loss function 160, at least one network included in the learning device 100 for determining whether a forest fire is mounted on a drone ( For example, a model) can be updated.

여기서 사용된 '모듈'이라는 용어는 논리적인 구성 단위를 나타내는 것으로서, 반드시 물리적으로 구분되는 구성 요소가 아니라는 점은 본 발명이 속하는 기술분야의 당업자에게 자명한 사항이다.It is obvious to those skilled in the art that the term 'module' used herein refers to a logical structural unit and is not necessarily a physically distinct component.

도 2는 일실시예에 따른 드론 탑재용 산불 여부 결정 학습 방법을 나타내는 플로우 차트이다.Figure 2 is a flow chart showing a learning method for determining whether a forest fire is mounted on a drone according to an embodiment.

도 2를 참조하면, 산불 여부 결정 학습 장치가 데이터 증강 기법을 기초로 상기 입력 이미지의 양을 증가시킨다(200).Referring to FIG. 2, a learning device for determining whether there is a forest fire increases the amount of the input image based on a data augmentation technique (200).

이때, 산불 여부 결정 학습 장치는 데이터 증강 기법을 기초로 입력 이미지의 양을 미리 설정된 양(예컨대, 3배)으로 증가시킬 수 있다.At this time, the learning device for determining whether there is a forest fire may increase the amount of the input image to a preset amount (eg, 3 times) based on a data augmentation technique.

또한, 산불 여부 결정 학습 장치는 입력 이미지를 가로 방향으로 뒤집어 새로운 입력 이미지를 생성할 수 있다. Additionally, the forest fire decision learning device can generate a new input image by flipping the input image horizontally.

또한, 산불 여부 결정 학습 장치는 입력 이미지를 세로 방향으로 뒤집어 새로운 입력 이미지를 생성할 수 있다. Additionally, the forest fire decision learning device can generate a new input image by flipping the input image vertically.

또한, 산불 여부 결정 학습 장치는 입력 이미지를 임의의 방향으로 회전시켜 새로운 입력 이미지를 생성할 수 있다.Additionally, the forest fire decision learning device can generate a new input image by rotating the input image in a random direction.

또한, 산불 여부 결정 학습 장치는 입력 이미지의 색상, 채도 및 밝기 중 적어도 어느 하나를 변경하여 새로운 입력 이미지를 생성할 수 있다.Additionally, the device for learning to determine whether there is a forest fire may generate a new input image by changing at least one of the color, saturation, and brightness of the input image.

산불 여부 결정 학습 장치가 미리 설정된 방법을 기초로 입력 이미지를 전처리 한다(210).The forest fire decision learning device preprocesses the input image based on a preset method (210).

이때, 상기 미리 설정된 방법은 YCbCr 색상공간 변환 기법일 수 있으나, 상기 미리 설정된 방법이 이에 한정되는 것은 아니다. At this time, the preset method may be a YCbCr color space conversion technique, but the preset method is not limited to this.

또한, 산불 여부 결정 학습 장치는 학습 효과 향상을 위하여 입력 이미지를 YCbCr 색상공간으로 변환할 수 있다.In addition, the forest fire decision learning device can convert the input image to the YCbCr color space to improve the learning effect.

산불 여부 결정 학습 장치가 상기 전처리 한 입력 이미지를 기초로 모델을 이용하여 피쳐 맵을 생성한다(220).The forest fire decision learning device generates a feature map using a model based on the preprocessed input image (220).

이때, 산불 여부 결정 학습 장치는 전처리 한 입력 이미지를 기초로 피쳐 맵을 생성할 수 있다. At this time, the learning device for determining whether or not a forest fire exists can generate a feature map based on the preprocessed input image.

또한, 산불 여부 결정 학습 장치는 내부에 산불과 관련된 특징을 추출하기 위한 딥 뉴럴 네트워크(Deep Neural Network)를 포함할 수 있다. 이때, 상기 딥 뉴럴 네트워크(Deep Neural Network)는 합성곱 신경망(Convolution Neural Network) 일 수 있으나, 상기 딥 뉴럴 네트워크(Deep Neural Network)가 이에 한정되는 것은 아니다. In addition, the device for learning to determine whether or not a forest fire exists may include a deep neural network therein to extract features related to a forest fire. At this time, the deep neural network may be a convolution neural network, but the deep neural network is not limited thereto.

또한, 산불 여부 결정 학습 장치는 내부에 복수개의 계층(layer)을 포함할 수 있다. Additionally, the learning device for determining whether or not a forest fire exists may include a plurality of layers therein.

또한, 산불 여부 결정 학습 장치는 과적합 감소를 위하여 내부에 포함된 상기 복수개의 계층(layer) 중 적어도 하나의 계층에서 배치 정규화를 수행할 수 있다. In addition, the learning device for determining whether or not there is a forest fire may perform batch normalization on at least one layer among the plurality of layers included therein to reduce overfitting.

또한, 산불 여부 결정 학습 장치는 전처리 한 입력 이미지가 상기 복수개의 계층(layer) 각각을 통과할 때 상기 복수개의 계층(layer) 각각이 출력하는 출력 값의 분포를 정규화 할 수 있다.In addition, the learning device for determining whether a forest fire exists may normalize the distribution of output values output from each of the plurality of layers when a preprocessed input image passes through each of the plurality of layers.

산불 여부 결정 학습 장치가 상기 생성한 피쳐 맵을 기초로 산불 여부를 결정한다(230).The learning device for determining whether or not a forest fire exists determines whether or not a forest fire exists based on the generated feature map (230).

이때, 산불 여부 결정 학습 장치는 분류할 클래스의 수만큼 상기 피쳐 맵의 차원을 줄일 수 있다.At this time, the learning device for determining whether or not a forest fire exists can reduce the dimension of the feature map by the number of classes to be classified.

또한, 산불 여부 결정 학습 장치는 평균 풀링층을 포함할 수 있다.Additionally, the learning device for determining whether or not a forest fire exists may include an average pooling layer.

또한, 산불 여부 결정 학습 장치는 상기 평균 풀링층을 이용하여 상기 차원을 출인 상기 피쳐맵의 평균을 획득할 수 있다. Additionally, the learning device for determining whether or not there is a forest fire may obtain the average of the feature map by calculating the dimension using the average pooling layer.

또한, 산불 여부 결정 학습 장치는 미리 설정된 함수 연산을 기초로 상기 피쳐맵의 평균을 분류할 수 있다. 이때, 상기 미리 설정된 함수는 Softmax 일 수 있으나, 상기 미리 설정된 함수가 이에 한정되는 것은 아니다. Additionally, the learning device for determining whether a forest fire exists may classify the average of the feature map based on a preset function operation. At this time, the preset function may be Softmax, but the preset function is not limited to this.

또한, 산불 여부 결정 학습 장치는 상기 피쳐맵의 평균을 기초로 입력 이미지를 산불 이미지와 산불이 아닌 이미지로 분류하여 산불 여부를 결정할 수 있다.In addition, the learning device for determining whether a forest fire exists can determine whether a forest fire exists by classifying the input image into a forest fire image or a non-wildfire image based on the average of the feature map.

산불 여부 결정 학습 장치가 상기 산불 여부 결정 학습 장치 내부에 포함된 네트워크를 업데이트 한다(240).The forest fire decision learning device updates the network included in the forest fire decision learning device (240).

이때, 산불 여부 결정 학습 장치는 정답(Ground Truth)을 획득할 수 있다. At this time, the learning device for determining whether a forest fire exists can obtain the correct answer (ground truth).

또한, 산불 여부 결정 학습 장치는 입력 이미지를 분류한 결과를 획득할 수 있다. In addition, the forest fire decision learning device can obtain the results of classifying the input image.

또한, 산불 여부 결정 학습 장치는 정답(Ground Truth)과 입력 이미지를 분류한 결과를 기초로 손실(loss)을 결정할 수 있다. 이때, 상기 손실은 정답(Ground Truth)과 입력 이미지를 분류한 결과와의 차이일 수 있으나, 상기 손실이 이에 한정되는 것은 아니다. In addition, the forest fire decision learning device can determine the loss based on the ground truth and the result of classifying the input image. At this time, the loss may be the difference between the ground truth and the result of classifying the input image, but the loss is not limited to this.

또한, 산불 여부 결정 학습 장치는 상기 결정한 손실(loss)을 기초로 드론 탑재용 상기 산불 여부 결정 학습 장치에 포함된 적어도 하나의 네트워크(예컨대, 모델)를 업데이트 할 수 있다.Additionally, the learning device for determining whether or not a forest fire is a forest fire may update at least one network (eg, model) included in the learning device for determining whether or not a forest fire is mounted on a drone based on the determined loss.

도 3은 일실시예에 따른 드론 탑재용 산불 여부 결정 장치의 구성을 나타내는 도면이다. Figure 3 is a diagram showing the configuration of a device for determining whether a forest fire is mounted on a drone according to an embodiment.

도 3을 참조하면, 일실시예에 따른 드론 탑재용 산불 여부 결정 장치(300)는 전처리 모듈(320), 모델(330) 및 결정 모듈(340)을 포함한다. Referring to FIG. 3, a drone-mounted forest fire determination device 300 according to an embodiment includes a preprocessing module 320, a model 330, and a decision module 340.

일실시예에 따른 드론 탑재용 산불 여부 결정 장치(300)는 입력 이미지(310)를 획득할 수 있다. 이때, 입력 이미지(310)는 영상의 프레임일 수 있으나, 입력 이미지(310)가 이에 한정되는 것은 아니다.The drone-mounted forest fire determination device 300 according to one embodiment may acquire an input image 310. At this time, the input image 310 may be a frame of an image, but the input image 310 is not limited thereto.

일실시에 따라 전처리 모듈(320)은 미리 설정된 방법을 기초로 입력 이미지(310)를 전처리 할 수 있다. 이때, 상기 미리 설정된 방법은 YCbCr 색상공간 변환 기법일 수 있으나, 상기 미리 설정된 방법이 이에 한정되는 것은 아니다. According to one implementation, the preprocessing module 320 may preprocess the input image 310 based on a preset method. At this time, the preset method may be a YCbCr color space conversion technique, but the preset method is not limited to this.

일실시에 따라 전처리 모듈(320)은 학습 효과 향상을 위하여 입력 이미지(310)를 YCbCr 색상공간으로 변환할 수 있다. According to one implementation, the pre-processing module 320 may convert the input image 310 into the YCbCr color space to improve the learning effect.

일실시에 따라 모델(330)은 전처리 모듈(320)이 전처리 한 입력 이미지(310)를 기초로 피쳐 맵을 생성할 수 있다. According to one implementation, the model 330 may generate a feature map based on the input image 310 preprocessed by the preprocessing module 320.

일실시에 따라 모델(330)은 내부에 산불과 관련된 특징을 추출하기 위한 학습이 완료된 딥 뉴럴 네트워크(Deep Neural Network)를 포함할 수 있다. 이때, 상기 학습이 완료된 딥 뉴럴 네트워크(Deep Neural Network)는 학습이 완료된 합성곱 신경망(Convolution Neural Network) 일 수 있으나, 상기 학습이 완료된 딥 뉴럴 네트워크(Deep Neural Network)가 이에 한정되는 것은 아니다. According to one implementation, the model 330 may include a deep neural network in which learning has been completed to extract features related to forest fires. At this time, the trained Deep Neural Network may be a trained Convolution Neural Network, but the learned Deep Neural Network is not limited thereto.

일실시에 따라 모델(330)은 내부에 복수개의 계층(layer)을 포함할 수 있다.According to one implementation, the model 330 may include a plurality of layers therein.

일실시에 따라 모델(330)은 과적합 감소를 위하여 내부에 포함된 상기 복수개의 계층(layer) 중 적어도 하나의 계층에서 배치 정규화를 수행할 수 있다. According to one embodiment, the model 330 may perform batch normalization on at least one layer among the plurality of layers included therein to reduce overfitting.

일실시에 따라 모델(330)은 전처리 모듈(320)이 전처리 한 입력 이미지(310)가 상기 복수개의 계층(layer) 각각을 통과할 때 상기 복수개의 계층(layer) 각각이 출력하는 출력 값의 분포를 정규화 할 수 있다.According to one embodiment, the model 330 is a distribution of output values output by each of the plurality of layers when the input image 310 preprocessed by the preprocessing module 320 passes through each of the plurality of layers. can be normalized.

일실시에 따라 결정 모듈(340)은 모델(330)이 생성한 피쳐 맵을 기초로 산불 여부를 결정할 수 있다. According to one implementation, the decision module 340 may determine whether or not there is a forest fire based on the feature map generated by the model 330.

일실시에 따라 결정 모듈(340)은 분류할 클래스의 수만큼 상기 피쳐 맵의 차원을 줄일 수 있다.According to one implementation, the decision module 340 may reduce the dimension of the feature map by the number of classes to be classified.

일실시에 따라 결정 모듈(340)은 평균 풀링층을 포함할 수 있다.In one implementation, the decision module 340 may include an average pooling layer.

일실시에 따라 결정 모듈(340)은 상기 평균 풀링층을 이용하여 상기 차원을 출인 상기 피쳐맵의 평균을 획득할 수 있다. According to one implementation, the decision module 340 may obtain the average of the feature map from the dimension using the average pooling layer.

일실시에 따라 결정 모듈(340)은 미리 설정된 함수 연산을 기초로 상기 피쳐맵의 평균을 분류할 수 있다. 이때, 상기 미리 설정된 함수는 Softmax 일 수 있으나, 상기 미리 설정된 함수가 이에 한정되는 것은 아니다. According to one implementation, the decision module 340 may classify the average of the feature map based on a preset function operation. At this time, the preset function may be Softmax, but the preset function is not limited to this.

일실시에 따라 결정 모듈(340)은 상기 피쳐맵의 평균을 기초로 입력 이미지(310)를 산불 이미지와 산불이 아닌 이미지로 분류한 분류 결과(350)를 출력할 수 있다.According to one implementation, the decision module 340 may output a classification result 350 that classifies the input image 310 into a forest fire image and a non-wildfire image based on the average of the feature maps.

도 4는 일실시예에 따른 드론 탑재용 산불 여부 결정 방법을 나타내는 플로우 차트이다.Figure 4 is a flow chart showing a method for determining whether a drone is mounted on a forest fire according to an embodiment.

도 4를 참조하면, 산불 여부 결정 장치가 미리 설정된 방법을 기초로 입력 이미지를 전처리 한다(400).Referring to FIG. 4, a device for determining whether a forest fire exists preprocesses an input image based on a preset method (400).

또한, 산불 여부 결정 장치는 전처리 효과 향상을 위하여 입력 이미지를 YCbCr 색상공간으로 변환할 수 있다.Additionally, the forest fire determination device can convert the input image to the YCbCr color space to improve the preprocessing effect.

산불 여부 결정 장치가 상기 전처리 한 입력 이미지를 기초로 모델을 이용하여 피쳐 맵을 생성한다(410).The forest fire determination device generates a feature map using a model based on the preprocessed input image (410).

이때, 산불 여부 결정 장치는 전처리 한 입력 이미지를 기초로 피쳐 맵을 생성할 수 있다. At this time, the device for determining whether a forest fire exists may generate a feature map based on the preprocessed input image.

또한, 산불 여부 결정 장치는 내부에 산불과 관련된 특징을 추출하기 위한 학습이 완료된 딥 뉴럴 네트워크(Deep Neural Network)를 포함할 수 있다. 이때, 상기 학습이 완료된 딥 뉴럴 네트워크(Deep Neural Network)는 학습이 완료된 합성곱 신경망(Convolution Neural Network) 일 수 있으나, 상기 학습이 완료된 딥 뉴럴 네트워크(Deep Neural Network)가 이에 한정되는 것은 아니다. Additionally, the device for determining whether a forest fire exists may include a deep neural network in which learning has been completed to extract features related to a forest fire. At this time, the trained Deep Neural Network may be a trained Convolution Neural Network, but the learned Deep Neural Network is not limited thereto.

또한, 산불 여부 결정 장치는 내부에 복수개의 계층(layer)을 포함할 수 있다. Additionally, the device for determining whether a forest fire exists may include a plurality of layers therein.

또한, 산불 여부 결정 장치는 과적합 감소를 위하여 내부에 포함된 상기 복수개의 계층(layer) 중 적어도 하나의 계층에서 배치 정규화를 수행할 수 있다. Additionally, the device for determining whether there is a forest fire may perform batch normalization on at least one layer among the plurality of layers included therein to reduce overfitting.

또한, 산불 여부 결정 장치는 전처리 한 입력 이미지가 상기 복수개의 계층(layer) 각각을 통과할 때 상기 복수개의 계층(layer) 각각이 출력하는 출력 값의 분포를 정규화 할 수 있다.Additionally, the device for determining whether a forest fire exists may normalize the distribution of output values output from each of the plurality of layers when a preprocessed input image passes through each of the plurality of layers.

산불 여부 결정 장치가 상기 생성한 피쳐 맵을 기초로 산불 여부를 결정한다(420).The device for determining whether a forest fire exists or not determines whether a forest fire exists based on the generated feature map (420).

이때, 산불 여부 결정 장치는 분류할 클래스의 수만큼 상기 피쳐 맵의 차원을 줄일 수 있다.At this time, the device for determining whether a forest fire exists may reduce the dimension of the feature map by the number of classes to be classified.

또한, 산불 여부 결정 장치는 평균 풀링층을 포함할 수 있다.Additionally, the device for determining whether a forest fire exists may include an average pooling layer.

또한, 산불 여부 결정 장치는 상기 평균 풀링층을 이용하여 상기 차원을 출인 상기 피쳐맵의 평균을 획득할 수 있다. Additionally, the device for determining whether a forest fire exists may obtain the average of the feature map from the dimension using the average pooling layer.

또한, 산불 여부 결정 장치는 미리 설정된 함수 연산을 기초로 상기 피쳐맵의 평균을 분류할 수 있다. 이때, 상기 미리 설정된 함수는 Softmax 일 수 있으나, 상기 미리 설정된 함수가 이에 한정되는 것은 아니다. Additionally, the device for determining whether a forest fire exists may classify the average of the feature map based on a preset function operation. At this time, the preset function may be Softmax, but the preset function is not limited to this.

또한, 산불 여부 결정 장치는 상기 피쳐맵의 평균을 기초로 입력 이미지를 산불 이미지와 산불이 아닌 이미지로 분류하여 산불 여부를 결정할 수 있다.In addition, the device for determining whether a forest fire exists can determine whether a forest fire exists by classifying the input image into a forest fire image or a non-wildfire image based on the average of the feature map.

도 5는 본 발명의 일실시예를 구현하기 위한 예시적인 컴퓨터 시스템의 블록도이다.Figure 5 is a block diagram of an exemplary computer system for implementing one embodiment of the present invention.

도 5를 참조하면, 본 발명의 일실시예를 구현하기 위한 예시적인 컴퓨터 시스템은 정보를 교환하기 위한 버스 또는 다른 커뮤니케이션 채널(501)을 포함하고, 프로세서(502)는 정보를 처리하기 위하여 버스(501)와 연결된다.Referring to Figure 5, an exemplary computer system for implementing an embodiment of the present invention includes a bus or other communication channel 501 for exchanging information, and a processor 502 uses a bus (502) to process information. 501).

컴퓨터 시스템(500)은 정보 및 프로세서(502)에 의해 처리되는 명령들을 저장하기 위하여 버스(501)와 연결된 RAM(Random Access Memory) 또는 다른 동적 저장 장치인 메인 메모리(503)를 포함한다. The computer system 500 includes a main memory 503, which is a random access memory (RAM) or other dynamic storage device, connected to a bus 501 to store information and instructions processed by a processor 502.

또한, 메인 메모리(503)는 프로세서(502)에 의한 명령들의 실행동안 임시변수들 또는 다른 중간 정보를 저장하기 위해 사용될 수 있다.Additionally, main memory 503 may be used to store temporary variables or other intermediate information during execution of instructions by processor 502.

컴퓨터 시스템(500)은 프로세서(502)에 대한 정적인 정보 또는 명령들을 저장하기 위하여 버스(501)에 결합된 ROM(Read Only Memory) 및 다른 정적 저장장치(504)를 포함할 수 있다.Computer system 500 may include read only memory (ROM) and other static storage devices 504 coupled to bus 501 to store static information or instructions for processor 502 .

마그네틱 디스크, 집(zip) 또는 광 디스크 같은 대량 저장장치(505) 및 그것과 대응하는 드라이브 또한 정보 및 명령들을 저장하기 위하여 컴퓨터 시스템(500)에 연결될 수 있다.A mass storage device 505, such as a magnetic disk, zip, or optical disk, and its corresponding drive may also be connected to the computer system 500 to store information and instructions.

컴퓨터 시스템(500)은 엔드 유저(end user)에게 정보를 디스플레이 하기 위하여 버스(501)를 통해 음극선관 또는 엘씨디 같은 디스플레이 장치(510)와 연결될 수 있다.The computer system 500 may be connected to a display device 510, such as a cathode ray tube or LCD, through a bus 501 to display information to an end user.

키보드(520)와 같은 문자 입력 장치는 프로세서(502)에 정보 및 명령을 전달하기 위하여 버스(501)에 연결될 수 있다.A character input device, such as a keyboard 520, may be connected to the bus 501 to transmit information and commands to the processor 502.

다른 유형의 사용자 입력 장치는 방향 정보 및 명령 선택을 프로세서(502)에 전달하고, 디스플레이(510) 상의 커서의 움직임을 제어하기 위한 마우스, 트랙볼 또는 커서 방향 키들과 같은 커서 컨트롤 장치(530)이다.Another type of user input device is a cursor control device 530, such as a mouse, trackball, or cursor direction keys for conveying directional information and command selection to processor 502 and controlling movement of the cursor on display 510.

통신 장치(540) 역시 버스(501)와 연결된다. Communication device 540 is also connected to bus 501.

통신 장치(540)는 지역 네트워크 또는 광역망에 접속되는 것을 서포트 하기 위하여 모뎀, 네트워크 인터페이스 카드, 이더넷, 토큰 링 또는 다른 유형의 물리적 결합물과 연결하기 위해 사용되는 인터페이스 장치를 포함할 수 있다. 이러한 방식으로 컴퓨터 시스템(500)은 인터넷 같은 종래의 네트워크 인프라 스트럭쳐를 통하여 다수의 클라이언트 및 서버와 연결될 수 있다.Communication device 540 may include an interface device used to connect to a modem, network interface card, Ethernet, token ring, or other type of physical combination to support connection to a local area network or wide area network. In this way, computer system 500 can be connected to multiple clients and servers through a conventional network infrastructure such as the Internet.

여기서 사용된 '장치'라는 용어는 논리적인 구성 단위를 나타내는 것으로서, 반드시 물리적으로 구분되는 구성 요소가 아니라는 점은 본 발명이 속하는 기술분야의 당업자에게 자명한 사항이다.It is obvious to those skilled in the art that the term 'device' used herein refers to a logical structural unit and is not necessarily a physically distinct component.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 적어도 하나로 선택적으로 결합하여 동작할 수도 있다. In the above, even though all the components constituting the embodiment of the present invention have been described as being combined or operated in combination, the present invention is not necessarily limited to this embodiment. That is, within the scope of the purpose of the present invention, all of the components may be selectively combined and operated at least as one.

또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. In addition, although all of the components may be implemented as a single independent hardware, a program module in which some or all of the components are selectively combined to perform some or all of the functions of one or more pieces of hardware. It may also be implemented as a computer program having. The codes and code segments that make up the computer program can be easily deduced by a person skilled in the art of the present invention.

이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.Such a computer program can be stored in a computer-readable storage medium and read and executed by a computer, thereby implementing embodiments of the present invention. Storage media for computer programs may include magnetic recording media, optical recording media, and the like.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. In addition, terms such as “include,” “comprise,” or “have” as used above mean that the corresponding component may be included, unless specifically stated to the contrary, and thus do not exclude other components. Rather, it should be interpreted as being able to include other components.

기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.All terms, including technical or scientific terms, unless otherwise defined, have the same meaning as generally understood by a person of ordinary skill in the technical field to which the present invention pertains. Commonly used terms, such as terms defined in a dictionary, should be interpreted as consistent with the meaning in the context of the related technology, and should not be interpreted in an idealized or overly formal sense unless explicitly defined in the present invention.

본 발명에서 개시된 방법들은 상술된 방법을 달성하기 위한 하나 이상의 동작들 또는 단계들을 포함한다. 방법 동작들 및/또는 단계들은 청구항들의 범위를 벗어나지 않으면서 서로 상호 교환될 수도 있다. 다시 말해, 동작들 또는 단계들에 대한 특정 순서가 명시되지 않는 한, 특정 동작들 및/또는 단계들의 순서 및/또는 이용은 청구항들의 범위로부터 벗어남이 없이 수정될 수도 있다.Methods disclosed herein include one or more acts or steps to achieve the method described above. Method acts and/or steps may be interchanged with one another without departing from the scope of the claims. In other words, unless a specific order of operations or steps is specified, the order and/or use of specific operations and/or steps may be modified without departing from the scope of the claims.

본 발명에서 이용되는 바와 같이, 아이템들의 리스트 중 "그 중 적어도 하나" 를 지칭하는 구절은 단일 멤버들을 포함하여, 이들 아이템들의 임의의 조합을 지칭한다. 일 예로서, "a, b, 또는 c: 중의 적어도 하나" 는 a, b, c, a-b, a-c, b-c, 및 a-b-c 뿐만 아니라 동일한 엘리먼트의 다수의 것들과의 임의의 조합 (예를 들어, a-a, a-a-a, a-a-b, a-a-c, a-b-b, a-c-c, b-b, b-b-b, b-b-c, c-c, 및 c-c-c 또는 a, b, 및 c 의 다른 임의의 순서 화한 것) 을 포함하도록 의도된다.As used herein, a phrase referring to “at least one of” a list of items refers to any combination of those items, including single members. As an example, "at least one of a, b, or c" means a, b, c, a-b, a-c, b-c, and a-b-c, as well as any combination of multiple of the same element (e.g., a-a , a-a-a, a-a-b, a-a-c, a-b-b, a-c-c, b-b, b-b-b, b-b-c, c-c, and c-c-c or any other ordering of a, b, and c).

본 발명에서 이용되는 바와 같이, 용어 "결정하는"는 매우 다양한 동작들을 망라한다. 예를 들어, "결정하는"는 계산하는, 컴퓨팅, 프로세싱, 도출하는, 조사하는, 룩업하는 (예를 들어, 테이블, 데이터베이스, 또는 다른 데이터 구조에서 룩업하는), 확인하는 등을 포함할 수도 있다. 또한, "결정하는"은 수신하는 (예를 들면, 정보를 수신하는), 액세스하는 (메모리의 데이터에 액세스하는) 등을 포함할 수 있다. 또한, "결정하는"은 해결하는, 선택하는, 고르는, 확립하는 등을 포함할 수 있다.As used herein, the term “determining” encompasses a wide variety of operations. For example, “determining” may include calculating, computing, processing, deriving, examining, looking up (e.g., looking up in a table, database, or other data structure), verifying, etc. . Additionally, “determining” can include receiving (e.g., receiving information), accessing (accessing data in memory), and the like. Additionally, “determining” can include resolving, selecting, choosing, establishing, etc.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. The above description is merely an illustrative explanation of the technical idea of the present invention, and various modifications and variations will be possible to those skilled in the art without departing from the essential characteristics of the present invention.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but are for illustrative purposes, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted in accordance with the claims below, and all technical ideas within the equivalent scope should be construed as being included in the scope of rights of the present invention.

100... 드론 탑재용 산불 여부 결정 학습 장치
300... 드론 탑재용 산불 여부 결정 장치100... Forest fire decision learning device mounted on drones
300... A drone-mounted forest fire determination device

Claims

In the drone-mounted forest fire decision learning device,
Contains at least one processor,
The at least one processor,
Preprocess the input image based on a preset method,
Create a feature map using the model based on the preprocessed input image,
Through the decision module, the average of the generated feature map is obtained by reducing the dimension by the number of classes to be classified using an average pooling layer, the average of the obtained feature map is classified based on a preset operation function, and the classified Based on the average of the feature maps, classify the input image into one of a forest fire image and a non-wildfire image to determine whether or not there is a forest fire,
The model is,
A drone that includes a plurality of layers inside and normalizes the distribution of output values output from each of the plurality of layers when the preprocessed input image passes through each of the plurality of layers. Mounted forest fire decision learning device.

According to paragraph 1,
The at least one processor,
A drone-mounted forest fire decision learning device that increases the amount of input images based on data augmentation techniques.

According to paragraph 1,
The preset method is,
A forest fire decision learning device mounted on a drone using the YCbCr color space conversion technique.

delete

In a learning method for determining whether or not a forest fire is mounted on a drone, which is performed in a learning device for determining whether or not a forest fire is mounted on a drone that includes at least one processor,
preprocessing an input image based on a preset method by the at least one processor;
generating, by the at least one processor, a feature map using a model based on the preprocessed input image; and
The at least one processor obtains an average of the generated feature map whose dimension is reduced by the number of classes to be classified using an average pooling layer through a decision module, and calculates the average of the obtained feature map based on a preset operation function. Classifying the input image as one of a forest fire image and a non-wildfire image based on the average of the classified feature maps to determine whether or not there is a forest fire,
The model is,
A drone that includes a plurality of layers inside and normalizes the distribution of output values output from each of the plurality of layers when the preprocessed input image passes through each of the plurality of layers. A learning method for determining whether a forest fire is onboard.

According to clause 5,
The method of learning to determine whether a forest fire is mounted on the drone is,
increasing the amount of the input image by the at least one processor based on a data augmentation technique.
A learning method for determining whether a forest fire is mounted on a drone, further comprising:

According to clause 5,
The preset method is,
A learning method to determine whether a forest fire is mounted on a drone using the YCbCr color space conversion technique.

delete

In the drone-mounted forest fire determination device,
Contains at least one processor,
The at least one processor,
Preprocess the input image based on a preset method,
Create a feature map using the model based on the preprocessed input image,
Through the decision module, the average of the generated feature map is obtained by reducing the dimension by the number of classes to be classified using an average pooling layer, the average of the obtained feature map is classified based on a preset operation function, and the classified Based on the average of the feature maps, classify the input image into one of a forest fire image and a non-wildfire image to determine whether or not there is a forest fire,
The model is,
A drone that includes a plurality of layers inside and normalizes the distribution of output values output from each of the plurality of layers when the preprocessed input image passes through each of the plurality of layers. Mounted forest fire determination device.

According to clause 9,
The preset method is,
A drone-mounted forest fire determination device using the YCbCr color space conversion technique.

delete

In the method of determining whether a forest fire is mounted on a drone, which is performed in a device for determining whether a forest fire is mounted on a drone including at least one processor,
preprocessing an input image based on a preset method by the at least one processor;
generating, by the at least one processor, a feature map using a model based on the preprocessed input image; and
The at least one processor obtains an average of the generated feature map whose dimension is reduced by the number of classes to be classified using an average pooling layer through a decision module, and calculates the average of the obtained feature map based on a preset operation function. Classifying the input image as one of a forest fire image and a non-wildfire image based on the average of the classified feature maps to determine whether or not there is a forest fire,
The model is,
A drone that includes a plurality of layers inside and normalizes the distribution of output values output from each of the plurality of layers when the preprocessed input image passes through each of the plurality of layers. How to determine whether a wildfire is available for onboard use.

According to clause 12,
The preset method is,
How to determine whether a forest fire is mounted on a drone using the YCbCr color space conversion technique.

delete