KR20220115665A - Apparatus for detecting the damage location of forest pests based on multifactorial images - Google Patents

Apparatus for detecting the damage location of forest pests based on multifactorial images Download PDF

Info

Publication number
KR20220115665A
KR20220115665A KR1020210017646A KR20210017646A KR20220115665A KR 20220115665 A KR20220115665 A KR 20220115665A KR 1020210017646 A KR1020210017646 A KR 1020210017646A KR 20210017646 A KR20210017646 A KR 20210017646A KR 20220115665 A KR20220115665 A KR 20220115665A
Authority
KR
South Korea
Prior art keywords
image
patch
images
unit
classification model
Prior art date
Application number
KR1020210017646A
Other languages
Korean (ko)
Other versions
KR102517326B1 (en
Inventor
이준환
유첩
장예예
Original Assignee
전북대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전북대학교산학협력단 filed Critical 전북대학교산학협력단
Priority to KR1020210017646A priority Critical patent/KR102517326B1/en
Publication of KR20220115665A publication Critical patent/KR20220115665A/en
Application granted granted Critical
Publication of KR102517326B1 publication Critical patent/KR102517326B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to an apparatus for detecting forest pests based on multispectral images, comprising: a classification model having learned a correlation between a patch image and a wilt disease damage probability; a classification model training part for extracting a plurality of patch images from a previously acquired multispectral image and training the classification model based on the patch image; an image receiving part for receiving the multispectral image acquired and provided by an external device and extracting a plurality of patch images from the received multispectral image; a heat map forming part for obtaining a plurality of wilt disease damage probabilities corresponding to each of the plurality of patch images extracted by the image receiving part using the classification model, and collecting and averaging the plurality of wilt disease damage probabilities for each pixel to form a heat map; and a pest detector for spatially searching for a local maximum probability location in the heat map, and estimating and reporting the location of forest pest damage based on the search result.

Description

다중분광 영상에 기반을 둔 산림 병해충 탐지 장치{Apparatus for detecting the damage location of forest pests based on multifactorial images}Apparatus for detecting the damage location of forest pests based on multifactorial images

본 발명은 산림 병해충 탐지 장치에 관한 것으로, 특히 RGB, NIR, RedEdge 5밴드의 다중분광 영상을 이용하여 산림 병해충 피해 위치를 보다 정확하고 효과적으로 탐지할 수 있도록 하는 산림 병해충 탐지 장치에 관한 것이다. The present invention relates to a forest pest detection apparatus, and more particularly, to a forest pest detection apparatus capable of more accurately and effectively detecting a damage location of a forest pest using multispectral images of RGB, NIR, and RedEdge 5 bands.

최근 인공지능 딥러닝 모델의 발전에 힘입어 다양한 분야에 인공지능 모델의 적용의 성공사례가 보고되고 있다. 특별히 영상분석 분야에서의 성공은 여러가지 응용을 가능하게 만들었다.Recently, thanks to the development of artificial intelligence deep learning models, successful cases of application of artificial intelligence models in various fields have been reported. The success in particular in the field of image analysis has made a number of applications possible.

이들 중에 딥러닝 기반의 항공영상 분석의 정확성은 영상분류, 세그멘테이숀, 객체 검출 분야에서 과거의 영상분석방법의 패러다임을 변화시켰을 뿐만 아니라 수 많은 성공적 사례의 등장으로 이어지고 있다.Among them, the accuracy of deep learning-based aerial image analysis has not only changed the paradigm of the past image analysis methods in image classification, segmentation, and object detection, but has also led to the appearance of numerous successful cases.

한편, 소나무 재선충은 한국과 일본, 중국을 포함한 동아시아 지역의 소나무산림에 막대한 피해를 주는 원인이며, 피해목의 조기 발견과 제거는 재선충 확산을 막는 효과적인 방법이다.On the other hand, pine wilt nematodes cause enormous damage to pine forests in East Asia including Korea, Japan, and China, and early detection and removal of damaged trees is an effective way to prevent the spread of pine nematodes.

이에 항공이나 드론을 통해 획득된 영상을 딥러닝 기반으로 분석하여 산림 병해충 피해 위치를 추출하는 기술이 개발되고 있으나, 이의 정확도가 충분치 않는 한계가 있다. Accordingly, a technology for extracting the damage location of forest pests by analyzing images acquired through air or drones based on deep learning is being developed, but the accuracy thereof is insufficient.

종래에는 RGB 영상을 기반으로 산림 병해충 피해 위치를 탐지하도록 하므로, 가시광선 영역에서의 산림 병해충 피해 위치 탐지 동작만이 가능한 한계가 있었다. Conventionally, since the location of damage by forest pests is detected based on the RGB image, there is a limit in which only the location detection operation of damage by forest pests in the visible light region is possible.

국내공개특허 제10-2018-0010718호(공개일자 : 2018.01.31)Domestic Patent Publication No. 10-2018-0010718 (published date: January 31, 2018)

이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 RGB 영상 대신에 RGB, NIR, RedEdge 5밴드의 다중분광 영상을 이용하여 산림 병해충 피해 위치를 탐지하도록 하는 다중분광 영상에 기반한 산림 병해충 탐지 장치를 제공하고자 한다. Accordingly, in order to solve the above problems, the present invention provides a forest pest detection apparatus based on a multi-spectral image that detects the damage location of forest pests using multi-spectral images of RGB, NIR, and RedEdge 5 bands instead of RGB images. would like to provide

또한 다중분광 영상에서 다수의 패치를 추출하는 방식으로 다량의 학습 데이터를 확보함으로써, 최소한의 비용으로 극대화된 탐지 정확도를 보장할 수 있도록 하는 다중분광 영상에 기반한 산림 병해충 탐지 장치를 제공하고자 한다. In addition, it is intended to provide a forest pest detection device based on a multispectral image that can ensure maximum detection accuracy at a minimum cost by securing a large amount of training data by extracting multiple patches from a multispectral image.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the object mentioned above, and other objects not mentioned will be clearly understood by those of ordinary skill in the art from the following description.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면 패치 영상과 재선충 피해 확률간의 상관관계가 학습된 분류 모델; 기 획득된 다중분광 영상으로부터 다수의 패치 영상을 추출하고, 패치 영상 기반으로 상기 분류 모델을 학습시키는 분류 모델 학습부; 외부 장치에 의해 획득 및 제공되는 다중분광 영상을 수신하고, 상기 수신된 다중분광 영상으로부터 다수의 패치 영상을 추출하는 영상 수신부; 상기 분류 모델을 이용하여 상기 영상 수신부를 통해 추출된 다수의 패치 영상 각각에 대응되는 다수의 재선충 피해 확률을 획득한 후, 다수의 재선충 피해 확률을 픽셀 단위로 수집 및 평균내어 히트맵을 구성하는 히트맵 구성부; 및 상기 히트맵에서 공간적으로 국부 최대 확률 위치를 탐색하고, 탐색 결과를 기반으로 산림 병해충 피해 위치를 추정 및 통보하는 병해충 탐지부를 포함하는 다중분광 영상에 기반한 산림 병해충 탐지 장치를 제공한다. As a means for solving the above problem, according to an embodiment of the present invention, a classification model in which a correlation between a patch image and a wilt disease damage probability is learned; a classification model learning unit extracting a plurality of patch images from the previously acquired multispectral image and learning the classification model based on the patch image; an image receiving unit for receiving a multispectral image obtained and provided by an external device and extracting a plurality of patch images from the received multispectral image; After obtaining a plurality of wilt damage probabilities corresponding to each of the plurality of patch images extracted through the image receiving unit using the classification model, the plurality of wilt worm damage probabilities are collected and averaged in units of pixels to form a heat map map configuration unit; and a pest detection unit that spatially searches for a local maximum probability location in the heat map and estimates and notifies a forest pest damage location based on the search result.

상기 다중분광 영상은 RGB, NIR, RedEdge 5개의 밴드를 가지는 영상인 것을 특징으로 한다. The multispectral image is characterized in that it is an image having five bands, RGB, NIR, and RedEdge.

상기 분류 모델은 패치 영상에 대응되는 영상 특징을 추출하는 다수의 콘볼루션 레이어와 풀링 레이어를 구비하는 잔차 신경망과, 영상 특징 추출값을 확률 값으로 변환하여 출력하는 소프트맥스 블록으로 구성되는 것을 특징으로 한다. The classification model consists of a residual neural network having a plurality of convolutional layers and a pooling layer for extracting image features corresponding to patch images, and a softmax block that converts image feature extraction values into probability values and outputs them. do.

상기 분류 모델 학습부는 기 획득된 데이터베이스로부터 다수의 다중분광 영상을 획득하는 다중분광 영상 획득부; 상기 다중분광 영상 각각으로부터 다수의 패치 영상을 추출한 후, 상기 다수의 패치 영상 각각을 산림 병해충 피해 위치에 대응되는 정예제 영상과, 그렇지 않은 패치 영상은 부예제 영상으로 구분하는 패치 영상 추출부; 상기 정예제 영상을 기하 변형 시킨 후, 변형된 영상에 기반하여 패치 영상을 추가 추출하여 데이터 증강시키는 정예제 영상 증강부; 상기 정예제 영상와 상기 부예제 영상 기반으로 패치 영상을 입력 조건을 가지고 재선충 피해 확률을 출력 조건으로 가지는 다수의 학습 데이터를 생성하는 학습 데이터 생성부; 및 상기 다수의 학습 데이터를 통해 상기 분류 모델을 학습 및 검증하는 학습 수행부를 포함하는 것을 특징으로 한다. The classification model learning unit includes: a multi-spectral image acquisition unit for acquiring a plurality of multi-spectral images from a previously acquired database; a patch image extractor for extracting a plurality of patch images from each of the multispectral images, and dividing each of the plurality of patch images into an elite image corresponding to a location damaged by forest pests and a sub-sample image for other patch images; After geometrically deforming the elite image, an elite image augmentation unit for augmenting data by additionally extracting a patch image based on the deformed image; a learning data generation unit for generating a plurality of learning data based on the pre-example image and the sub-example image, having a patch image as an input condition and a wilt disease damage probability as an output condition; and a learning performing unit for learning and verifying the classification model through the plurality of learning data.

상기 정예제 영상 증강부는 상기 정예제 영상와 상기 부예제 영상 개수를 일치시키는 것을 특징으로 한다. The elite image augmentation unit is characterized in that the number of the regular image and the number of the sub-example images are matched.

상기 학습 데이터 생성부와 상기 영상 분류부는 상기 분류 모델의 영상 입력 크기와 상기 패치 영상의 크기가 상이한 경우, 상기 패치 영상의 크기를 바이큐빅(bicubic) 보간법에 따라 확장한 후 상기 분류 모델에 입력하는 것을 특징으로 한다. When the image input size of the classification model is different from the size of the patch image, the training data generation unit and the image classification unit expand the size of the patch image according to bicubic interpolation and then input it into the classification model characterized in that

상기 히트맵 구성부는 다수의 패치 영상 각각에 대응되는 다수의 재선충 피해 확률을 패치 영상 추출 위치 기반으로 중첩시켜 배치한 후, 동일 위치에 중첩된 확률들의 평균치를 산출하여 픽셀별 확률을 결정하는 확률 평균화부; 및 상기 픽셀별 확률을 픽셀별 색상으로 변환한 후 2차원 영상으로 재구성하여 히트맵을 구성하는 색상 매칭부를 포함하는 것을 특징으로 한다. The heat map construction unit overlaps a plurality of wilt damage probabilities corresponding to each of a plurality of patch images based on a patch image extraction location and arranges them, and then calculates an average value of the overlapped probabilities at the same location to determine a probability for each pixel. stoker; and a color matching unit configured to construct a heat map by converting the probability of each pixel into a color of each pixel and reconstructing the two-dimensional image.

상기 병해충 탐지부는 히트맵의 색상 분포도에 기반하여 병해충 피해 발생 위치, 병해충 피해 범위, 병해충 피해 발생 위치의 밀집도 중 적어도 하나를 탐지하여 사용자 안내하는 것을 특징으로 한다. The pest detection unit detects at least one of a pest damage occurrence location, a pest damage range, and a density of a pest damage occurrence location based on the color distribution of the heat map to guide the user.

상기 병해충 탐지부는 동일 지역의 히트맵을 소정 기간에 걸쳐 추적 모니터링하여, 병해충 피해 범위 증감 정도, 병해충 피해 진행 방향 중 적어도 하나를 탐지하여 사용자에 추가 안내하는 것을 특징으로 한다. The pest detection unit tracks and monitors the heat map of the same area over a predetermined period, detects at least one of a pest damage range increase/decrease, and a pest damage progression direction, and additionally guides the user.

본 발명은 RGB, NIR, RedEdge 5밴드의 다중분광 영상을 이용하여 산림 병해충 피해 위치를 탐지하도록 함으로써, 기존의 RGB 영상만으로는 검출할 수 없었던 산림 병해충까지도 정확하게 탐지할 수 있도록 한다. The present invention detects the damage location of forest pests using multi-spectral images of RGB, NIR, and RedEdge 5 bands, so that even forest pests that could not be detected only with existing RGB images can be accurately detected.

또한 다중분광 영상의 획득 비용이 고가인 점을 고려하여 최소한의 다중분광 영상을 획득하되, 하나의 다중분광 영상으로 다수의 패치 영상을 추출 및 이용하여 분류 모델을 딥러닝시키도록 함으로써, 시스템 구축 비용은 최소화하되 높은 탐지 정확도를 보장할 수 있도록 한다. In addition, considering the high cost of acquiring multispectral images, a minimum multispectral image is acquired, but by extracting and using multiple patch images with one multispectral image to deep-lear the classification model, the system construction cost is minimized, but high detection accuracy can be guaranteed.

더하여, 산림 병해충 피해위치의 공간적인 분포 및 경향을 대략적으로 보여줄 수 있는 히트맵을 이용하여 산림 병해충 피해 위치 탐지 동작을 수행하도록 함으로써, 산림 병해충 탐지 결과에 대한 개략적 정보와 상세 정보 모두를 다양하게 획득하고 사용자에게 제공할 수 있도록 한다. In addition, by using a heat map that can roughly show the spatial distribution and trend of forest pest damage locations, the forest pest damage location detection operation is performed, thereby obtaining both schematic information and detailed information on forest pest detection results in a variety of ways. and make it available to users.

도 1은 본 발명의 일 실시예에 따른 다중분광 영상에 기반한 산림 병해충 탐지 장치를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 분류 모델을 도시한 도면이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 분류 모델 학습부를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 히트맵 구성부를 설명하기 위한 도면이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 병해충 탐지부의 동작 방법을 설명하기 위한 도면들이다. 1 is a diagram illustrating an apparatus for detecting forest pests based on a multispectral image according to an embodiment of the present invention.
2 is a diagram illustrating a classification model according to an embodiment of the present invention.
3 and 4 are diagrams for explaining a classification model learning unit according to an embodiment of the present invention.
5 is a view for explaining a heat map component according to an embodiment of the present invention.
6 and 7 are diagrams for explaining a method of operating a pest detection unit according to an embodiment of the present invention.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.The following is merely illustrative of the principles of the invention. Therefore, those skilled in the art will be able to devise various devices that, although not explicitly described or shown herein, embody the principles of the present invention and are included within the spirit and scope of the present invention. Further, it is to be understood that all conditional terms and examples listed herein are, in principle, expressly intended solely for the purpose of enabling the concept of the present invention to be understood, and not limited to such specifically enumerated embodiments and states. should be

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.Moreover, it is to be understood that all detailed description reciting the principles, aspects, and embodiments of the invention, as well as specific embodiments, are intended to cover structural and functional equivalents of such matters. It is also to be understood that such equivalents include not only currently known equivalents, but also equivalents developed in the future, i.e., all devices invented to perform the same function, regardless of structure.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.Thus, for example, the block diagrams herein are to be understood as representing conceptual views of illustrative circuitry embodying the principles of the present invention. Similarly, all flowcharts, state transition diagrams, pseudo code, etc. may be tangibly embodied on computer-readable media and be understood to represent various processes performed by a computer or processor, whether or not a computer or processor is explicitly shown. should be

도 1은 본 발명의 일 실시예에 따른 다중분광 영상에 기반한 산림 병해충 탐지 장치를 도시한 도면이다. 1 is a diagram illustrating an apparatus for detecting forest pests based on a multispectral image according to an embodiment of the present invention.

도 1을 참고하면, 본 발명의 장치(100)는 패치 영상과 재선충 피해 확률간의 상관관계가 학습된 분류 모델(110), 기 획득된 다중분광 영상으로부터 다수의 패치 영상을 추출하고, 패치 영상 기반으로 분류 모델(110)을 학습시키는 분류 모델 학습부(120), 항공, 드론 등과 같은 외부 장치가 획득 및 제공하는 다중분광 영상을 수신한 후, 수신된 다중분광 정사영으로부터 다수의 패치 영상을 추출하는 영상 수신부(130), 분류 모델(110)을 이용하여 패치 영상 각각에 대응되는 다수의 재선충 피해 확률을 획득한 후, 다수의 재선충 피해 확률을 픽셀 단위로 수집 및 평균내어 히트맵을 구성하는 히트맵 구성부(140) 및 히트맵에서 공간적으로 국부 최대 확률 위치를 탐색하고, 탐색 결과를 기반으로 산림 병해충 피해 위치를 추정 및 통보하는 병해충 탐지부(150) 등을 포함하여 구성된다. Referring to FIG. 1, the apparatus 100 of the present invention extracts a plurality of patch images from a classification model 110 in which a correlation between a patch image and a wilt damage probability has been learned, a pre-obtained multispectral image, and is based on the patch image. After receiving the multispectral image obtained and provided by the classification model learning unit 120 for learning the classification model 110 as an external device such as an aviation, drone, etc., extracting a plurality of patch images from the received multispectral orthographic projection After obtaining a plurality of wilt damage probabilities corresponding to each patch image by using the image receiving unit 130 and the classification model 110 , a heat map is formed by collecting and averaging the plurality of wilt damage probabilities in units of pixels to form a heat map It is configured to include a configuration unit 140 and a pest detection unit 150 for estimating and notifying a forest pest damage location based on the search result, spatially searching for a local maximum probability location in the heat map.

즉, 본 발명에서는 RGB, NIR, RedEdge 등을 포함하는 다중 분광 정사영상으로부터 패치기반 분류 모델을 구성하고, 이를 활용하여 히트맵을 생성하며, 이 히트맵으로부터 소나무재선충 감염 의심목 등 산림 병해충 피해현황과 변화를 개괄적으로 파악하고, 그 피해 위치를 탐지할 수 있도록 한다. That is, in the present invention, a patch-based classification model is constructed from multi-spectral orthogonal images including RGB, NIR, RedEdge, etc., and a heat map is generated using this, and from this heat map, forest pest damage status such as trees suspected of being infected with pine wilt nematode. and changes in general, and the location of the damage can be detected.

특히, 본 발명에서는 패치기반 분류 모델을 사용하는 이유는 고가의 다중분광 영상을 딥러닝 학습에 필요한 만큼 다량으로 준비할 수 없기 때문이다. 즉, 한 장의 다중분광 영상을 나누어 다수의 패치로 구성함으로써, 최소한의 다중분광 영상으로부터 다량의 학습 데이터를 얻어 딥러닝 분류 모델 학습이 가능하기 때문이다. In particular, the reason for using the patch-based classification model in the present invention is that expensive multispectral images cannot be prepared as much as necessary for deep learning learning. That is, by dividing a single multispectral image into multiple patches, it is possible to learn a deep learning classification model by obtaining a large amount of learning data from a minimum multispectral image.

이하, 도 2 내지 도 5를 참고하여 본 발명의 구성을 보다 상세히 설명하도록 한다. Hereinafter, the configuration of the present invention will be described in more detail with reference to FIGS. 2 to 5 .

도 2는 본 발명의 일 실시예에 따른 분류 모델을 도시한 도면이다. 2 is a diagram illustrating a classification model according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 본 발명의 분류 모델(110)은 18 레이어 기반 잔차 신경망(ResNet18)과 소프트맥스 블록(softmax)으로 구성되어, 다중분광 영상으로부터 추출된 T×T (예를 들어, 32×32) 패치 영상 기반으로 재선충 피해 확률을 예측하도록 한다. As shown in Figure 2, the classification model 110 of the present invention is composed of an 18-layer-based residual neural network (ResNet18) and a softmax block (softmax), and T × T (e.g., 32×32) Predict the damage probability based on the patch image.

즉, 본 발명에서는 학습 데이터가 풍부하지 않음을 고려하여, 최소한의 학습 데이터만으로도 우수한 성능을 보장하고 복잡성이 적절한 ResNet18을 백본으로 사용하도록 한다. That is, in the present invention, considering that training data is not abundant, ResNet18 is used as a backbone to ensure excellent performance with minimal training data and to have appropriate complexity.

본 발명의 ResNet18은 표 1에서와 같은 17개의 콘볼루션 레이어와 1개의 풀링 레이어를 가질 수 있으며, 패치 영상은 ResNet18을 통해 콘볼루션과 해상도 과정을 거친 후 2단의 FC(Fully Connected) 레이어를 거치면서 1000차원의 특징으로 만들어지며 이는 softmax 블록에 의해 확률 값으로 변환되게 된다. ResNet18 of the present invention may have 17 convolutional layers and one pooling layer as shown in Table 1, and the patch image goes through convolution and resolution process through ResNet18, and then goes through two FC (Fully Connected) layers. and 1000-dimensional features, which are converted into probability values by the softmax block.

Figure pat00001
Figure pat00001

이때, ResNet18의 첫 번째 콘볼루션 레이어(즉, 입력 레이어)는 5개의 채널을 가지는 것이 바람직한데, 이는 패치 영상이 RGB, NIR, RedEdge 5개의 밴드를 가지는 영상이기 때문이다. At this time, it is preferable that the first convolutional layer (ie, input layer) of ResNet18 has 5 channels, because the patch image is an image having 5 bands of RGB, NIR, and RedEdge.

도 3 및 도 4는 본 발명의 일 실시예에 따른 분류 모델 학습부를 설명하기 위한 도면이다. 3 and 4 are diagrams for explaining a classification model learning unit according to an embodiment of the present invention.

도 3에 도시된 바와 같이, 본 발명의 분류 모델 학습부(120)는 다중분광 영상 획득부(121), 패치 영상 추출부(122), 정예제 영상 증강부(123), 학습 데이터 생성부(124), 학습 수행부(125) 등을 포함하여 구성된다. As shown in FIG. 3 , the classification model learning unit 120 of the present invention includes a multispectral image acquisition unit 121 , a patch image extraction unit 122 , an elite image augmentation unit 123 , and a training data generation unit ( 124), the learning execution unit 125, and the like.

영상 획득부(121)는 기 획득된 데이터베이스로부터 산림 병해충 피해가 발생한 산림을 촬영한 다중분광 영상과 산림 병해충 피해가 발생하지 않는 산림을 촬영한 다중분광 영상을 랜덤 획득한다. The image acquisition unit 121 randomly acquires a multi-spectral image of a forest in which damage by forest pests and pests has occurred and a multi-spectral image of a forest in which damage by forest pests do not occur from the previously acquired database.

패치 영상 추출부(122)는 다중분광 영상으로부터 32×32 패치영상을 좌에서 우로 위에서 아래로 중첩시키며 뜯어내는 방식으로 하나의 다중분광 영상으로부터 다수의 패치 영상을 추출한다. 그리고 다수의 패치 영상을 산림 병해충 피해 위치에 대응되는 정예제(positive example) 영상과, 그렇지 않은 패치 영상은 부예제(negative example) 영상으로 구분한다. The patch image extractor 122 extracts a plurality of patch images from one multispectral image by overlapping and tearing the 32×32 patch images from the multispectral image from left to right from top to bottom. In addition, a plurality of patch images are divided into positive example images corresponding to forest pest damage locations, and patch images that do not are divided into negative example images.

참고로, 정예제 영상과 부예제 영상의 개수 불균형은 학습에 좋지 않은 영향을 줄 수 있기 때문에 서로 동일한 것이 바람직한데, 산림 병해충은 협소 지역에 한정되어 발생되는 특징이 있어 다중분광 영상으로부터 추출 가능한 정예제 영상의 개수는 부예제 영상의 개수보다 매우 작게 된다. 이에 본 발명은 정예제 영상 증강부(123)를 추가 구비하고, 이를 통해 정예제 영상의 개수를 증강시켜 부예제 영상의 개수와 동일해지도록 한다. For reference, it is desirable to have the same number of non-existent images and sub-images because they may adversely affect learning. The number of example images is much smaller than the number of sub-example images. Accordingly, the present invention further includes an exemplary image augmentation unit 123, and through this, the number of exemplary images is augmented to be equal to the number of sub-example images.

정예제 영상 증강부(123)는 정예제 영상을 회전(rotation) 및 상하 또는 좌우 뒤집기(flipping) 등의 방식으로 다양하게 변형한 후, 변형된 영상 각각에서 패치 영상을 추가 추출하는 방식으로 데이터를 증강한다. The elite image augmentation unit 123 transforms the elite image in various ways such as rotation and up/down or left/right flipping, etc., and then extracts the patch image from each of the transformed images. augment

예를 들어, 도 4에서와 같이 동일 지점이 촬영된 정예제 영상 소정 개를 조합하여 산림 병해충 피해 지점이 중앙 위치하는 W×W (예를 들어, 400x400) 패치영상을 생성한 후, 이를 15도 단위의 회전, 좌우 뒤집기, 상하 뒤집기 중 적어도 하나의 방식으로 다양하게 기하학적 변환시킨다. 그리고 변환 완료된 400x400 패치 영상의 중앙과 4 방향에서 32×32 패치 영상 5개를 중첩하여 뜯어내는 방식으로 데이터 개수를 증강할 수 있다. For example, as in FIG. 4, a W×W (eg, 400×400) patch image in which a forest pest damage point is located in the center is generated by combining a predetermined number of elite images taken at the same point, and then Various geometric transformations are performed in at least one of unit rotation, horizontal flipping, and vertical flipping. In addition, the number of data can be augmented by overlapping and tearing out five 32×32 patch images in the center and 4 directions of the converted 400×400 patch image.

학습 데이터 생성부(124)는 정예제 영상과 부예제 영상에 기반하여 패치 영상을 입력 조건을 가지고 재선충 피해 확률을 출력 조건으로 가지는 학습 데이터를 다수개 생성한다. The training data generator 124 generates a plurality of training data having a patch image as an input condition and a wilt worm damage probability as an output condition based on the prime example image and the sub example image.

더하여, 앞서 설명된 ResNet18의 영상 입력크기는 224×224인 반면, 패치 영상의 크기는 32×32이므로, 본 발명에서는 바이큐빅(bicubic) 보간법 등을 이용하여 32×32 패치 영상을 224×224 영상으로 확장한 후 ResNet18에 입력하도록 한다. 즉, ResNet18의 입력 크기와 패치 영상의 크기가 상이한 경우, 패치 영상을 크기 확장시켜 ResNet18의 입력 크기에 일치시킨 후, ResNet18에 입력함으로써, 크기 불일치로 인한 오동작 가능성을 사전 차단하도록 한다. In addition, the image input size of ResNet18 described above is 224 × 224, whereas the size of the patch image is 32 × 32, so in the present invention, a 32 × 32 patch image is converted to a 224 × 224 image using bicubic interpolation. After expanding to ResNet18, enter it into ResNet18. That is, when the size of the input size of ResNet18 and the size of the patch image are different, the size of the patch image is expanded to match the input size of ResNet18, and then input to ResNet18 to prevent the possibility of malfunction due to size mismatch.

학습 수행부(125)는 다수개의 학습 데이터를 기반으로 분류 모델(110)을 학습 및 검증한다. 특히, 본 발명에서는 학습 데이터 부족을 극복하기 위하여 ImageNet 데이터 세트로 미리 학습된 백본을 미세 조정하도록 한다. 즉, 첫 번째 필터를 제외한 구조와 파라메타들을 전달학습에 이용하며, 첫 번째 단의 필터 파라메타는 학습 시에 랜덤하게 초기화하도록 한다. 다시 말해, 첫 번째 레이어의 입력은 RGB 3개의 밴드가 아니라 RGB, NIR, RedEdge 5개의 밴드임을 고려하여 해당 네트워크의 파라미터를 랜덤하게 초기화하고, 다른 레이어의 경우는 기존의 ImageNet 데이터로 미리 학습된 파라미터로부터 학습을 시작하도록 한다. The learning performing unit 125 learns and verifies the classification model 110 based on a plurality of learning data. In particular, in the present invention, the pre-trained backbone is fine-tuned with the ImageNet data set in order to overcome the lack of training data. That is, the structure and parameters except for the first filter are used for transfer learning, and the filter parameters of the first stage are randomly initialized during learning. In other words, considering that the input of the first layer is not 3 RGB bands, but 5 RGB, NIR, and RedEdge 5 bands, the parameters of the network are randomly initialized. to start learning from

또한 본 발명에서는 분류 모델의 정확성을 제고하기 위해 어려운 예제 탐색을 진행할 수 있다. 즉 분류 모델을 한번 학습시켜 학습영상에서 히트맵을 만들어 가되, 이때 오류를 보인 영상패치들을 모아 원래 학습데이터와 함께 재학습시킴으로써, 실제 분류시 정확성을 제고할 수 있도록 한다. In addition, in the present invention, a difficult example search can be performed in order to improve the accuracy of the classification model. That is, the classification model is trained once to make a heat map from the training image, but at this time, the image patches showing errors are collected and re-learned together with the original training data, so that the accuracy during actual classification can be improved.

도 5는 본 발명의 일 실시예에 따른 히트맵 구성부를 설명하기 위한 도면이다. 5 is a view for explaining a heat map component according to an embodiment of the present invention.

도 5에 도시된 바와 같이, 본 발명의 히트맵 구성부(140)는 확률 평균화부(141) 및 색상 매칭부(142) 등을 포함하여 구성된다. As shown in FIG. 5 , the heat map construction unit 140 of the present invention includes a probability averaging unit 141 and a color matching unit 142 .

확률 평균화부(141)는 다수의 패치 영상 각각에 대응되는 다수의 재선충 피해 확률을 패치 영상 추출 위치 기반으로 중첩시켜 배치한 후, 동일 픽셀에 중첩된 확률들의 평균치를 산출하는 방식으로 픽셀별 확률을 결정한다. The probability averaging unit 141 superimposes a plurality of wilt damage probabilities corresponding to each of the plurality of patch images based on the patch image extraction location, and then arranges the overlapping probabilities for each pixel by calculating the average value of the overlapped probabilities in the same pixel. decide

이때, 패치 영상 추출에 사용된 건너뛰기(stride)가 32일 경우 중첩되는 부분이 없어 32×32 그리드 형태의 모습으로 해상도가 낮은 모습을 보이며, 이를 16, 또는 8로 줄이면 중첩되는 부분이 16, 24가 되어 중첩되는 부분의 확률 결정이 필요하다. 이에 본 발명에서는 중복되어 결정된 확률 값들의 평균치로 각 화소의 확률을 결정하였다. At this time, if the skip used for extracting the patch image is 32, there is no overlapping part, so the resolution is low in a 32×32 grid form. If this is reduced to 16 or 8, the overlapping part is 16, It is necessary to determine the probability of the overlapping part becoming 24. Accordingly, in the present invention, the probability of each pixel is determined as an average value of overlappingly determined probability values.

이와 같이, 본 발명에서는 확률을 중첩하여 산출하는 이유는 전체적인 히트맵이 연속적으로 변화하는 듯 보일 뿐만 아니라, 히트맵 구성 시 중첩된 부분에서의 평균연산으로 인한 앙상블 효과로 분별오류가 완화되는 효과도 기대할 수 있기 때문이다. As such, in the present invention, the reason for calculating the overlapping probabilities is not only that the overall heat map seems to change continuously, but also the effect of alleviating classification errors due to the ensemble effect due to the average operation in the overlapped portion when constructing the heat map. Because it can be expected.

색상 매칭부(142)는 확률과 색상 정보간 상관관계를 사전 정의하고, 이에 따라 픽셀별 확률을 픽셀별 색상으로 변환한 후 2차원 영상으로 재구성함으로써, 재선충 피해 확률이 색상 형태로 표시되는 2차원 영상인 히트맵을 생성한다. The color matching unit 142 pre-defines the correlation between the probability and the color information, and thus converts the probability of each pixel into a color of each pixel and then reconstructs it into a two-dimensional image. Create a heatmap that is an image.

이와 같이 생성되는 히트맵은 산림 병해충 피해위치의 공간적인 분포 및 경향을 대략적으로 보여줄 수 있게 된다. 즉, 재선충 피해 확률을 시각화하여 표시하며, 재선충 피해 분포도를 기반으로 산림 병해충 피해를 대략적인 양상을 보다 손쉽고 즉각적으로 파악할 수 있도록 한다. The heat map generated in this way can roughly show the spatial distribution and trend of the damage locations of forest pests. In other words, it visualizes and displays the probability of damage to wilt disease, and enables easier and more immediate identification of the approximate pattern of damage to forest pests based on the distribution of wilt disease.

도 6 및 도 7은 본 발명의 일 실시예에 따른 병해충 탐지부의 동작 방법을 설명하기 위한 도면들이다. 6 and 7 are diagrams for explaining a method of operating a pest detection unit according to an embodiment of the present invention.

도 6는 특정 지역에 대응되는 히트맵과 히트맵내 병해충 피해 의심 영역을 확대한 영상들을 나타낸 것이고, 도 7은 히트맵에서 900ㅧ900의 타일영상을 추출하여 보여주는 것이다. FIG. 6 shows a heat map corresponding to a specific region and enlarged images of an area suspected of damage by pests in the heat map, and FIG. 7 shows a 900×900 tile image extracted from the heat map.

도 6 및 도 7의 히트맵에는 재선충 피해 확률을 반영하는 색상이 표시되어 있으므로, 병해충 탐지부(150)는 히트맵의 색상 분포도를 통해 개략적인 재선충 분포도를 파악한 후, 재선충 분포도 기반으로 병해충 피해 발생 위치, 병해충 피해 범위, 병해충 피해 발생 위치의 밀집도 등을 탐지하여 사용자에 상세 안내할 수 있도록 한다. Since the heat map of FIGS. 6 and 7 shows colors reflecting the probability of damage to wilt worms, the pest detection unit 150 grasps the rough distribution of wilt worms through the color distribution of the heat map, and then generates pest damage based on the distribution of wilt worms. The location, pest damage range, and the density of the pest damage location are detected and detailed information can be provided to the user.

그리고 병해충 탐지부(150)는 사용자가 히트맵 상에서 일부 영역을 관심 영역으로 선택하고 열람 요청하는 경우, 관심 영역의 RGB 영상을 추출하여 확대 표시함으로써, 사용자가 관심 영역의 재선충 피해 상황을 육안으로 직접 확인할 수 있도록 한다. 또한 관심 영역에 포함된 재선충 피해 발생 위치의 개수를 카운팅한 후, 이를 부가 정보로써 화면 오버레이시켜 표시할 수도 있도록 한다. In addition, the pest detection unit 150 extracts and enlarges the RGB image of the region of interest when the user selects a partial region as the region of interest on the heat map and requests to read it, so that the user can directly visually inspect the damage situation of the wilt disease in the region of interest. make it possible to check In addition, after counting the number of locations where wilt disease damage occurs included in the region of interest, it can be displayed by overlaying the screen as additional information.

더하여, 본 발명의 병해충 탐지부(150)는 동일 지역의 히트맵을 소정 기간에 걸쳐 추적 모니터링하는 경우, 재선충 분포도 변화 패턴을 기반으로 병해충 피해 범위 증감 정도, 병해충 피해 진행 방향 등을 추가 파악한 후, 이에 대한 정보도 사용자에게 안내할 수도 있도록 한다. In addition, when the pest detection unit 150 of the present invention tracks and monitors the heat map of the same area over a predetermined period, based on the change pattern of the distribution of wilt disease, the degree of increase or decrease of the pest damage range, the pest damage progress direction, etc. are additionally identified, Information on this may also be provided to the user.

즉, 본 발명에서는 히트맵에 기반하여 산림 병해충 탐지 결과에 대한 개략적 정보와 상세 정보 모두를 다양하게 획득하고 사용자에게 제공할 수 있도록 한다. That is, in the present invention, both the schematic information and detailed information on the forest pest detection result can be variously obtained and provided to the user based on the heat map.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and it is common in the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims. Various modifications can be made by those having the knowledge of

Claims (9)

패치 영상과 재선충 피해 확률간의 상관관계가 학습된 분류 모델;
기 획득된 다중분광 영상으로부터 다수의 패치 영상을 추출하고, 패치 영상 기반으로 상기 분류 모델을 학습시키는 분류 모델 학습부;
외부 장치에 의해 획득 및 제공되는 다중분광 영상을 수신하고, 상기 수신된 다중분광 영상으로부터 다수의 패치 영상을 추출하는 영상 수신부;
상기 분류 모델을 이용하여 상기 영상 수신부를 통해 추출된 다수의 패치 영상 각각에 대응되는 다수의 재선충 피해 확률을 획득한 후, 다수의 재선충 피해 확률을 픽셀 단위로 수집 및 평균내어 히트맵을 구성하는 히트맵 구성부; 및
상기 히트맵에서 공간적으로 국부 최대 확률 위치를 탐색하고, 탐색 결과를 기반으로 산림 병해충 피해 위치를 추정 및 통보하는 병해충 탐지부를 포함하는 다중분광 영상에 기반한 산림 병해충 탐지 장치.A classification model in which the correlation between patch images and wilt damage probability is learned;
a classification model learning unit extracting a plurality of patch images from the previously acquired multispectral image and learning the classification model based on the patch image;
an image receiving unit for receiving a multispectral image obtained and provided by an external device and extracting a plurality of patch images from the received multispectral image;
After obtaining a plurality of wilt damage probabilities corresponding to each of the plurality of patch images extracted through the image receiving unit using the classification model, the plurality of wilt worm damage probabilities are collected and averaged in units of pixels to form a heat map map configuration unit; and
A forest pest detection apparatus based on a multi-spectral image comprising a pest detector that spatially searches for a local maximum probability location in the heat map, and estimates and notifies a forest pest damage location based on the search result. 제1항에 있어서, 상기 다중분광 영상은
RGB, NIR, RedEdge 5개의 밴드를 가지는 영상인 것을 특징으로 하는 다중분광 영상에 기반한 산림 병해충 탐지 장치.The method of claim 1, wherein the multispectral image is
A forest pest detection device based on a multispectral image, characterized in that it is an image having five bands, RGB, NIR, and RedEdge. 제1항에 있어서, 상기 분류 모델은
패치 영상에 대응되는 영상 특징을 추출하는 다수의 콘볼루션 레이어와 풀링 레이어를 구비하는 잔차 신경망과, 영상 특징 추출값을 확률 값으로 변환하여 출력하는 소프트맥스 블록으로 구성되는 것을 특징으로 하는 다중분광 영상에 기반한 산림 병해충 탐지 장치.The method of claim 1, wherein the classification model is
A multispectral image, characterized in that it consists of a residual neural network having a plurality of convolutional layers and a pooling layer for extracting image features corresponding to patch images, and a softmax block that converts image feature extraction values into probability values and outputs them Forest pest detection device based on 제1항에 있어서, 상기 분류 모델 학습부는
기 획득된 데이터베이스로부터 다수의 다중분광 영상을 획득하는 다중분광 영상 획득부;
상기 다중분광 영상 각각으로부터 다수의 패치 영상을 추출한 후, 상기 다수의 패치 영상 각각을 산림 병해충 피해 위치에 대응되는 정예제 영상과, 그렇지 않은 패치 영상은 부예제 영상으로 구분하는 패치 영상 추출부;
상기 정예제 영상을 기하 변형 시킨 후, 변형된 영상에 기반하여 패치 영상을 추가 추출하여 데이터 증강시키는 정예제 영상 증강부;
상기 정예제 영상와 상기 부예제 영상 기반으로 패치 영상을 입력 조건을 가지고 재선충 피해 확률을 출력 조건으로 가지는 다수의 학습 데이터를 생성하는 학습 데이터 생성부; 및
상기 다수의 학습 데이터를 통해 상기 분류 모델을 학습 및 검증하는 학습 수행부를 포함하는 것을 특징으로 하는 다중분광 영상에 기반한 산림 병해충 탐지 장치.The method of claim 1, wherein the classification model learning unit
a multispectral image acquisition unit for acquiring a plurality of multispectral images from the acquired database;
a patch image extractor that extracts a plurality of patch images from each of the multispectral images, and divides each of the plurality of patch images into an elite image corresponding to a forest pest damage location and a patch image that does not, into a sub-sample image;
After geometrically deforming the elite image, an elite image augmentation unit for augmenting data by additionally extracting a patch image based on the deformed image;
a learning data generation unit for generating a plurality of learning data based on the prime example image and the sub example image, having a patch image as an input condition and a wilt disease damage probability as an output condition; and
and a learning execution unit for learning and verifying the classification model through the plurality of learning data. 제4항에 있어서, 상기 정예제 영상 증강부는
상기 정예제 영상와 상기 부예제 영상 개수를 일치시키는 것을 특징으로 하는 다중분광 영상에 기반한 산림 병해충 탐지 장치.5. The method of claim 4, wherein the elite image enhancement unit
A forest pest detection apparatus based on a multispectral image, characterized in that the number of the sub-example images is matched with the number of the sub-example images. 제4항에 있어서, 상기 학습 데이터 생성부와 상기 영상 분류부는
상기 분류 모델의 영상 입력 크기와 상기 패치 영상의 크기가 상이한 경우, 상기 패치 영상의 크기를 바이큐빅(bicubic) 보간법에 따라 확장한 후 상기 분류 모델에 입력하는 것을 특징으로 하는 다중분광 영상에 기반한 산림 병해충 탐지 장치.5. The method of claim 4, wherein the training data generation unit and the image classification unit
When the image input size of the classification model and the patch image size are different, the size of the patch image is expanded according to a bicubic interpolation method and then input to the classification model. pest detection device. 제1항에 있어서, 상기 히트맵 구성부는
다수의 패치 영상 각각에 대응되는 다수의 재선충 피해 확률을 패치 영상 추출 위치 기반으로 중첩시켜 배치한 후, 동일 위치에 중첩된 확률들의 평균치를 산출하여 픽셀별 확률을 결정하는 확률 평균화부; 및
상기 픽셀별 확률을 픽셀별 색상으로 변환한 후 2차원 영상으로 재구성하여 히트맵을 구성하는 색상 매칭부를 포함하는 것을 특징으로 하는 다중분광 영상에 기반한 산림 병해충 탐지 장치.The method of claim 1, wherein the heat map component
a probability averaging unit that superimposes a plurality of wilt disease damage probabilities corresponding to each of a plurality of patch images based on a patch image extraction location, and calculates an average value of the overlapped probabilities at the same location to determine a probability for each pixel; and
and a color matching unit that converts the probability of each pixel into a color of each pixel and reconstructs it into a two-dimensional image to configure a heat map. 제1항에 있어서, 상기 병해충 탐지부는
히트맵의 색상 분포도에 기반하여 병해충 피해 발생 위치, 병해충 피해 범위, 병해충 피해 발생 위치의 밀집도 중 적어도 하나를 탐지하여 사용자 안내하는 것을 특징으로 하는 다중분광 영상에 기반한 산림 병해충 탐지 장치.According to claim 1, wherein the pest detection unit
A forest pest detection device based on a multi-spectral image, characterized in that based on the color distribution of the heat map, at least one of a pest damage occurrence location, a pest damage range, and a density of a pest damage occurrence location is detected and guided to the user. 제8항에 있어서, 상기 병해충 탐지부는
동일 지역의 히트맵을 소정 기간에 걸쳐 추적 모니터링하여, 병해충 피해 범위 증감 정도, 병해충 피해 진행 방향 중 적어도 하나를 탐지하여 사용자에 추가 안내하는 것을 특징으로 하는 다중분광 영상에 기반한 산림 병해충 탐지 장치.The method of claim 8, wherein the pest detection unit
Forest pest detection device based on multi-spectral image, characterized in that by tracking and monitoring the heat map of the same area over a predetermined period, detecting at least one of the extent of increase or decrease in pest damage range and the direction of pest damage progress, and further guides the user.
KR1020210017646A 2021-02-08 2021-02-08 Apparatus for detecting the damage location of forest pests based on multifactorial images KR102517326B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210017646A KR102517326B1 (en) 2021-02-08 2021-02-08 Apparatus for detecting the damage location of forest pests based on multifactorial images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210017646A KR102517326B1 (en) 2021-02-08 2021-02-08 Apparatus for detecting the damage location of forest pests based on multifactorial images

Publications (2)

Publication Number Publication Date
KR20220115665A true KR20220115665A (en) 2022-08-18
KR102517326B1 KR102517326B1 (en) 2023-04-05

Family

ID=83112121

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210017646A KR102517326B1 (en) 2021-02-08 2021-02-08 Apparatus for detecting the damage location of forest pests based on multifactorial images

Country Status (1)

Country Link
KR (1) KR102517326B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116448760A (en) * 2023-03-21 2023-07-18 上海华维可控农业科技集团股份有限公司 Agricultural intelligent monitoring system and method based on machine vision
CN118624540A (en) * 2024-08-08 2024-09-10 天津市农业发展服务中心 Disease and pest monitoring method based on remote sensing meteorological data cooperation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180010718A (en) 2016-07-22 2018-01-31 주식회사 엔젠소프트 Apparatus for detecting of bursaphelenchus xylophilus, method and system using thereof
KR20200016658A (en) * 2018-08-07 2020-02-17 주식회사 딥바이오 System and method for medical diagnosis using neural network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180010718A (en) 2016-07-22 2018-01-31 주식회사 엔젠소프트 Apparatus for detecting of bursaphelenchus xylophilus, method and system using thereof
KR20200016658A (en) * 2018-08-07 2020-02-17 주식회사 딥바이오 System and method for medical diagnosis using neural network

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A. Lowe et al., 'Hyperspectral image analysis techniques fo the detection and classification of the early onset of plant disease and stress,' Plant Methods, 2017, 13(80) (2017.10.10.) *
Co-authored by Kim So-ra and 4 others, ‘Utilization of time-series hyperspectral aerial imagery to detect affected trees by occurrence period of pine wood nematode disease,’ Journal of the Korean Society of Remote Sensing, 31(5), 385-394 (October 2014) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116448760A (en) * 2023-03-21 2023-07-18 上海华维可控农业科技集团股份有限公司 Agricultural intelligent monitoring system and method based on machine vision
CN116448760B (en) * 2023-03-21 2023-10-20 上海华维可控农业科技集团股份有限公司 Agricultural intelligent monitoring system and method based on machine vision
CN118624540A (en) * 2024-08-08 2024-09-10 天津市农业发展服务中心 Disease and pest monitoring method based on remote sensing meteorological data cooperation

Also Published As

Publication number Publication date
KR102517326B1 (en) 2023-04-05

Similar Documents

Publication Publication Date Title
Parham et al. An animal detection pipeline for identification
Tuia et al. Domain adaptation for the classification of remote sensing data: An overview of recent advances
Barbedo A review on the main challenges in automatic plant disease identification based on visible range images
KR102220174B1 (en) Learning-data enhancement device for machine learning model and method for learning-data enhancement
US11443454B2 (en) Method for estimating the pose of a camera in the frame of reference of a three-dimensional scene, device, augmented reality system and computer program therefor
CN103578116B (en) For tracking the apparatus and method of object
JP6639123B2 (en) Image processing apparatus, image processing method, and program
CN1947151B (en) A system and method for toboggan based object segmentation using divergent gradient field response in images
Morris A pyramid CNN for dense-leaves segmentation
KR102517326B1 (en) Apparatus for detecting the damage location of forest pests based on multifactorial images
Moriondo et al. Use of digital images to disclose canopy architecture in olive tree
CN113609896A (en) Object-level remote sensing change detection method and system based on dual-correlation attention
CN111401387B (en) Abnormal sample construction method, device, computer equipment and storage medium
KR20230113386A (en) Deep learning-based capsule endoscopic image identification method, device and media
Ling et al. Image quality assessment for free viewpoint video based on mid-level contours feature
Lorenzi et al. Support vector regression with kernel combination for missing data reconstruction
CN117036948A (en) Sensitized plant identification method based on attention mechanism
EP2058741A2 (en) A method and apparatus for analysing a plurality of stored images
Saha et al. Unsupervised deep learning based change detection in Sentinel-2 images
CN113191962B (en) Underwater image color recovery method and device based on ambient background light and storage medium
KR20170096924A (en) Collaborative facial color feature learning method of multiple color spaces for face recognition and apparatus therefor
CN117315499A (en) Satellite remote sensing image target detection method and system
Grabowski et al. Self-configuring nnu-nets detect clouds in satellite images
JP4434868B2 (en) Image segmentation system
CN116092019A (en) Ship periphery abnormal object monitoring system, storage medium thereof and electronic equipment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant