KR102517326B1 - 다중분광 영상에 기반을 둔 산림 병해충 탐지 장치 - Google Patents

Abstract

본 발명은 다중분광 영상에 기반한 산림 병해충 탐지 장치에 관한 것으로, 이는 패치 영상과 재선충 피해 확률간의 상관관계가 학습된 분류 모델; 기 획득된 다중분광 영상으로부터 다수의 패치 영상을 추출하고, 패치 영상 기반으로 상기 분류 모델을 학습시키는 분류 모델 학습부; 외부 장치에 의해 획득 및 제공되는 다중분광 영상을 수신하고, 상기 수신된 다중분광 영상으로부터 다수의 패치 영상을 추출하는 영상 수신부; 상기 분류 모델을 이용하여 상기 영상 수신부를 통해 추출된 다수의 패치 영상 각각에 대응되는 다수의 재선충 피해 확률을 획득한 후, 다수의 재선충 피해 확률을 픽셀 단위로 수집 및 평균내어 히트맵을 구성하는 히트맵 구성부; 및 상기 히트맵에서 공간적으로 국부 최대 확률 위치를 탐색하고, 탐색 결과를 기반으로 산림 병해충 피해 위치를 추정 및 통보하는 병해충 탐지부를 포함할 수 있다.

Description

다중분광 영상에 기반을 둔 산림 병해충 탐지 장치{Apparatus for detecting the damage location of forest pests based on multifactorial images}

본 발명은 산림 병해충 탐지 장치에 관한 것으로, 특히 RGB, NIR, RedEdge 5밴드의 다중분광 영상을 이용하여 산림 병해충 피해 위치를 보다 정확하고 효과적으로 탐지할 수 있도록 하는 산림 병해충 탐지 장치에 관한 것이다.

최근 인공지능 딥러닝 모델의 발전에 힘입어 다양한 분야에 인공지능 모델의 적용의 성공사례가 보고되고 있다. 특별히 영상분석 분야에서의 성공은 여러가지 응용을 가능하게 만들었다.

이들 중에 딥러닝 기반의 항공영상 분석의 정확성은 영상분류, 세그멘테이숀, 객체 검출 분야에서 과거의 영상분석방법의 패러다임을 변화시켰을 뿐만 아니라 수 많은 성공적 사례의 등장으로 이어지고 있다.

한편, 소나무 재선충은 한국과 일본, 중국을 포함한 동아시아 지역의 소나무산림에 막대한 피해를 주는 원인이며, 피해목의 조기 발견과 제거는 재선충 확산을 막는 효과적인 방법이다.

이에 항공이나 드론을 통해 획득된 영상을 딥러닝 기반으로 분석하여 산림 병해충 피해 위치를 추출하는 기술이 개발되고 있으나, 이의 정확도가 충분치 않는 한계가 있다.

종래에는 RGB 영상을 기반으로 산림 병해충 피해 위치를 탐지하도록 하므로, 가시광선 영역에서의 산림 병해충 피해 위치 탐지 동작만이 가능한 한계가 있었다.

국내공개특허 제10-2018-0010718호(공개일자 : 2018.01.31)

이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 RGB 영상 대신에 RGB, NIR, RedEdge 5밴드의 다중분광 영상을 이용하여 산림 병해충 피해 위치를 탐지하도록 하는 다중분광 영상에 기반한 산림 병해충 탐지 장치를 제공하고자 한다.

또한 다중분광 영상에서 다수의 패치를 추출하는 방식으로 다량의 학습 데이터를 확보함으로써, 최소한의 비용으로 극대화된 탐지 정확도를 보장할 수 있도록 하는 다중분광 영상에 기반한 산림 병해충 탐지 장치를 제공하고자 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면 패치 영상과 재선충 피해 확률간의 상관관계가 학습된 분류 모델; 기 획득된 다중분광 영상으로부터 다수의 패치 영상을 추출하고, 패치 영상 기반으로 상기 분류 모델을 학습시키는 분류 모델 학습부; 외부 장치에 의해 획득 및 제공되는 다중분광 영상을 수신하고, 상기 수신된 다중분광 영상으로부터 다수의 패치 영상을 추출하는 영상 수신부; 상기 분류 모델을 이용하여 상기 영상 수신부를 통해 추출된 다수의 패치 영상 각각에 대응되는 다수의 재선충 피해 확률을 획득한 후, 다수의 재선충 피해 확률을 픽셀 단위로 수집 및 평균내어 히트맵을 구성하는 히트맵 구성부; 및 상기 히트맵에서 공간적으로 국부 최대 확률 위치를 탐색하고, 탐색 결과를 기반으로 산림 병해충 피해 위치를 추정 및 통보하는 병해충 탐지부를 포함하는 다중분광 영상에 기반한 산림 병해충 탐지 장치를 제공한다.

상기 다중분광 영상은 RGB, NIR, RedEdge 5개의 밴드를 가지는 영상인 것을 특징으로 한다.

상기 분류 모델은 패치 영상에 대응되는 영상 특징을 추출하는 다수의 콘볼루션 레이어와 풀링 레이어를 구비하는 잔차 신경망과, 영상 특징 추출값을 확률 값으로 변환하여 출력하는 소프트맥스 블록으로 구성되는 것을 특징으로 한다.

상기 분류 모델 학습부는 기 획득된 데이터베이스로부터 다수의 다중분광 영상을 획득하는 다중분광 영상 획득부; 상기 다중분광 영상 각각으로부터 다수의 패치 영상을 추출한 후, 상기 다수의 패치 영상 각각을 산림 병해충 피해 위치에 대응되는 정예제 영상과, 그렇지 않은 패치 영상은 부예제 영상으로 구분하는 패치 영상 추출부; 상기 정예제 영상을 기하 변형 시킨 후, 변형된 영상에 기반하여 패치 영상을 추가 추출하여 데이터 증강시키는 정예제 영상 증강부; 상기 정예제 영상와 상기 부예제 영상 기반으로 패치 영상을 입력 조건을 가지고 재선충 피해 확률을 출력 조건으로 가지는 다수의 학습 데이터를 생성하는 학습 데이터 생성부; 및 상기 다수의 학습 데이터를 통해 상기 분류 모델을 학습 및 검증하는 학습 수행부를 포함하는 것을 특징으로 한다.

상기 정예제 영상 증강부는 상기 정예제 영상와 상기 부예제 영상 개수를 일치시키는 것을 특징으로 한다.

상기 학습 데이터 생성부와 상기 영상 분류부는 상기 분류 모델의 영상 입력 크기와 상기 패치 영상의 크기가 상이한 경우, 상기 패치 영상의 크기를 바이큐빅(bicubic) 보간법에 따라 확장한 후 상기 분류 모델에 입력하는 것을 특징으로 한다.

상기 히트맵 구성부는 다수의 패치 영상 각각에 대응되는 다수의 재선충 피해 확률을 패치 영상 추출 위치 기반으로 중첩시켜 배치한 후, 동일 위치에 중첩된 확률들의 평균치를 산출하여 픽셀별 확률을 결정하는 확률 평균화부; 및 상기 픽셀별 확률을 픽셀별 색상으로 변환한 후 2차원 영상으로 재구성하여 히트맵을 구성하는 색상 매칭부를 포함하는 것을 특징으로 한다.

상기 병해충 탐지부는 히트맵의 색상 분포도에 기반하여 병해충 피해 발생 위치, 병해충 피해 범위, 병해충 피해 발생 위치의 밀집도 중 적어도 하나를 탐지하여 사용자 안내하는 것을 특징으로 한다.

상기 병해충 탐지부는 동일 지역의 히트맵을 소정 기간에 걸쳐 추적 모니터링하여, 병해충 피해 범위 증감 정도, 병해충 피해 진행 방향 중 적어도 하나를 탐지하여 사용자에 추가 안내하는 것을 특징으로 한다.

본 발명은 RGB, NIR, RedEdge 5밴드의 다중분광 영상을 이용하여 산림 병해충 피해 위치를 탐지하도록 함으로써, 기존의 RGB 영상만으로는 검출할 수 없었던 산림 병해충까지도 정확하게 탐지할 수 있도록 한다.

또한 다중분광 영상의 획득 비용이 고가인 점을 고려하여 최소한의 다중분광 영상을 획득하되, 하나의 다중분광 영상으로 다수의 패치 영상을 추출 및 이용하여 분류 모델을 딥러닝시키도록 함으로써, 시스템 구축 비용은 최소화하되 높은 탐지 정확도를 보장할 수 있도록 한다.

더하여, 산림 병해충 피해위치의 공간적인 분포 및 경향을 대략적으로 보여줄 수 있는 히트맵을 이용하여 산림 병해충 피해 위치 탐지 동작을 수행하도록 함으로써, 산림 병해충 탐지 결과에 대한 개략적 정보와 상세 정보 모두를 다양하게 획득하고 사용자에게 제공할 수 있도록 한다.

도 1은 본 발명의 일 실시예에 따른 다중분광 영상에 기반한 산림 병해충 탐지 장치를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 분류 모델을 도시한 도면이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 분류 모델 학습부를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 히트맵 구성부를 설명하기 위한 도면이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 병해충 탐지부의 동작 방법을 설명하기 위한 도면들이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

도 1은 본 발명의 일 실시예에 따른 다중분광 영상에 기반한 산림 병해충 탐지 장치를 도시한 도면이다.

도 1을 참고하면, 본 발명의 장치(100)는 패치 영상과 재선충 피해 확률간의 상관관계가 학습된 분류 모델(110), 기 획득된 다중분광 영상으로부터 다수의 패치 영상을 추출하고, 패치 영상 기반으로 분류 모델(110)을 학습시키는 분류 모델 학습부(120), 항공, 드론 등과 같은 외부 장치가 획득 및 제공하는 다중분광 영상을 수신한 후, 수신된 다중분광 정사영으로부터 다수의 패치 영상을 추출하는 영상 수신부(130), 분류 모델(110)을 이용하여 패치 영상 각각에 대응되는 다수의 재선충 피해 확률을 획득한 후, 다수의 재선충 피해 확률을 픽셀 단위로 수집 및 평균내어 히트맵을 구성하는 히트맵 구성부(140) 및 히트맵에서 공간적으로 국부 최대 확률 위치를 탐색하고, 탐색 결과를 기반으로 산림 병해충 피해 위치를 추정 및 통보하는 병해충 탐지부(150) 등을 포함하여 구성된다.

즉, 본 발명에서는 RGB, NIR, RedEdge 등을 포함하는 다중 분광 정사영상으로부터 패치기반 분류 모델을 구성하고, 이를 활용하여 히트맵을 생성하며, 이 히트맵으로부터 소나무재선충 감염 의심목 등 산림 병해충 피해현황과 변화를 개괄적으로 파악하고, 그 피해 위치를 탐지할 수 있도록 한다.

특히, 본 발명에서는 패치기반 분류 모델을 사용하는 이유는 고가의 다중분광 영상을 딥러닝 학습에 필요한 만큼 다량으로 준비할 수 없기 때문이다. 즉, 한 장의 다중분광 영상을 나누어 다수의 패치로 구성함으로써, 최소한의 다중분광 영상으로부터 다량의 학습 데이터를 얻어 딥러닝 분류 모델 학습이 가능하기 때문이다.

이하, 도 2 내지 도 5를 참고하여 본 발명의 구성을 보다 상세히 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 분류 모델을 도시한 도면이다.

도 2에 도시된 바와 같이, 본 발명의 분류 모델(110)은 18 레이어 기반 잔차 신경망(ResNet18)과 소프트맥스 블록(softmax)으로 구성되어, 다중분광 영상으로부터 추출된 T×T (예를 들어, 32×32) 패치 영상 기반으로 재선충 피해 확률을 예측하도록 한다.

즉, 본 발명에서는 학습 데이터가 풍부하지 않음을 고려하여, 최소한의 학습 데이터만으로도 우수한 성능을 보장하고 복잡성이 적절한 ResNet18을 백본으로 사용하도록 한다.

본 발명의 ResNet18은 표 1에서와 같은 17개의 콘볼루션 레이어와 1개의 풀링 레이어를 가질 수 있으며, 패치 영상은 ResNet18을 통해 콘볼루션과 해상도 과정을 거친 후 2단의 FC(Fully Connected) 레이어를 거치면서 1000차원의 특징으로 만들어지며 이는 softmax 블록에 의해 확률 값으로 변환되게 된다.

이때, ResNet18의 첫 번째 콘볼루션 레이어(즉, 입력 레이어)는 5개의 채널을 가지는 것이 바람직한데, 이는 패치 영상이 RGB, NIR, RedEdge 5개의 밴드를 가지는 영상이기 때문이다.

도 3 및 도 4는 본 발명의 일 실시예에 따른 분류 모델 학습부를 설명하기 위한 도면이다.

도 3에 도시된 바와 같이, 본 발명의 분류 모델 학습부(120)는 다중분광 영상 획득부(121), 패치 영상 추출부(122), 정예제 영상 증강부(123), 학습 데이터 생성부(124), 학습 수행부(125) 등을 포함하여 구성된다.

영상 획득부(121)는 기 획득된 데이터베이스로부터 산림 병해충 피해가 발생한 산림을 촬영한 다중분광 영상과 산림 병해충 피해가 발생하지 않는 산림을 촬영한 다중분광 영상을 랜덤 획득한다.

패치 영상 추출부(122)는 다중분광 영상으로부터 32×32 패치영상을 좌에서 우로 위에서 아래로 중첩시키며 뜯어내는 방식으로 하나의 다중분광 영상으로부터 다수의 패치 영상을 추출한다. 그리고 다수의 패치 영상을 산림 병해충 피해 위치에 대응되는 정예제(positive example) 영상과, 그렇지 않은 패치 영상은 부예제(negative example) 영상으로 구분한다.

참고로, 정예제 영상과 부예제 영상의 개수 불균형은 학습에 좋지 않은 영향을 줄 수 있기 때문에 서로 동일한 것이 바람직한데, 산림 병해충은 협소 지역에 한정되어 발생되는 특징이 있어 다중분광 영상으로부터 추출 가능한 정예제 영상의 개수는 부예제 영상의 개수보다 매우 작게 된다. 이에 본 발명은 정예제 영상 증강부(123)를 추가 구비하고, 이를 통해 정예제 영상의 개수를 증강시켜 부예제 영상의 개수와 동일해지도록 한다.

정예제 영상 증강부(123)는 정예제 영상을 회전(rotation) 및 상하 또는 좌우 뒤집기(flipping) 등의 방식으로 다양하게 변형한 후, 변형된 영상 각각에서 패치 영상을 추가 추출하는 방식으로 데이터를 증강한다.

예를 들어, 도 4에서와 같이 동일 지점이 촬영된 정예제 영상 소정 개를 조합하여 산림 병해충 피해 지점이 중앙 위치하는 W×W (예를 들어, 400x400) 패치영상을 생성한 후, 이를 15도 단위의 회전, 좌우 뒤집기, 상하 뒤집기 중 적어도 하나의 방식으로 다양하게 기하학적 변환시킨다. 그리고 변환 완료된 400x400 패치 영상의 중앙과 4 방향에서 32×32 패치 영상 5개를 중첩하여 뜯어내는 방식으로 데이터 개수를 증강할 수 있다.

학습 데이터 생성부(124)는 정예제 영상과 부예제 영상에 기반하여 패치 영상을 입력 조건을 가지고 재선충 피해 확률을 출력 조건으로 가지는 학습 데이터를 다수개 생성한다.

더하여, 앞서 설명된 ResNet18의 영상 입력크기는 224×224인 반면, 패치 영상의 크기는 32×32이므로, 본 발명에서는 바이큐빅(bicubic) 보간법 등을 이용하여 32×32 패치 영상을 224×224 영상으로 확장한 후 ResNet18에 입력하도록 한다. 즉, ResNet18의 입력 크기와 패치 영상의 크기가 상이한 경우, 패치 영상을 크기 확장시켜 ResNet18의 입력 크기에 일치시킨 후, ResNet18에 입력함으로써, 크기 불일치로 인한 오동작 가능성을 사전 차단하도록 한다.

학습 수행부(125)는 다수개의 학습 데이터를 기반으로 분류 모델(110)을 학습 및 검증한다. 특히, 본 발명에서는 학습 데이터 부족을 극복하기 위하여 ImageNet 데이터 세트로 미리 학습된 백본을 미세 조정하도록 한다. 즉, 첫 번째 필터를 제외한 구조와 파라메타들을 전달학습에 이용하며, 첫 번째 단의 필터 파라메타는 학습 시에 랜덤하게 초기화하도록 한다. 다시 말해, 첫 번째 레이어의 입력은 RGB 3개의 밴드가 아니라 RGB, NIR, RedEdge 5개의 밴드임을 고려하여 해당 네트워크의 파라미터를 랜덤하게 초기화하고, 다른 레이어의 경우는 기존의 ImageNet 데이터로 미리 학습된 파라미터로부터 학습을 시작하도록 한다.

또한 본 발명에서는 분류 모델의 정확성을 제고하기 위해 어려운 예제 탐색을 진행할 수 있다. 즉 분류 모델을 한번 학습시켜 학습영상에서 히트맵을 만들어 가되, 이때 오류를 보인 영상패치들을 모아 원래 학습데이터와 함께 재학습시킴으로써, 실제 분류시 정확성을 제고할 수 있도록 한다.

도 5는 본 발명의 일 실시예에 따른 히트맵 구성부를 설명하기 위한 도면이다.

도 5에 도시된 바와 같이, 본 발명의 히트맵 구성부(140)는 확률 평균화부(141) 및 색상 매칭부(142) 등을 포함하여 구성된다.

확률 평균화부(141)는 다수의 패치 영상 각각에 대응되는 다수의 재선충 피해 확률을 패치 영상 추출 위치 기반으로 중첩시켜 배치한 후, 동일 픽셀에 중첩된 확률들의 평균치를 산출하는 방식으로 픽셀별 확률을 결정한다.

이때, 패치 영상 추출에 사용된 건너뛰기(stride)가 32일 경우 중첩되는 부분이 없어 32×32 그리드 형태의 모습으로 해상도가 낮은 모습을 보이며, 이를 16, 또는 8로 줄이면 중첩되는 부분이 16, 24가 되어 중첩되는 부분의 확률 결정이 필요하다. 이에 본 발명에서는 중복되어 결정된 확률 값들의 평균치로 각 화소의 확률을 결정하였다.

이와 같이, 본 발명에서는 확률을 중첩하여 산출하는 이유는 전체적인 히트맵이 연속적으로 변화하는 듯 보일 뿐만 아니라, 히트맵 구성 시 중첩된 부분에서의 평균연산으로 인한 앙상블 효과로 분별오류가 완화되는 효과도 기대할 수 있기 때문이다.

색상 매칭부(142)는 확률과 색상 정보간 상관관계를 사전 정의하고, 이에 따라 픽셀별 확률을 픽셀별 색상으로 변환한 후 2차원 영상으로 재구성함으로써, 재선충 피해 확률이 색상 형태로 표시되는 2차원 영상인 히트맵을 생성한다.

이와 같이 생성되는 히트맵은 산림 병해충 피해위치의 공간적인 분포 및 경향을 대략적으로 보여줄 수 있게 된다. 즉, 재선충 피해 확률을 시각화하여 표시하며, 재선충 피해 분포도를 기반으로 산림 병해충 피해를 대략적인 양상을 보다 손쉽고 즉각적으로 파악할 수 있도록 한다.

도 6 및 도 7은 본 발명의 일 실시예에 따른 병해충 탐지부의 동작 방법을 설명하기 위한 도면들이다.

도 6는 특정 지역에 대응되는 히트맵과 히트맵내 병해충 피해 의심 영역을 확대한 영상들을 나타낸 것이고, 도 7은 히트맵에서 900ㅧ900의 타일영상을 추출하여 보여주는 것이다.

도 6 및 도 7의 히트맵에는 재선충 피해 확률을 반영하는 색상이 표시되어 있으므로, 병해충 탐지부(150)는 히트맵의 색상 분포도를 통해 개략적인 재선충 분포도를 파악한 후, 재선충 분포도 기반으로 병해충 피해 발생 위치, 병해충 피해 범위, 병해충 피해 발생 위치의 밀집도 등을 탐지하여 사용자에 상세 안내할 수 있도록 한다.

그리고 병해충 탐지부(150)는 사용자가 히트맵 상에서 일부 영역을 관심 영역으로 선택하고 열람 요청하는 경우, 관심 영역의 RGB 영상을 추출하여 확대 표시함으로써, 사용자가 관심 영역의 재선충 피해 상황을 육안으로 직접 확인할 수 있도록 한다. 또한 관심 영역에 포함된 재선충 피해 발생 위치의 개수를 카운팅한 후, 이를 부가 정보로써 화면 오버레이시켜 표시할 수도 있도록 한다.

더하여, 본 발명의 병해충 탐지부(150)는 동일 지역의 히트맵을 소정 기간에 걸쳐 추적 모니터링하는 경우, 재선충 분포도 변화 패턴을 기반으로 병해충 피해 범위 증감 정도, 병해충 피해 진행 방향 등을 추가 파악한 후, 이에 대한 정보도 사용자에게 안내할 수도 있도록 한다.

즉, 본 발명에서는 히트맵에 기반하여 산림 병해충 탐지 결과에 대한 개략적 정보와 상세 정보 모두를 다양하게 획득하고 사용자에게 제공할 수 있도록 한다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (9)

1. 패치 영상과 재선충 피해 확률간의 상관관계가 학습된 분류 모델;
   기 획득된 다중분광 영상으로부터 다수의 패치 영상을 추출하고, 패치 영상 기반으로 상기 분류 모델을 학습시키는 분류 모델 학습부;
   외부 장치에 의해 획득 및 제공되는 다중분광 영상을 수신하고, 상기 수신된 다중분광 영상으로부터 다수의 패치 영상을 추출하는 영상 수신부;
   상기 분류 모델을 이용하여 상기 영상 수신부를 통해 추출된 다수의 패치 영상 각각에 대응되는 다수의 재선충 피해 확률을 획득한 후, 다수의 재선충 피해 확률을 픽셀 단위로 수집 및 평균내어 히트맵을 구성하는 히트맵 구성부; 및
   상기 히트맵에서 공간적으로 국부 최대 확률 위치를 탐색하고, 탐색 결과를 기반으로 산림 병해충 피해 위치를 추정 및 통보하는 병해충 탐지부를 포함하며,
   상기 분류 모델 학습부는
   기 획득된 데이터베이스로부터 다수의 다중분광 영상을 획득하는 다중분광 영상 획득부;
   상기 다중분광 영상 각각으로부터 다수의 패치 영상을 추출한 후, 상기 다수의 패치 영상 각각을 산림 병해충 피해 위치에 대응되는 정예제 영상과, 그렇지 않은 패치 영상은 부예제 영상으로 구분하는 패치 영상 추출부;
   상기 정예제 영상을 기하 변형 시킨 후, 변형된 영상에 기반하여 패치 영상을 추가 추출하여 데이터 증강시키는 정예제 영상 증강부;
   상기 정예제 영상와 상기 부예제 영상 기반으로 패치 영상을 입력 조건을 가지고 재선충 피해 확률을 출력 조건으로 가지는 다수의 학습 데이터를 생성하는 학습 데이터 생성부; 및
   상기 다수의 학습 데이터를 통해 상기 분류 모델을 학습 및 검증하는 학습 수행부를 포함하는 것을 특징으로 하는 다중분광 영상에 기반한 산림 병해충 탐지 장치.
2. 제1항에 있어서, 상기 다중분광 영상은
   RGB, NIR, RedEdge 5개의 밴드를 가지는 영상인 것을 특징으로 하는 다중분광 영상에 기반한 산림 병해충 탐지 장치.
3. 제1항에 있어서, 상기 분류 모델은
   패치 영상에 대응되는 영상 특징을 추출하는 다수의 콘볼루션 레이어와 풀링 레이어를 구비하는 잔차 신경망과, 영상 특징 추출값을 확률 값으로 변환하여 출력하는 소프트맥스 블록으로 구성되는 것을 특징으로 하는 다중분광 영상에 기반한 산림 병해충 탐지 장치.
4. 삭제
5. 제1항에 있어서, 상기 정예제 영상 증강부는
   상기 정예제 영상와 상기 부예제 영상 개수를 일치시키는 것을 특징으로 하는 다중분광 영상에 기반한 산림 병해충 탐지 장치.
6. 제1항에 있어서, 상기 학습 데이터 생성부는
   상기 분류 모델의 영상 입력 크기와 상기 패치 영상의 크기가 상이한 경우, 상기 패치 영상의 크기를 바이큐빅(bicubic) 보간법에 따라 확장한 후 상기 분류 모델에 입력하는 것을 특징으로 하는 다중분광 영상에 기반한 산림 병해충 탐지 장치.
7. 제1항에 있어서, 상기 히트맵 구성부는
   다수의 패치 영상 각각에 대응되는 다수의 재선충 피해 확률을 패치 영상 추출 위치 기반으로 중첩시켜 배치한 후, 동일 위치에 중첩된 확률들의 평균치를 산출하여 픽셀별 확률을 결정하는 확률 평균화부; 및
   상기 픽셀별 확률을 픽셀별 색상으로 변환한 후 2차원 영상으로 재구성하여 히트맵을 구성하는 색상 매칭부를 포함하는 것을 특징으로 하는 다중분광 영상에 기반한 산림 병해충 탐지 장치.
8. 제1항에 있어서, 상기 병해충 탐지부는
   히트맵의 색상 분포도에 기반하여 병해충 피해 발생 위치, 병해충 피해 범위, 병해충 피해 발생 위치의 밀집도 중 적어도 하나를 탐지하여 사용자 안내하는 것을 특징으로 하는 다중분광 영상에 기반한 산림 병해충 탐지 장치.
9. 제8항에 있어서, 상기 병해충 탐지부는
   동일 지역의 히트맵을 소정 기간에 걸쳐 추적 모니터링하여, 병해충 피해 범위 증감 정도, 병해충 피해 진행 방향 중 적어도 하나를 탐지하여 사용자에 추가 안내하는 것을 특징으로 하는 다중분광 영상에 기반한 산림 병해충 탐지 장치.

Images