KR20220091787A - 다양한 병증이 표현된 영상을 대량으로 생성할 수 있는 딥러닝 기반의 병증 식물 영상 생성 장치 및 방법 - Google Patents

다양한 병증이 표현된 영상을 대량으로 생성할 수 있는 딥러닝 기반의 병증 식물 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR20220091787A
KR20220091787A KR1020200182845A KR20200182845A KR20220091787A KR 20220091787 A KR20220091787 A KR 20220091787A KR 1020200182845 A KR1020200182845 A KR 1020200182845A KR 20200182845 A KR20200182845 A KR 20200182845A KR 20220091787 A KR20220091787 A KR 20220091787A
Authority
KR
South Korea
Prior art keywords
image
disease
generating
target region
input
Prior art date
Application number
KR1020200182845A
Other languages
English (en)
Inventor
박동선
윤숙
김형석
이재환
허명락
Original Assignee
전북대학교산학협력단
목포대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전북대학교산학협력단, 목포대학교산학협력단 filed Critical 전북대학교산학협력단
Priority to KR1020200182845A priority Critical patent/KR20220091787A/ko
Publication of KR20220091787A publication Critical patent/KR20220091787A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/003—Deblurring; Sharpening
    • G06T5/004—Unsharp masking
    • G06T5/75—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

본 발명에 일 측면에 따른 딥러닝 기반의 병증 식물 영상 생성 장치는 다양한 병증이 표현된 영상을 대량으로 생성할 수 있다. 여기에서, 딥러닝 기반의 병증 식물 영상 생성 장치는, 병증이 없는 건강한 식물에 대한 영상이 입력 영상으로서 입력되면, 상기 입력 영상에 병증이 표현될 수 있는 목적 영역을 마스킹하여, 목적 영역과 배경 영역을 구분하는 마스킹부; 기정의된 GAN 딥러닝 모델을 이용해 상기 목적 영역 내에 특정 병증이 표현된 병증 부분 영상을 생성하는 병증 부분 영상 생성부; 및 상기 병증 부분 영상과 상기 입력 영상의 배경 영역을 합성하여, 상기 입력 영상의 배경 영역은 유지되되 상기 목적 영역 내에는 특정 병증이 표현되는 병증 식물 영상을 생성하는 영상 합성부;를 포함한다.

Description

다양한 병증이 표현된 영상을 대량으로 생성할 수 있는 딥러닝 기반의 병증 식물 영상 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING MASS IMAGES WITH VARIOUS PLANT DISEASES BASED ON DEEP LEARNING MODEL}
본 발명은 대량 수집이 불가능한 영상을 대량으로 생성할 수 있는 기술에 관한 것이다.
최근, 딥러닝 모델을 이용한 영상 기반의 식물 병증세 진단 기술이 제안된 바 있다. 여기에서, 지도방식 딥러닝 학습을 위해 라벨링된 대량의 데이터(빅데이터)가 필요하며, 다양한 환경, 배경에서 획득된 양질의 데이터가 수집되는 경우, 딥러닝 학습시 보다 정확한 진단 결과를 도출할 수 있다.
다만, 대량의 데이터를 획득할 수 있는 자산이 있는 대형 IT 회사나 국가기관과 달리, 딥러닝을 연구하는 일반 연구소, 중소 IT 회사의 경우 자금과 인력의 한계로 인해 학습을 위해 필요한 양질의 데이터를 충분히 얻기가 힘든 실정이다.
특히, 멀티 클래스(Multi Class)의 데이터가 요구되는 경우, 각 클래스의 데이터를 학습이 가능한 양 만큼 충분히 수집하는데 한계가 있다. 또한, 충분한 양의 데이터가 수집되는 경우에도, 학습의 정당성을 보장할 만큼 다양한 배경이나 환경이 고려된 양질의 데이터를 획득하는 것은 매우 어렵다.
현재, 식물 병증세 진단을 위한 학습 데이터를 양적 및 질적 요건을 모두 갖추며 수집하는 것은 현실적으로 매우 어려운 상황으로, 이러한 문제를 해결하기 위한 기술의 개발이 절실하다 할 것이다.
한국공개특허 10-2018-0053003호
본 발명은 상술된 문제점을 해결하기 위해 도출된 것으로, 식물 병증세 진단을 위한 양질의 학습 데이터를 대량으로 생산할 수 있는 기술을 제공하고자 한다.
본 발명에 일 측면에 따른 딥러닝 기반의 병증 식물 영상 생성 장치는 다양한 병증이 표현된 영상을 대량으로 생성할 수 있다. 여기에서, 딥러닝 기반의 병증 식물 영상 생성 장치는, 병증이 없는 건강한 식물에 대한 영상이 입력 영상으로서 입력되면, 상기 입력 영상에 병증이 표현될 수 있는 목적 영역을 마스킹하여, 목적 영역과 배경 영역을 구분하는 마스킹부; 기정의된 GAN 딥러닝 모델을 이용해 상기 목적 영역 내에 특정 병증이 표현된 병증 부분 영상을 생성하는 병증 부분 영상 생성부; 및 상기 병증 부분 영상과 상기 입력 영상의 배경 영역을 합성하여, 상기 입력 영상의 배경 영역은 유지되되 상기 목적 영역 내에는 특정 병증이 표현되는 병증 식물 영상을 생성하는 영상 합성부;를 포함한다.
일 실시예에서, 상기 마스킹부는, 사용자에 의해 입력되는 마스킹 정보에 기초하여 상기 목적 영역을 마스킹하거나, 또는 기정의된 MASK RCNN 모델에 기초하여 상기 목적 영역을 마스킹할 수 있다.
일 실시예에서, 상기 목적 영역은, 상기 입력 영상에 포함된 적어도 하나의 잎에 대한 폐영역을 포함할 수 있다.
일 실시예에서, 상기 영상 합성부는, 상기 입력 영상에서 특징을 추출하는 이미지 인코더; 목적하는 병증에 관한 레이블을 임베딩한 레이블 벡터와 상기 병증 부분 영상을 곱하고, 그 결과 영상의 특징을 추출하는 마스크 레이블 인코더; 및 상기 이미지 인코더의 출력과 상기 마스크 레이블 인코더의 출력을 합(concatenate)하여 병증 식물 영상으로 디코딩하는 이미지 디코더;를 포함하여 구성될 수 있다.
본 발명의 다른 일 측면에 따른 딥러닝 기반의 병증 식물 영상 생성 방법은 병증 식물 영상 생성 장치에서 수행된다. 여기에서, 딥러닝 기반의 병증 식물 영상 생성 방법은, 병증이 없는 건강한 식물에 대한 영상이 입력 영상으로서 입력되는 단계; 상기 입력 영상에 병증이 표현될 수 있는 목적 영역을 마스킹하여, 목적 영역과 배경 영역을 구분하는 단계; 기정의된 GAN 딥러닝 모델을 이용해 상기 목적 영역 내에 특정 병증이 표현된 병증 부분 영상을 생성하는 단계; 및 상기 병증 부분 영상과 상기 입력 영상의 배경 영역을 합성하여, 상기 입력 영상의 배경 영역은 유지되되 상기 목적 영역 내에는 특정 병증이 표현되는 병증 식물 영상을 생성하는 단계;를 포함한다.
본 발명은, 다양한 환경 조건 하에서 취득된 건강한 식물 영상에서, 병증이 나타날 수 있는 특정 영역에만 병증 영상을 생성하여 합성하고, 나머지 영역은 원본 영상을 배경(background)으로서 사용함으로써, 실제 자연 환경에서 취득된 데이터 수준의 양질 데이터를 대량으로 생성할 수 있다.
도 1은 본 발명에 따른 딥러닝 기반의 병증 식물 영상 생성 장치를 설명하기 위한 블록도이다.
도 2는 본 발명에 따른 딥러닝 기반의 병증 식물 영상 생성 방법을 설명하기 위한 참조도이다.
도 3 및 4는 본 발명의 일 실시예에 따른 자동 실행 스크립트 파일의 실행 장치를 설명하기 위한 참조도이다.
도 5 및 6은 본 발명에 따른 딥러닝 기반의 병증 식물 영상 생성 방법을 통해 생성된 병증 식물 영상을 나타내는 참조도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
1. 서론
본 출원인은 식물의 병증세를 진단하고 결과를 도출하는 딥러닝 구조를 연구한 바 있으며, 이러한 연구 결과(Fuentes, Alvaro F.,et al. "High-performance deep neural network-based tomato plant diseases and pests diagnosis system with refinement filter bank." Frontiers in plant science 9 (2018): 1162.) 총 11개의 병증세를 평균 96.25%의 검출률로 진단한 결과를 얻은 바 있다. 그러나 해당 연구에서 최대 수집된 병증세 이미지 수는 3927개, 최소 수집된 병증세 이미지 수는 40개로 그 차이가 컸다.
위와 같은 최대 수집 병증세 데이터와 최소 수집 병증세 데이터의 차이가 전체 병증세 검출 및 진단 성능에 영향을 미치기 때문에, 실험실 환경에서 촬영된 이미지를 기초로 딥러닝 모델을 이용해 새로운 병증 이미지들을 생성(합성)하는 방안을 고려할 수 있다. 그러나, 이러한 합성 방법을 통해 생성되는 영상들은 동일한 환경의 배경을 가지며, 단일 잎 영상에 한정되고, 정제된 조명 환경 및 적절한 초점 제어 하에서 촬영된 영상으로 볼 수 있다. 실제 자연환경 하에서 촬영된 식물 영상들은 이와 달리 다양한 배경을 가지며, 다양한 잎이 단일 작물을 구성하고 있으며, 초점이 맞지 않는 잎들을 포함하는 등 다양한 환경 조건 하에서 수집된 영상들이 대부분이다.
본 출원인은 건강한 식물 이미지를 이용하여 다양한 자연환경에서 수집되는 병증식물 영상과 동일한 수준의 고품질 데이터를 생성하는 방법을 제안하고자 한다.
2. 기술 개요
본 발명을 상세하게 설명하기에 앞서, 본 발명에 대한 주요 특징은 아래와 같다.
본 발명은 지도방식 딥러닝 학습을 위한 영상 빅데이터 생성 기술에 관한 것이며, 구체적으로는 건강한 식물의 영상에서 다양한 병증이 있는 영상을 생성하기 위한 기술이다. 본 발명에서 입력 영상으로 사용하는 건강한 식물 영상은 다양하고 변화가 심한 자연환경에서 획득된 영상에 해당하며, 건강한 식물 영상에서 특정 영역(목적 영역)만을 합성하고 나머지 영역(Background)은 원본 영상을 사용하여 자연환경에서 획득된 영상과 매우 유사한 영상을 합성하는 기술을 제안한다.
여기에서, 특정 부분(목적 영역)은 식물의 병증이 표현되는 영역으로, 본 발명에서이러한 목적 영역을 선택하기 위해 마스크 기법이 사용될 수 있으며, 사용자(작업자)에 의한 마스킹 작업에 의해 선택되거나, 또는 Mask RCNN 모델에 의해 선택될 수 있다.
본 발명에서 목적 영역에 대한 병증 영상 생성을 위한 기술적 수단으로 GAN(Generative Adversarial Network) 딥러닝 모델이 사용될 수 있으며, GAN 모델의 성능을 극대화하기 위하여 본 발명에서 제안하는 4개의 손실함수(Loss Function)가 사용될 수 있다.
본 발명은 특정 병증을 합성하기 위해 목적하는 병증 레이블(label)을 레이블 벡터로 만들어 GAN 구조에 입력할 수 있다.
본 발명은 건강한 식물 영상과 마스킹된 병증 영상 각각에 대해 CNN을 통해 특징을 추출한 후 결합하고 이를 다시 부호화하여, 배경은 입력 영상 그대로, 목적 영역은 목적하는 병증 영상이 있는 최종 영상을 생성할 수 있다.
즉, 본 발명은 식물의 병증세 진단을 위한 딥러닝 학습용 데이터를 대량으로 생성할 수 있는 기술을 제안하며, 본 발명에 따라 생성된 영상은 실제 자연환경의 다양성을 그대로 유지하고 있어, 실제 병증세 진단 딥러닝 기법에 사용되는 경우, 실제 환경의 다양성을 그대로 학습할 수 있으므로, 진단 결과의 정확도를 대폭 향상시킬 수 있다.
3. 본 발명의 기술 내용
도 1 내지 5를 참조하여 본 발명 및 본 발명의 실시예에 대하여 상세하게 설명한다. 도 1은 본 발명에 따른 딥러닝 기반의 병증 식물 영상 생성 장치를 설명하기 위한 블록도이고, 도 2는 본 발명에 따른 딥러닝 기반의 병증 식물 영상 생성 방법을 설명하기 위한 참조도이다. 또한, 도 3 및 4는 본 발명의 일 실시예에 따른 자동 실행 스크립트 파일의 실행 장치를 설명하기 위한 참조도이며, 도 5 및 6은 본 발명에 따른 딥러닝 기반의 병증 식물 영상 생성 방법을 통해 생성된 병증 식물 영상을 나타내는 참조도이다.
도 1을 참조하면, 본 발명에 따른 딥러닝 기반의 병증 식물 영상 생성 장치(이하, 병증 식물 영상 생성 장치, 100)는 이하에서 설명하는 병증 식물 영상 생성 방법을 수행하는 컴퓨팅 장치로, 마스킹부(110), 병증 부분 영상 생성부(120), GAN 딥러닝 모델(130) 및 영상 합성부(140)를 포함하여 구성될 수 있다.
도 2를 참조하면, 마스킹부(110)는 병증이 없는 건강한 식물에 대한 영상이 입력 영상(도 2(A))으로서 입력되면, 입력 영상에 병증이 표현될 수 있는 목적 영역(T)을 마스킹(도 2(B))하여, 목적 영역(T)과 배경 영역(B)을 구분(도 2(C))한다.
일 실시예에서, 목적 영역(T)은 입력 영상(도 2(A))에 포함된 적어도 하나의 잎에 대한 다양한 형태의 폐영역을 포함할 수 있다. 보다 구체적으로, 본 발명에서 목적 영역(T)은 식물 병증이 표현되는 영역으로, 특정 병증에 감염된 식물은 일반적으로 잎에서 병증이 발현됨에 따라, 본 발명에 따른 목적 영역(T)은 적어도 하나의 잎에 대한 영역을 포함하여 설정되는 것이 바람직할 것이다.
일 실시예에서, 마스킹부(110)는 사용자(작업자)에 의해 입력되는 마스킹 정보에 기초하여 목적 영역(T)을 마스킹할 수 있다. 즉, 목적 영역에 대한 마스크는 사용자에 의한 설정될 수 있다.
다른 일 실시예에서, 마스킹부(110)는 기정의된 MASK-RCNN 모델에 기초하여 목적 영역(T)을 마스킹할 수 있다. 한편, MASK-RCNN 모델을 이용해 의도하는 영역을 마스킹하는 방법에 관한 구체적인 내용은 본 발명의 핵심적 기술적 사상이 아니므로 상세한 설명은 생략한다.
병증 부분 영상 생성부(120)는 기정의된 GAN 딥러닝 모델(130)을 이용해 목적 영역(T) 내에 특정 병증이 표현된 병증 부분 영상을 생성한다.
영상 합성부(140)는 병증 부분 영상 생성부(120)에 의해 생성된 병증 부분 영상과 입력 영상의 배경 영역을 합성하여, 입력 영상의 배경 영역(B)은 유지되되 목적 영역(T) 내에는 특정 병증이 표현되는 병증 식물 영상(도 2(D))을 생성한다. 여기에서, 특정 병증 합성 모델은 병증마다 개별로 구현할 수 있으며 이를 사용하여 해당 작물의 모든 클래스(Class)에 해당하는 병증 영상을 만들 수 있다.
일 실시예에서, 영상 합성부(140)는 이미지 인코더(141), 마스크 레이블 인코더(142) 및 이미지 디코더(143)를 포함하여 구성될 수 있다.
이미지 인코더(141)는 입력 영상에서 특징을 추출하며, 마스크 레이블 인코더(142)는 목적하는 병증에 관한 레이블을 임베딩한 레이블 벡터와 병증 부분 영상을 곱하고, 그 결과 영상의 특징을 추출한다. 이미지 디코더(143)는 이미지 인코더(141)의 출력과 마스크 레이블 인코더(142)의 출력을 합(concatenate)하여 병증 식물 영상으로 디코딩한다.
도 3을 참조하면, 이미지 인코더(141, EI)는 입력 영상(건강한 식물 영상, image x)에서 특징(image feature)를 추출한다. 마스크 레이블 인코더(142, EML)는 레이블 c와 이진 마스크 mx의 정보를 곱한 후 특징 추출기를 통해 마스크-레이블의 특징을 추출한다. 여기에서, 레이블은 변환을 원하는 작물 병증 이름을 의미하며, 마스크 레이블 인코더(142, EML)는 이를 이미지와 병합할 수 있도록 고정된 크기의 벡터로 임베딩하여 마스크 그림과 곱한다. 이미지 디코더(143, Dec)는 이미지 인코더(141)의 출력과 마스크레이블 인코더(142)의 출력 부분을 합(Concatenate)하여 디코딩함으로써 병증 식물 영상(image y')을 생성한다. 이러한 각 구성요소의 동작을 통해 입력 영상의 배경 영역은 그대로 마스크로 선택된 목적 영역은 병증이 있는 영상으로 합성된 이미지가 결과물로 출력될 수 있다.
영상 생성을 위한 GAN 딥러닝 모델(130)은 영상을 만드는 생성자(Generator)와, 진짜 영상과 생성 영상을 식별하는 식별자(Discriminator)를 포함하여 구성된다. 보다 구체적으로, 생성자는 노이즈 벡터(Noise Vector)를 가져와 생성적 신경망(Generative Networks)에서 병증세 영상을 만들어 출력하고, 식별자는 실제의 병증세 클래스(Class) 영상과 생성자에 의해 생성된 영상을 비교하여 생성된 영상이 실제(Real)과 거짓(Fake)인지 판별할 수 있다. 여기에서, 거짓으로 판별되면 GAN 딥러닝 모델(130)은 실제와 같도록 새로운 영상을 생성하는 과정을 반복하여 학습한다.
도 4를 참조하여, 본 발명에 따른 GAN 딥러닝 모델(130)이 학습하는 과정을 설명한다. 도 4를 참조하면, 생성자는 병증이 없는 건강한 식물 영상(Image x)와 목적 영역에 대한 마스크 mx를 입력받아 병증 식물 영상(image y')을 생성한다. 여기에서, 생성자는 앞서 설명한 영상 합성부(140)와 동일한 과정으로 병증 식물 영상(image y')을 생성할 수 있다. 여기에서, 식별자에, 생성자의 출력인 병증 식물 영상(image y')과 병증 식물 원본 영상(image y)과 마스크 mx가 입력되며, 식별자는 마스크 mx에 기초하여 병증 식물 영상(image y') 및 병증 식물 영상(image y')을 서로 비교함으로써 학습을 수행한다. 한편, 본 발명에 따른 GAN 딥러닝 모델(130)에 적용되는 손실 함수는 아래와 같다.
4. 본 발명에 적용되는 손실 함수(Loss Function)
4-1. 기존 GAN의 손실 함수
일반적으로 GAN에서 사용하는 손실 함수는 아래와 같다.
Figure pat00001
상기 수식은 원래 목적하는 출력 이미지 y와 기술 구현을 통해 출력된 이미지 y'를 비교하고 상호 크로스 엔트로피(Cross Entropy) 값을 결합하여 손실 함수를 구현한 것이다. 상기 수식에서 D는 식별자(Discriminator)이다.
상기 수식은 이미지 전체에 대한 GAN 적용에는 활용 가능하나, 특정 영역(목적 영역)만을 추출하는 본 발명에는 적용이 어렵다. 이에 특정 영역에만 GAN을 적용하는 손실 함수는 아래와 같이 구할 수 있다.
4-2. 특정 영역을 지정한 AGGAN의 손실 함수
특정 영역이 명시적으로 지정되면 AGGAN의 손실 함수는 아래 수식과 같이 정의될 수 있다.
Figure pat00002
상기 손실함수에 따르면, 식별자(Discriminator)는 지정된 특정 영역만 평가하면 된다. 그러나 이러한 손실함수에는 잠재적인 결함이 있다. 예를 들어, 특정 영역의 여백에 블러링과 인공적인 생성물이 발생하고 특정 영역의 규모 영향으로 인해 모순적인 교육 프로세스를 만드는 경향이 있다. 본 발명은 이러한 문제를 해결하기 위해 아래와 같은 손실 함수를 제안한다.
4-3. 무작위 배경을 가진 RBGAN의 손실 함수
본 발명은 상기 4-2.의 문제를 해결하기 위해 무작위 배경을 가진 간단하지만 효율적인 손실 함수를 제안한다.
Figure pat00003
상기 수식에서 N은 이미지 x, y와 같은 크기와 같은 값의 범위를 가진 랜덤 노이즈 매트릭스(random noise matrix)이다. 상기 수식을 살펴보면, 병증 원본 이미지 y에 마스킹 한 my와 마스킹 이외 부분(1-my)에 노이즈를 적용한 부분을 하나의 비교 대상으로 하며, 생성자에 의해 생성된 y'에 마스킹 한 mx와, 마스킹 이외 부분(1-mx)에 노이즈를 적용한 부분을 또 다른 비교 대상으로 하여, 식별자가 GAN 학습을 수행하는 것을 확인할 수 있다. 상기 손실 함수에 따르면, 실제 이미지와 생성 이미지의 배경이 동일한 분포를 하게 되며, 식별자(Discriminator)는 임의의 배경을 무시하는 방법을 배우는 경향이 있어 특정 영역의 영향을 완화시킬 수 있다.
4- 4. 클래스 확인을 위한 보조 객체 분류기 손실 함수
식별자(Discriminator)가 입력 인스턴스의 클래스를 확인할 수 있도록 아래와 같은 보조적인 객체 분류기가 적용될 수 있다. 본 발명에 따른 보조 객체 분류기는 마지막 레이어 및 출력 레이블을 제외한 모든 계산을 식별자(Discriminator)와 공유하므로 약간의 계산량만 필요로 한다.
본 발명에 따른 보조 객체 분류기 손실 함수는 아래와 같으며, 이를 통해 생성된 이미지 y'에서 예측된 병증 클래스(pred)와 실제 병증 이미지의 병증 클래스(t) 사이의 손실(loss)를 검출할 수 있다. 여기에서, 실제와 예측 인스턴스에 대한 분류 손실을 계산하는데 Softmax가 사용되었다.
Figure pat00004
4-5. 배경 유지를 위한 원본 및 변환 이미지의 차이 계산
입력 영상의 배경 영역을 유지하기 위해 아래 수식과 같이 L1 norm을 적용하여 원본 영상과 변환된 영상 간의 픽셀 단위 차이를 계산한다.
Figure pat00005
4-6. 더 나은 인스턴스 변환을 얻기 위한 아이덴티티 손실(identity loss)
본 발명에서는 더 나은 인스턴스의 변환을 얻기 위해 아래 수식과 같은 위한 아이덴티티 손실(identity loss)을 적용하였으며, 이 아이덴티티 손실(identity loss)은 전체 이미지가 아닌 인스턴스에만 집중한다.
Figure pat00006
상기 수식을 살펴보면, 생성자의 성능을 높이기 위해 병증 원본 이미지 y와 y이미지 내 특정 검출 영역 my를 생성자에 입력하여 얻어진 결과와 병증 원본 이미지 사이의 손실을 검출하는 아이덴티티 손실에 관한 것으로, 아래 식과 같이 표현될 수 있다.
Figure pat00007
4-7. 최종 손실 함수
최종 손실 함수는 아래 수식과 같으며, 본 발명에 따른 병증 식물 영상 생성 장치(100)가 각 손실 함수들을 모두 적용한 것으로 해석할 수 있다.
Figure pat00008
여기서 λ는 hyper parameter로 각 손실함수의 밸런스를 조정한다.
5. 본 발명에 따른 효과
본 발명에 따르면, 지도학습 방식의 딥러닝 학습을 위한 고품질의 데이터 세트를 생성할 수 있다. 여기에서, 고품질의 데이터 세트는 딥러닝 학습시 최대한 자연환경의 모든 곳에서 획득된 데이터로 판단될 수 있는 데이터의 집합을 의미한다.
보다 구체적으로, 본 발명에 따르면, 자연 환경에서 획득할 수 있는 다양한 배경의 데이터 세트를 구현할 수 있고 그 수량도 충분히 생성 가능하여, 인력 및 비용 문제로 인해 고품질의 데이터 세트를 수집하기 어려운 문제를 해결할 수 있다. 특히, 멀티 레이블이 필요한 클래스의 경우 각 클래스 마다 충분한 데이터를 생성할 수 있다.
도 5 및 6을 참조하면, 본 발명에서 제안하는 딥러닝 기반의 병증 식물 영상 생성 장치(100)를 통해, 건강한 식물 영상에서 마스킹된 목적 영역만 병증 이미지로 합성된 병증 식물 영상이 생성될 수 있음을 확인할 수 있으며, 또한 다양한 환경 조건 하에서 수집된 입력 영상((A) ~ (D)) 각각을 이용해 다양한 병증을 나타내는 병증 식물 영상이 생성될 수 있음을 확인할 수 있다. 또한, 본 발명에 따르면, 생성되는 병증 식물 영상은 마스크의 크기 및 형태에 따라 병증을 다양한 크기 및 형태로 표현할 수 있다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
100 : 병증 식물 영상 생성 장치
110 : 마스킹부
120 : 병증 부분 영상 생성부
130 : GAN 딥러닝 모델
140 : 영상 합성부
141 : 이미지 인코더
142 : 마스크 레이블 인코더
143 : 이미지 디코더

Claims (5)

  1. 다양한 병증이 표현된 영상을 대량으로 생성할 수 있는 딥러닝 기반의 병증 식물 영상 생성 장치에 있어서,
    병증이 없는 건강한 식물에 대한 영상이 입력 영상으로서 입력되면, 상기 입력 영상에 병증이 표현될 수 있는 목적 영역을 마스킹하여, 목적 영역과 배경 영역을 구분하는 마스킹부;
    기정의된 GAN 딥러닝 모델을 이용해 상기 목적 영역 내에 특정 병증이 표현된 병증 부분 영상을 생성하는 병증 부분 영상 생성부; 및
    상기 병증 부분 영상과 상기 입력 영상의 배경 영역을 합성하여, 상기 입력 영상의 배경 영역은 유지되되 상기 목적 영역 내에는 특정 병증이 표현되는 병증 식물 영상을 생성하는 영상 합성부;
    를 포함하는 병증 식물 영상 생성 장치.
  2. 제1항에 있어서, 상기 마스킹부는,
    사용자에 의해 입력되는 마스킹 정보에 기초하여 상기 목적 영역을 마스킹하거나, 또는 기정의된 MASK RCNN 모델에 기초하여 상기 목적 영역을 마스킹하는 것을 특징으로 하는 병증 식물 영상 생성 장치.
  3. 제2항에 있어서, 상기 목적 영역은,
    상기 입력 영상에 포함된 적어도 하나의 잎에 대한 폐영역을 포함하는 것을 특징으로 하는 것을 특징으로 하는 병증 식물 영상 생성 장치.
  4. 제1항에 있어서, 상기 영상 합성부는,
    상기 입력 영상에서 특징을 추출하는 이미지 인코더;
    목적하는 병증에 관한 레이블을 임베딩한 레이블 벡터와 상기 병증 부분 영상을 곱하고, 그 결과 영상의 특징을 추출하는 마스크 레이블 인코더; 및
    상기 이미지 인코더의 출력과 상기 마스크 레이블 인코더의 출력을 합(concatenate)하여 병증 식물 영상으로 디코딩하는 이미지 디코더;
    를 포함하는 것을 특징으로 하는 병증 식물 영상 생성 장치.
  5. 다양한 병증이 표현된 영상을 대량으로 생성할 수 있는 딥러닝 기반의 병증 식물 영상 생성 방법에 있어서,
    병증이 없는 건강한 식물에 대한 영상이 입력 영상으로서 입력되는 단계;
    상기 입력 영상에 병증이 표현될 수 있는 목적 영역을 마스킹하여, 목적 영역과 배경 영역을 구분하는 단계;
    기정의된 GAN 딥러닝 모델을 이용해 상기 목적 영역 내에 특정 병증이 표현된 병증 부분 영상을 생성하는 단계; 및
    상기 병증 부분 영상과 상기 입력 영상의 배경 영역을 합성하여, 상기 입력 영상의 배경 영역은 유지되되 상기 목적 영역 내에는 특정 병증이 표현되는 병증 식물 영상을 생성하는 단계;
    를 포함하는 병증 식물 영상 생성 방법.
KR1020200182845A 2020-12-24 2020-12-24 다양한 병증이 표현된 영상을 대량으로 생성할 수 있는 딥러닝 기반의 병증 식물 영상 생성 장치 및 방법 KR20220091787A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200182845A KR20220091787A (ko) 2020-12-24 2020-12-24 다양한 병증이 표현된 영상을 대량으로 생성할 수 있는 딥러닝 기반의 병증 식물 영상 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200182845A KR20220091787A (ko) 2020-12-24 2020-12-24 다양한 병증이 표현된 영상을 대량으로 생성할 수 있는 딥러닝 기반의 병증 식물 영상 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20220091787A true KR20220091787A (ko) 2022-07-01

Family

ID=82397105

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200182845A KR20220091787A (ko) 2020-12-24 2020-12-24 다양한 병증이 표현된 영상을 대량으로 생성할 수 있는 딥러닝 기반의 병증 식물 영상 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20220091787A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661535A (zh) * 2022-10-31 2023-01-31 中国矿业大学 一种目标去除背景恢复方法、装置和电子设备
WO2024066851A1 (zh) * 2022-09-27 2024-04-04 杭州睿胜软件有限公司 植物诊断方法、装置及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180053003A (ko) 2016-11-11 2018-05-21 전북대학교산학협력단 딥 러닝을 이용한 작물 병충해 검출 및 진단 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180053003A (ko) 2016-11-11 2018-05-21 전북대학교산학협력단 딥 러닝을 이용한 작물 병충해 검출 및 진단 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024066851A1 (zh) * 2022-09-27 2024-04-04 杭州睿胜软件有限公司 植物诊断方法、装置及计算机可读存储介质
CN115661535A (zh) * 2022-10-31 2023-01-31 中国矿业大学 一种目标去除背景恢复方法、装置和电子设备
CN115661535B (zh) * 2022-10-31 2023-11-03 中国矿业大学 一种目标去除背景恢复方法、装置和电子设备

Similar Documents

Publication Publication Date Title
JP7458328B2 (ja) マルチ分解能登録を介したマルチサンプル全体スライド画像処理
EP3692497B1 (en) Histopathological image analysis
JP7249326B2 (ja) 単一分子局在化顕微鏡法によって取得された回折限界画像からの高密度超解像度画像の再構築を改善する方法、装置、及びコンピュータプログラム
JP2020009402A (ja) 自動染色体分類のための方法及びシステム
Maric et al. Whole-brain tissue mapping toolkit using large-scale highly multiplexed immunofluorescence imaging and deep neural networks
KR20220091787A (ko) 다양한 병증이 표현된 영상을 대량으로 생성할 수 있는 딥러닝 기반의 병증 식물 영상 생성 장치 및 방법
Alirezazadeh et al. Improving deep learning-based plant disease classification with attention mechanism
CN113128271A (zh) 脸部图像的伪造检测
CN115410050A (zh) 基于机器视觉的肿瘤细胞检测设备及其方法
Morelli et al. Automating cell counting in fluorescent microscopy through deep learning with c-ResUnet
CN116612472B (zh) 基于图像的单分子免疫阵列分析仪及其方法
CN116287138B (zh) 基于fish的细胞检测系统及其方法
Anders et al. Understanding patch-based learning of video data by explaining predictions
Hou et al. Dual adaptive pyramid network for cross-stain histopathology image segmentation
Geng et al. Cervical cytopathology image refocusing via multi-scale attention features and domain normalization
Singh et al. StegGAN: hiding image within image using conditional generative adversarial networks
Banerjee et al. TWD: a new deep E2E model for text watermark/caption and scene text detection in video
Sivanarayana et al. Review on the methodologies for image segmentation based on CNN
Jayachandran et al. Deep transfer learning for texture classification in colorectal cancer histology
US20220019828A1 (en) Microscopy System, Method and Computer Program for Processing Microscope Images
Kirubakaran et al. A Hybrid Application of Quantum Computing Methodologies to AI Techniques for Paddy Crop Leaf Disease Identification
Thebille et al. Deep learning-based bias transfer for overcoming laboratory differences of microscopic images
Ramarolahy et al. Classification and generation of microscopy images with plasmodium falciparum via artificial neural networks using low cost settings
Sinha et al. Familygan: Generating kin face images using generative adversarial networks
Shi et al. Intelligent animal fibre classification with artificial neural networks

Legal Events

Date Code Title Description
E601 Decision to refuse application