KR102213394B1 - 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 장치 및 방법 - Google Patents

기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 장치 및 방법 Download PDF

Info

Publication number
KR102213394B1
KR102213394B1 KR1020190108275A KR20190108275A KR102213394B1 KR 102213394 B1 KR102213394 B1 KR 102213394B1 KR 1020190108275 A KR1020190108275 A KR 1020190108275A KR 20190108275 A KR20190108275 A KR 20190108275A KR 102213394 B1 KR102213394 B1 KR 102213394B1
Authority
KR
South Korea
Prior art keywords
cut flower
cut
thermal image
temperature
flower plant
Prior art date
Application number
KR1020190108275A
Other languages
English (en)
Inventor
이애경
최소영
Original Assignee
단국대학교 천안캠퍼스 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 천안캠퍼스 산학협력단 filed Critical 단국대학교 천안캠퍼스 산학협력단
Priority to KR1020190108275A priority Critical patent/KR102213394B1/ko
Application granted granted Critical
Publication of KR102213394B1 publication Critical patent/KR102213394B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00—Botany in general
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G22/00—Cultivation of specific crops or plants not otherwise provided for
    • A01G22/60—Flowers; Ornamental plants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Botany (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Environmental Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 절화식물의 수명 예측 기술에 관한 것으로서, 상세하게는 기계학습 기반 열영상 분석을 통해 절화 장미 등 절화식물의 수명을 예측하는 장치 및 방법에 관한 것이다. 이를 위하여, 본 발명에 따른 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 장치는 대기온도를 일정한 주기마다 측정하여 저장하는 대기온도 데이터로거와, 절화식물을 촬영하여 절화식물의 픽셀별 온도에 대응하는 색상으로 표시된 열영상을 생성하는 열화상 카메라와, 상기 열영상을 처리하여 절화식물의 잎 온도를 구하고 잎 온도와 대기온도의 차이 값을 산출하는 전처리부와, 상기 절화식물의 잎 온도 및 잎 온도와 대기온도의 차이 값을 심층신경망을 통해 분석하여 절화식물의 만개 또는 노화 상태를 분류하는 분석부를 포함한다.

Description

기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 장치 및 방법 {Apparatus and method for predicting longevity of cut-flowers using thermal image analysis based on machine-learning}
본 발명은 절화식물의 수명 예측 기술에 관한 것으로서, 상세하게는 기계학습 기반 열영상 분석을 통해 절화 장미 등 절화식물의 수명을 예측하는 장치 및 방법에 관한 것이다.
장미는 전 세계에서 가장 인기 있는 꽃이며, 거래량이 연간 1조원에 달하는 절화 품목이다. 절화 장미는 연중 재배되고 있는 화훼 작물로서, 국내 절화 장미 총 재배 면적은 전체 절화류 면적 대비 21%를 차지한다.
그런데 국내 농업은 자연환경의 극심한 변화와 고령화로 인한 농촌 생산인구 감소 등의 이유로 절화 장미의 재배면적과 생산량, 생산액이 급격히 감소하고 있고, 이는 국내 뿐 아니라 전 세계적으로 문제가 되고 있는 실정이다.
이러한 문제를 해결하기 위해 최근에는 농업 분야에 ICT(information and communications technology) 기술을 접목한 스마트 기술이 급부상하고 있으며, 사물 인터넷(internet of things, IoT)을 통해 온·습도나 광량 등의 작물재배 환경을 제어하고 모니터링하며, 센서를 활용해 농산물의 생육과 환경 데이터를 획득하는 기술이 떠오르고 있다. 그러나 스마트팜은 아직까지 초기단계이며 다소 생산 부분에만 치우쳐 있어 보완하고 발전해야 할 문제들이 많이 있다.
현재 스마트팜 분야에 대한 핵심기반기술의 요구가 증대되고 있고, 작물의 생리·생화학적 반응, 스트레스 반응 등의 상태를 손상 없이 효율적으로 빠르게 파악할 수 있는 비파괴 분석(non-destructive testing) 기술이 필요하다.
비파괴 분석 중 대표적인 기술로‘적외선 열영상 분석’이 있으며, 이를 통해 옥수수 생육반응의 모니터링 연구, 온실 작물인 상추, 배추, 오이, 고추의 수분스트레스 연구, 국화의 수분스트레스에 대한 연구, 오이의 주요 바이러스인 검은별무늬병, 탄저병의 비파괴 검출 연구 등 작물의 생육 모니터링과 작물의 스트레스인 수분 부족과 바이러스 감염 등을 예측·진단하는 연구가 진행되고 있다.
더 나아가 사물 인터넷(internet of things, IoT) 기반 데이터 수집을 통해 빅 데이터를 구축하고 인공지능 기반인 기계학습(machine learning)으로 예측 모델을 개발하는 것이 요구된다.
한국공개특허 제2014-0104648호
본 발명은 상기와 같은 상황을 고려하여 창안된 것으로서, 본 발명의 목적은 절화 장미 등과 같은 절화식물 수확 후에 절화식물의 수명을 예측하는 기계학습 모델을 생성하여 그 절화식물의 수명 예측 기술을 스마트팜에 활용하려는 것이다.
이를 위하여, 본 발명에 따른 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 장치는 대기온도를 일정한 주기마다 측정하여 저장하는 대기온도 데이터로거와, 절화식물을 촬영하여 절화식물의 픽셀별 온도에 대응하는 색상으로 표시된 열영상을 생성하는 열화상 카메라와, 상기 열영상을 처리하여 절화식물의 잎 온도를 구하고 잎 온도와 대기온도의 차이 값을 산출하는 전처리부와, 상기 절화식물의 잎 온도 및 잎 온도와 대기온도의 차이 값을 심층신경망을 통해 분석하여 절화식물의 만개 또는 노화 상태를 분류하는 분석부를 포함한다.
또한, 본 발명에 따른 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 장치는 절화식물을 촬영하여 절화식물의 픽셀별 온도에 대응하는 색상으로 표시된 열영상을 생성하는 열화상 카메라와, 상기 절화식물의 열영상을 처리하여 절화식물의 잎 부분에 대한 열영상을 추출하는 전처리부와, 상기 절화식물의 잎 부분에 대한 열영상으로부터 컨벌루션 신경망을 통해 특징 맵을 추출하고 특징 맵에 대해 완전 연결한 심층신경망을 통해 특징 맵을 분석하여 절화식물의 만개 또는 노화 상태를 분류하는 분석부를 포함한다.
또한, 본 발명에 따른 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 방법은, 절화식물의 수명 예측 장치에서 기계학습 기반으로 절화식물의 수명을 예측하는 방법으로서, 열화상 카메라로부터 절화식물의 픽셀별 온도에 대응하는 색상으로 표시된 열영상을 입력받는 단계와, 대기온도 데이터로거로부터 대기온도를 일정한 주기마다 입력받는 단계와, 상기 열영상을 영상 처리하여 절화식물의 잎 온도를 구하고 잎 온도와 대기온도의 차이 값을 산출하는 단계와, 상기 절화식물의 잎 온도 및 잎 온도와 대기온도의 차이 값을 심층신경망을 통해 분석하여 절화식물의 만개 또는 노화 상태를 분류하는 단계를 포함한다.
또한, 본 발명에 따른 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 방법은, 절화식물의 수명 예측 장치에서 기계학습 기반으로 절화식물의 수명을 예측하는 방법으로서, 열화상 카메라로부터 절화식물의 픽셀별 온도에 대응하는 색상으로 표시된 열영상을 입력받는 단계와, 상기 절화식물의 열영상을 처리하여 절화식물의 잎 부분에 대한 열영상을 추출하는 단계와, 상기 절화식물의 잎 부분에 대한 열영상으로부터 컨벌루션 신경망을 통해 특징 맵을 추출하는 단계와, 상기 특징 맵에 대해 완전 연결한 심층신경망을 통해 특징 맵을 분석하여 절화식물의 만개 또는 노화 상태를 분류하는 단계를 포함한다.
상술한 바와 같이, 본 발명에 따른 절화식물의 수명 예측 기술을 사용함으로써 육안으로 절화식물의 노화 양상을 확인하기 전에 미리 절화수명의 종료일을 예상할 수 있기 때문에 절화 장미 등 절화식물 수확 후 절화식물의 품질을 비교적 정확하게 예측할 수 있고, 그에 따라 절화식물의 유통 및 판매 과정을 효율적으로 진행할 수 있는 효과가 있다.
도 1은 본 발명의 제1 실시예에 따른 기계학습 기반 열영상 분석을 통한 절화수명 예측 장치의 개략적인 구성도.
도 2는 본 발명의 제1 실시예에 따른 기계학습 기반 열영상 분석을 통한 절화수명 예측 과정을 나타낸 순서도.
도 3은 본 발명의 제2 실시예에 따른 기계학습 기반 열영상 분석을 통한 절화수명 예측 장치의 개략적인 구성도.
도 4는 본 발명의 제2 실시예에 따른 기계학습 기반 열영상 분석을 통한 절화수명 예측 과정을 나타낸 순서도.
도 5는 본 발명의 제2 실시예에 따른 분석부의 내부 구성도.
도 6은 본 발명의 실시예에 따른 절화 장미 3개 품종별 잎과 꽃 온도 및 대기온도를 나타낸 그래프.
도 7은 본 발명의 실시예에 따른 절화 장미 3개 품종별 생체중 변화율, 수분 흡수량 및 수분 균형을 나타낸 그래프.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다.
도 1은 본 발명의 제1 실시예에 따른 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 장치의 개략적인 구성을 나타낸 것이다.
도 1을 참조하면, 제1 실시예에 따른 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 장치(이하, 절화식물의 수명 예측 장치)는 열화상 카메라(10), 대기온도 데이터로거(20), 전처리부(30), 분석부(40) 등을 포함한다.
열화상 카메라(10)는 각 픽셀에서 온도 값에 대응하는 색상이 표시된 열영상을 생성한다. 열영상에서 온도가 낮을수록 청색으로 온도가 높을수록 적색으로 표시되어 색의 변화로 물체의 온도특성을 파악할 수 있다.
본 발명의 실시예에 따른 열화상 카메라(10)는 3개 품종의 절화 장미를 촬영하여 각 품종의 절화 장미에 대해 꽃과 잎의 온도에 따른 열영상을 생성한다.
대기온도 데이터로거(20)는 절화식물이 위치하는 장소의 대기온도를 주기적으로(최소 1초 단위) 측정하여 저장한다.
전처리부(30)는 열화상 카메라(10)의 열영상을 처리하여 절화식물의 잎 온도를 구하고 대기온도 데이터로거(20)의 대기온도를 입력받아 절화식물의 잎 온도와 대기온도의 차이 값을 산출한다.
분석부(40)는 머신러닝 기반으로 학습된 모델이 적용되어 있으며 학습된 모델을 이용해 절화식물의 수명을 예측한다.
분석부(40)는 전처리부(30)로부터 절화식물의 잎 온도, 절화식물의 잎 온도와 대기온도의 차이 값을 일정 시간(6시간, 12시간, 하루 등)마다 입력받아 심층신경망을 통해 분석하여 절화식물의 만개/노화 상태를 분류하고 이를 통해 절화식물의 수명을 예측하게 된다.
도 2는 본 발명의 제1 실시예에 따른 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 과정을 나타낸 것이다.
도 2를 참조하면, 먼저 열화상 카메라(10)로부터 절화식물의 픽셀별 온도에 대응하는 색상으로 표시된 열영상을 입력 받는다(S10).
이와 동시에 대기온도 데이터로거(20)로부터 일정한 주기마다 측정된 대기온도를 입력 받는다(S12).
이후 열영상을 영상 처리하여 절화식물의 잎 온도를 구하고 잎 온도와 대기온도의 차이 값을 산출하는 전처리 단계를 수행한다(S14).
전처리 단계(S14)에서 산출된 잎 온도와 대기온도의 차이 값과 외에 잎 온도, 날짜정보 등이 심층신경망(Deep Neural Network)의 입력 벡터로 들어가 기계학습 기반의 분석이 수행된다(S16).
심층신경망 분석을 통해 절화식물의 만개 또는 노화 상태가 분류되고 노화 상태에 근거해 절화식물의 수명을 예측하게 된다. 즉, 심층신경망 분석을 통해 절화식물의 특정 노화 상태 시점을 확인하고 그 시점으로부터 절화식물의 수명 종료일을 계산함으로써 절화식물의 수명을 예측할 수 있다.
본 발명의 제1 실시예에 따른 절화 장미의 수명을 예측하는 머신러닝 기반 모델을 구현하기 위해, 절화 장미의 품종별 잎 온도(입력 데이터), 잎 온도와 대기온도의 차이 값(입력 데이터), 절화 장미의 만개/노화 상태(출력 데이터)를 훈련 데이터로 선정하여 기계학습을 수행하였다.
머신러닝 기반의 훈련 데이터 집합을 만들기 위해 본 발명의 제1 실시예에서는 3개 품종의 절화 장미별로 꽃(petal) 온도 및 잎(leaf) 온도 그리고 대기온도(air temperature)를 날짜별로 측정하면서 품종별 절화 장미의 만개/노화 상태와 절화수명의 종료일을 확인하였다.
절화수명은 색변화(color change), 위조(wilting), 꽃목 굽음(bent neck), 잎 위조(leaf wilting) 현상에 근거하여 판단한다. 이러한 노화 현상이 50% 미만으로 나타났을 때를 1단계, 50% 이상으로 나타났을 때를 2단계로 정하여 한 가지 이상의 노화현상이 2단계로 발견되면 관상가치가 없는 시점으로 보고 이 때를 절화수명의 종료일로 정하였다.
한편, 식물 잎의 기공 조절은 식물의 성장 및 수명에 영향을 미치는 광합성과 수분 생리를 결정하는 핵심 요소로서, 증산작용에 대한 기공 전도도는 모니터링 되어야 하는 중요한 생리학적 변수이다. 증산작용은 잎의 에너지 균형과 식물의 잎 온도에 영향을 끼치기 때문에 열영상 분석을 통해 증산작용을 추정할 수 있다.
도 6은 3개 품종의 절화 장미별로 시간의 흐름에 따라 잎의 온도와 대기온도를 측정하면서 절화 장미의 상태를 관찰한 것이다.
1) 3D 품종
실험 시작 4일 후, 잎의 온도와 대기온도의 차이가 0.1℃로 나타났다. 실험 8일 후, 잎의 온도와 대기온도의 차이는 약 2℃로 잎의 온도가 대기온도보다 높아지면서 온도 차이가 벌어졌다. 8일째 되는 시점에서 육안으로는 꽃과 잎의 이상 징후가 나타나지 않았으나, 이러한 온도차가 발생한 시점에서 3일 후에 절화수명이 종료되었다.
2) Kensington Garden 품종
실험 시작 4일 후, 잎의 온도와 대기온도의 차이가 0.4℃로 나타났다. 실험 8일 후, 잎의 온도와 대기온도의 차이는 약 2℃로 잎의 온도가 대기온도보다 높아지면서 온도 차이가 벌어졌다. 8일째 되는 시점에서 역시 육안으로는 꽃과 잎의 이상 징후가 나타나지 않았으나, 이러한 온도차가 발생한 시점에서 3일 후에 절화수명이 종료되었다.
3) Hera 품종
육안으로 개화가 확인되는 실험 시작 3일 후, 잎의 온도와 대기온도의 차이가 1.6℃로 다른 두 품종에 비해 온도 차이가 높게 나타났다. 실험 6일 후, 잎의 온도가 대기온도보다 1.3℃ 높아지는 양상을 보였고, 그 후 2일이 지난 실험 8일째 되는 시점에서 절화수명이 종료되었다.
한편, 절화 장미를 45cm로 절단하고 잎은 하위 15cm를 제거한 후 500ml 증류수가 담긴 삼각 플라스크에 꽂아 절화 장미의 생체중 변화율(fresh weight % of initial), 수분 흡수량(water uptake), 수분 균형(water balance)을 조사하였다.
수분 흡수량은 전날 무게(용기+용액 무게)에서 당일 무게(용기+용액 무게)를 뺀 값으로 계산하고, 수분균형은 수분 흡수량에서 증산량을 뺀 값으로 계산하였다.
도 7은 3개 품종의 절화 장미별 생체중 변화율, 수분 흡수량 및 수분 균형을 나타낸 것이다.
도 7을 참조하면, Kensington Garden 품종은 실험 5일부터 수분 균형이 마이너스로 떨어졌고, 3D 품종과 Hera 품종은 실험 7일부터 수분 균형이 마이너스로 떨어지면서 그 때부터 수분 손실이 진행되었다.
열영상 분석 결과 Kensington Garden 품종과 3D 품종의 경우 수분 균형이 마이너스로 떨어진 시점에서 대기온도에 비해 잎의 온도가 다소 상승하였으나, Hera 품종은 대기온도에 비해 잎의 온도 상승이 크지 않았다.
즉, Kensington Garden 품종과 3D 품종은 특성 상 물 올림이 잘 되지 않으면 만개되지 못하고 수명이 종료되는 특성이 있어서 다른 품종에 비해 수분 스트레스에 민감하여 잎의 온도와 대기온도의 차이가 확연히 큰 것으로 나타났다. 이와 같이, 잎의 온도와 대기온도의 차이 값에 근거해 절화 장미의 수명을 예측할 때 수분 스트레스에 민감한 품종이 더 효과적인 것으로 판단된다.
도 3은 본 발명의 제2 실시예에 따른 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 장치의 개략적인 구성을 나타낸 것이다.
도 3을 참조하면, 제2 실시예에 따른 절화식물의 수명 예측 장치는 제1 실시예와 마찬가지로 열화상 카메라(10), 대기온도 데이터로거(20), 전처리부(30'), 분석부(40') 등을 포함하나, 전처리부(30')와 분석부(40')의 기능이 다소 다르다.
전처리부(30')는 열화상 카메라(10)의 열영상을 영상 처리하여 절화식물의 잎 부분에 대한 열영상을 추출한다.
분석부(40')는 제1 실시예와 마찬가지로 머신러닝 기반으로 학습된 모델이 적용되어 있으며 학습된 모델을 이용해 절화식물의 수명을 예측하나, 모델의 구성이 다르다.
분석부(40')는 절화식물의 잎 부분에 대한 열영상으로부터 컨벌루션 신경망(CNN)을 통해 특징 맵(feature map)을 추출하고 특징 맵에 대해 완전 연결한(fully connected) 심층신경망(DNN)을 통해 특징 맵을 분석하여 절화식물의 만개 또는 노화 상태를 분류하고, 절화식물의 노화 상태에 근거해 절화식물의 수명을 예측한다.
본 발명의 제2 실시예에 따른 절화 장미의 수명을 예측하는 머신러닝 기반 모델을 구현하기 위해, 절화 장미의 품종별 열영상, 날짜정보(기준일), 대기온도 등을 입력 데이터로 하고, 절화 장미의 품종별 노화/만개 상태 및 실제 절화수명 종료일(기준일부터 종료일까지 소요 날짜) 등을 출력 데이터로 하는 훈련 데이터를 생성하여 기계학습을 수행하였다.
도 4는 본 발명의 제2 실시예에 따른 분석부(40')의 내부 구성을 나타낸 것이다.
도 4를 참조하면, 분석부(40')는 열영상으로부터 특징 맵(feature map)을 추출하는 컨벌루션 신경망(CNN)(42), 특징 맵과 대기온도 등의 입력 데이터를 입력받아 절화식물의 수명을 예측하는 RNN(Recurrent Neural network) 신경망(44) 등을 포함한다.
CNN 신경망(42)에서는 열영상 데이터가 컨벌루션층(convolution layer), 활성함수, 풀링층(pooling layer)를 통과하면서 특징 맵으로 변환된다.
이렇게 변환된 특징 맵은 완전 연결(fully connected)되어 심층신경망의 하나인 RNN 신경망(44)을 거치면서 절화식물의 수명 종료일이 예측된다.
RNN 신경망(44)에서는 은닉층(hidden layer)의 결과가 다시 동일한 은닉층의 입력으로 들어가도록 연결되어 있는 심층신경망이다. 즉, 일정한 시간(6시간, 12시간, 하루 등)마다 생성되는 열영상 데이터의 특징 맵을 순차적으로 처리하면서 순서적인 측면을 고려하여 절화식물의 노화 상태를 분석할 수 있으며, 이에 따라 절화식물의 수명 종료일을 예측할 수 있게 된다.
도 5는 본 발명의 제2 실시예에 따른 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 과정을 나타낸 것이다.
도 5를 참조하면, 제1 실시예와 마찬가지로 먼저 열화상 카메라(10)로부터 절화식물의 픽셀별 온도에 대응하는 색상으로 표시된 열영상을 입력 받는다(S20).
이와 동시에 대기온도 데이터로거(20)로부터 일정한 주기마다 측정된 대기온도를 입력 받는다(S22).
이후 열영상을 영상 처리하여 절화식물의 잎 부분에 대한 열영상을 추출하는 전처리 단계를 수행한다(S24).
다음, 전처리 단계(S14)에서 추출된 절화식물의 잎 부분에 대한 열영상 데이터로부터 특징 맵을 추출하는 CNN 신경망 분석 단계가 수행된다(S26).
CNN 신경망 분석 단계(S26)는 절화식물의 잎 부분에 대한 열영상에 대해 컨벌루션, 활성함수 적용, 풀링 과정을 통해 최초 열영상 크기 대비 축소된 크기의 특징 맵을 추출한다.
이후, RNN 신경망 분석 단계(S28)는 은닉층의 결과가 다시 동일한 은닉층으로 들어가는 구조로 구성된 심층신경망을 통해 특징 맵, 대기온도, 날짜정보 등의 입력 벡터를 분석하여 절화식물의 만개/노화 상태를 분류하고 노화 상태의 순서적 측면에 근거해 절화식물의 수명 종료일을 예측한다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다.
따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
10: 열화상 카메라 20: 대기온도 데이터로거
30, 30': 전처리부 40, 40': 분석부
42: CNN 44: RNN

Claims (12)

  1. 대기온도를 일정한 주기마다 측정하여 저장하는 대기온도 데이터로거와,
    절화식물을 촬영하여 절화식물의 픽셀별 온도에 대응하는 색상으로 표시된 열영상을 생성하는 열화상 카메라와,
    상기 열영상을 처리하여 절화식물의 잎 온도를 구하고 잎 온도와 대기온도의 차이 값을 산출하는 전처리부와,
    상기 절화식물의 잎 온도 및 잎 온도와 대기온도의 차이 값을 심층신경망을 통해 분석하여 절화식물의 만개 또는 노화 상태를 분류하는 분석부를 포함하는 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 장치.
  2. 제1항에 있어서,
    상기 분석부는 절화식물의 노화 상태에 근거해 절화식물의 수명을 예측하는 것을 특징으로 하는 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 장치.
  3. 제2항에 있어서,
    상기 분석부는 절화식물의 특정 노화 상태 시점으로부터 절화식물의 수명 종료일을 계산하는 것을 특징으로 하는 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 장치.
  4. 절화식물을 촬영하여 절화식물의 픽셀별 온도에 대응하는 색상으로 표시된 열영상을 생성하는 열화상 카메라와,
    상기 절화식물의 열영상을 처리하여 절화식물의 잎 부분에 대한 열영상을 추출하는 전처리부와,
    상기 절화식물의 잎 부분에 대한 열영상으로부터 컨벌루션 신경망을 통해 특징 맵을 추출하고 특징 맵에 대해 완전 연결한 심층신경망을 통해 특징 맵을 분석하여 절화식물의 만개 또는 노화 상태를 분류하는 분석부를 포함하는 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 장치.
  5. 제4항에 있어서,
    상기 분석부는 절화식물의 노화 상태에 근거해 절화식물의 수명을 예측하는 것을 특징으로 하는 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 장치.
  6. 제5항에 있어서,
    대기온도를 일정한 주기마다 측정하여 저장하는 대기온도 데이터로거를 더 포함하여,
    상기 분석부는 상기 심층신경망으로서 RNN(Recurrent Neural Network)을 사용하여 상기 컨벌루션 신경망을 통해 추출된 특징 맵과 상기 대기온도 데이터로거에서 출력된 대기온도를 분석함으로써 절화식물의 수명 종료일을 산출하는 것을 특징으로 하는 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 장치.
  7. 절화식물의 수명 예측 장치에서 기계학습 기반으로 절화식물의 수명을 예측하는 방법에 있어서,
    열화상 카메라로부터 절화식물의 픽셀별 온도에 대응하는 색상으로 표시된 열영상을 입력받는 단계와,
    대기온도 데이터로거로부터 대기온도를 일정한 주기마다 입력받는 단계와,
    상기 열영상을 영상 처리하여 절화식물의 잎 온도를 구하고 잎 온도와 대기온도의 차이 값을 산출하는 단계와,
    상기 절화식물의 잎 온도 및 잎 온도와 대기온도의 차이 값을 심층신경망을 통해 분석하여 절화식물의 만개 또는 노화 상태를 분류하는 단계를 포함하는 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 방법.
  8. 제7항에 있어서,
    상기 절화식물의 만개 또는 노화 상태를 분류하는 단계는 절화식물의 노화 상태에 근거해 절화식물의 수명을 예측하는 것을 특징으로 하는 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 방법.
  9. 제8항에 있어서,
    상기 절화식물의 만개 또는 노화 상태를 분류하는 단계는 절화식물의 특정 노화 상태 시점으로부터 절화식물의 수명 종료일을 계산하는 것을 특징으로 하는 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 방법.
  10. 절화식물의 수명 예측 장치에서 기계학습 기반으로 절화식물의 수명을 예측하는 방법에 있어서,
    열화상 카메라로부터 절화식물의 픽셀별 온도에 대응하는 색상으로 표시된 열영상을 입력받는 단계와,
    상기 절화식물의 열영상을 처리하여 절화식물의 잎 부분에 대한 열영상을 추출하는 단계와,
    상기 절화식물의 잎 부분에 대한 열영상으로부터 컨벌루션 신경망을 통해 특징 맵을 추출하는 단계와,
    상기 특징 맵에 대해 완전 연결한 심층신경망을 통해 특징 맵을 분석하여 절화식물의 만개 또는 노화 상태를 분류하는 단계를 포함하는 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 방법.
  11. 제10항에 있어서,
    상기 만개 또는 노화 상태를 분류하는 단계는 절화식물의 노화 상태에 근거해 절화식물의 수명을 예측하는 것을 특징으로 하는 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 방법.
  12. 제10항에 있어서,
    대기온도 데이터로거로부터 대기온도를 일정한 주기마다 입력받는 단계를 더 포함하여,
    상기 만개 또는 노화 상태를 분류하는 단계는 상기 심층신경망으로서 RNN(Recurrent Neural Network)을 사용하여 상기 컨벌루션 신경망을 통해 추출된 특징 맵과 상기 대기온도 데이터로거에서 출력된 대기온도를 분석함으로써 절화식물의 수명 종료일을 산출하는 것을 특징으로 하는 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 방법.
KR1020190108275A 2019-09-02 2019-09-02 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 장치 및 방법 KR102213394B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190108275A KR102213394B1 (ko) 2019-09-02 2019-09-02 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190108275A KR102213394B1 (ko) 2019-09-02 2019-09-02 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102213394B1 true KR102213394B1 (ko) 2021-02-05

Family

ID=74558753

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190108275A KR102213394B1 (ko) 2019-09-02 2019-09-02 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102213394B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085992A1 (en) * 2021-11-15 2023-05-19 Opticept Technologies Ab Image analysis of cut flowers
CN117554773A (zh) * 2024-01-11 2024-02-13 青岛中微创芯电子有限公司 一种ipm模块寿命预测系统
KR102657234B1 (ko) * 2023-08-21 2024-04-12 국립안동대학교 산학협력단 열화상 이미지 기반의 자가 학습 딥러닝을 이용한 절화의 초기 질병을 예측하기 위한 장치, 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140104648A (ko) 2013-02-21 2014-08-29 남영숙 절화 식물 수명연장 및 수 처리 블록과 기능성 용기 제조 방법
KR20150088096A (ko) * 2014-01-23 2015-07-31 주식회사 내비오닉스코리아 열 영상 기반 식물 비파괴 생체 정보 획득 시스템 및 방법
KR101896939B1 (ko) * 2017-03-14 2018-10-29 대한민국 농산물 품질예측 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140104648A (ko) 2013-02-21 2014-08-29 남영숙 절화 식물 수명연장 및 수 처리 블록과 기능성 용기 제조 방법
KR20150088096A (ko) * 2014-01-23 2015-07-31 주식회사 내비오닉스코리아 열 영상 기반 식물 비파괴 생체 정보 획득 시스템 및 방법
KR101896939B1 (ko) * 2017-03-14 2018-10-29 대한민국 농산물 품질예측 시스템 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085992A1 (en) * 2021-11-15 2023-05-19 Opticept Technologies Ab Image analysis of cut flowers
KR102657234B1 (ko) * 2023-08-21 2024-04-12 국립안동대학교 산학협력단 열화상 이미지 기반의 자가 학습 딥러닝을 이용한 절화의 초기 질병을 예측하기 위한 장치, 시스템 및 방법
CN117554773A (zh) * 2024-01-11 2024-02-13 青岛中微创芯电子有限公司 一种ipm模块寿命预测系统
CN117554773B (zh) * 2024-01-11 2024-03-29 青岛中微创芯电子有限公司 一种ipm模块寿命预测系统

Similar Documents

Publication Publication Date Title
Das Choudhury et al. Leveraging image analysis for high-throughput plant phenotyping
Aich et al. Deepwheat: Estimating phenotypic traits from crop images with deep learning
KR102213394B1 (ko) 기계학습 기반 열영상 분석을 통한 절화식물의 수명 예측 장치 및 방법
US20200327326A1 (en) A system and method for characterization of cannabaceae plants
JP2021509212A (ja) 病害の予測・コントロール方法、及びそのシステム
Hassan et al. Advances in deep learning algorithms for agricultural monitoring and management
CN110427063A (zh) 一种基于物联网的番茄生长监控管理平台
Concepcion II et al. Lettuce leaf water stress estimation based on thermo-visible signatures using recurrent neural network optimized by evolutionary strategy
Lin et al. Data-driven modeling for crop growth in plant factories
Zhang et al. Automatic non-destructive multiple lettuce traits prediction based on DeepLabV3+
Monica et al. Soil NPK prediction using enhanced genetic algorithm
CN117496325A (zh) 一种基于改进YOLOv5s模型的水稻害虫检测方法及装置
Islam et al. Machine vision and artificial intelligence for plant growth stress detection and monitoring: A review
FAISAL A pest monitoring system for agriculture using deep learning
Vasanthi Crop growth monitoring and leaf area index estimation using wireless sensor network and CNN
JP7452879B2 (ja) 予測システム、予測方法、および予測プログラム
CN110555343A (zh) 典型资源要素中林、灌、草三要素提取方法和系统
Naveed et al. Plant Disease Diagnosis with Artificial Intelligence (AI)
Dong et al. Research on graded diagnosis of lettuce water-nitrogen stress and pest prevention based on deep learning
Putra et al. Vision-Based Object Detection for Efficient Monitoring in Smart Hydroponic Systems
Brook et al. Canopy volume as a tool for early detection of plant drought and fertilization stress: banana plant fine-phenotype
Su et al. AI, sensors and robotics in plant phenotyping and precision agriculture, volume II
Patil et al. Pre and Post Harvesting using Deep Learning Techniques: A comprehensive study
CN115135135A (zh) 一种植物生长监测系统和方法
Wolter-Salas et al. WS-YOLO: An Agronomical and Computer Vision-Based Framework to Detect Drought Stress in Lettuce Seedlings Using IR Imaging and YOLOv8

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant