KR102630133B1 - 영상을 이용한 식물체의 표현형 측정 방법 - Google Patents

영상을 이용한 식물체의 표현형 측정 방법 Download PDF

Info

Publication number
KR102630133B1
KR102630133B1 KR1020230152741A KR20230152741A KR102630133B1 KR 102630133 B1 KR102630133 B1 KR 102630133B1 KR 1020230152741 A KR1020230152741 A KR 1020230152741A KR 20230152741 A KR20230152741 A KR 20230152741A KR 102630133 B1 KR102630133 B1 KR 102630133B1
Authority
KR
South Korea
Prior art keywords
image
plant
phenotype
pixel
reflectance
Prior art date
Application number
KR1020230152741A
Other languages
English (en)
Inventor
권일룡
송승욱
Original Assignee
주식회사 포도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포도 filed Critical 주식회사 포도
Priority to KR1020230152741A priority Critical patent/KR102630133B1/ko
Application granted granted Critical
Publication of KR102630133B1 publication Critical patent/KR102630133B1/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
    • G01N21/3151—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths using two sources of radiation of different wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G01N21/274—Calibration, base line adjustment, drift correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상을 이용한 식물체의 표현형 측정 방법에 관한 것으로, (a)영상 취득 및 전처리 모듈이 영상 촬영 장치의 초점을 조절하는 단계와; (b)영상 취득 및 전처리 모듈이 상기 다분광 카메라 또는 초분광 카메라를 이용하여 가시광선 및 근적외선 파장대의 다분광 또는 초분광 영상 이미지를 습득하는 단계와; (c)영상 취득 및 전처리 모듈이 3개의 색도(RGB)가 존재하는 픽셀에 추가적으로 조사된 2개의 파장대(NIR1, NIR2)의 색도 값을 추가하는 방식으로 이미지를 병합하는 단계와; (d)영상 취득 및 전처리 모듈이 상기 병합된 이미지에서 제공된 분광정보(RGB, NIR1, NIR2)를 바탕으로 NDVI를 픽셀별로 계산하여 전체 식생부분의 1차 마스킹을 진행함으로써 객체와 배경을 구분하는 단계와; (e)영상 취득 및 전처리 모듈이 상기 1차 마스킹된 이미지 내에서 분석하고자 하는 영역을 세그멘테이션 하기 위하여 이미지 내 ROI를 설정하는 단계와; (f)ROI 설정 후 객체분류 모듈이 하나의 픽셀당 측정된 RGB 파장대 별 반사율값과 NIR 파장대 별 반사율값 및 식생 지수를 기계학습의 입력값으로 하고, 이미지 내에서 객체인 식생 작물의 현재의 기관명을 하나의 픽셀당 결과값으로 하여 일반적인 인공신경망 모델을 학습시키는 단계와; (g)상기 학습된 인공신경망 모델에 상기 반사율값들로 이루어진 임의의 픽셀의 입력값이 입력되면, 객체분류 모듈이 상기 학습된 인공신경망 모델에 의해 출력되는 결과값을 통해 임의의 픽셀을 식생 작물 기관별로 분류하는 단계, 및 (h)표현형 측정 모듈이 분류된 기관별 평균 색상 값, 면적 그리고 길이의 표현형을 측정하는 단계로 이루어짐으로써, 분광정보를 이용하여 식물의 표현형을 측정하기 위한 과정이 자동으로 이루어지고 간략화되어 신속하면서도 현장 적용이 용이하게 되는 것이다.

Description

영상을 이용한 식물체의 표현형 측정 방법 {Method for measuring phenotype of plants using the images}
본 발명은 영상을 이용한 식물체의 표현형 측정 방법에 관한 것으로, 더욱 상세하게는 분광정보를 이용하여 식물의 표현형을 측정하기 위한 종래의 기술이 실제 현장에서 적용하는데 어려움이 있어, 이를 자동으로 측정하고 그 과정을 간략화하여 신속하면서도 현장 적용이 용이한, 영상을 이용한 식물체의 표현형 측정 방법에 관한 것이다.
우리 사회는 4차 산업혁명과 디지털 대전환의 시대에 들어섰다. 우리 농업도 사람의 노동력, 경험 중심에서 자동화, 데이터 중심의 디지털 농업으로 트렌드가 변화하고 있다. 이러한 디지털 농업의 핵심은 작물의 재배환경, 유전형, 표현형 등에 대한 빅데이터 수집과 활용이다.
여기서 식물체의 표현형이란 유전형과 대비되어, 유전자의 발현으로 나타나는 세포·조직·기관을 포함한 생명체 전반에서 나타나는 물리적·형태학적·생리학적·생화학적 특징을 말한다.
이러한 표현형적 특징은 우리가 식물의 종을 구분하는 기본적인 바탕이 되며, 더 나아가 품종의 구분, 내병성·내한성과 같은 특징을 가진 품종을 새롭게 육성할 수 있는 기준이 되기도 한다.
한편 식물체 연구는 전통적으로 파괴적인 방법으로 이루어졌다. 그러나 파괴적인 방법은 분석 시간이 길고 분석하고자 하는 식물체를 파괴해야 하는 단점이 있어 비파괴적인 분석 방법이 계속해서 연구되고 있다.
특히 광과 관련된 기술이 발전하고 식물 내부 미세구조와 특성에 대한 많은 부분이 알려지며 눈으로 관찰하는 영역뿐만 아니라, 눈으로 볼 수 없었던 영역까지 분석의 지평을 확장하게 되었다. 현재는 주로 비파괴적인 분석방법으로 엽록소형광·근적외선영상 등이 사용되고 있다.
식물의 세포구조와 성분으로 인해 특히 녹색 식물은 가시광선 영역의 광을 강하게 흡수하지만, 근적외선 영역의 광을 강하게 방출하는 특징이 있다. 즉, 식물의 경우 가시광선과 근적외선의 경계 부근 파장대에서 급격하게 반사율이 증가한다. 이러한 분광특성을 활용하여 정규식생지수 (Normalized difference vegetation index, NDVI)라는 분광 정보가 식생을 인지하는데 널리 이용된다(도 1 참조).
이러한 정규식생지수는 근적외선 파장대를 사용하며, 이를 활용하여 다파장을 사용하는 위성영상에서 식생을 구분하고 식물의 상태를 광범위하게 측정할 수 있는 장점을 가진다.
현재는 광범위한 스케일에서 적외선 영역대 파장을 이용하여 식물의 존재를 인지하는 것뿐만 아니라 다분광 영상 이미지를 촬영하고 더 다양한 분광 정보를 통해 개별 식물의 품질을 확인하고 내·외적 표현형을 측정하기 위한 기술이 연구되고 있다. 이렇듯 분광정보 뿐만 아니라 기계를 이용하여 식물의 표현형을 측정하기 위한 기술이 피노믹스(Phenomics)라고 명명되고 있다.
그러나 실제 현장에서 현재 진행되고 있는 식물 품종의 검사에 상술한 기계를 이용하여 식물의 표현형 측정을 적용하는데 어려움이 있어, 많은 시간과 넓은 공간을 필요로 하는 수작업이 적용되고 있다. 즉 종자의 경우 적게는 수백 개, 많게는 수만 개의 종자를 사용해 품종 검사를 실시하며, 이 모든 검사는 전문 검사원에 의해 직접 손으로 이루어진다. 이런 과정은 매우 많은 시간이 필요하며, 많은 연구에서 발전 속도에 제약을 건다. 따라서 이를 자동으로 측정하고 이 과정을 간략화할 수 있는 기술의 도입이 필요하다.
또한, 이를 위해 영상 이미지를 이용할 수 있지만 영상정보는 기본적으로 광에 기반하기 때문에, 촬영하는 장소와 시간, 대기 상태 등 여러 환경적 요인에 의해 그 결과가 크게 좌우될 수 있는 불확실성이 있다. 이러한 불확실성을 줄이기 위해 광과 촬영 각 등 외부 요소를 정규화할 수 있는 가상의 환경을 조성하고, 영상 이미지의 품질을 일정하게 유지할 수 있는 처리 과정이 필요하다.
한편, 종래 기술로는 대한민국 등록특허공보 제10-2301658호(2021년09월14일 공고)에 개시되어 있는 바와 같이, 식물 생육을 위한 조명을 능동적으로 수행하는 식물 생육 장치의 제어 방법에 있어서, 촬상부를 이용하여 2개의 파장대역에서 이미지를 촬영하는 단계; 상기 이미지를 바탕으로 주변 환경 인자를 소거하고 식물 이미지만을 추출하는 단계; 추출된 식물 이미지의 정보를 처리하여 식물의 생육도를 측정하는 단계; 및 측정된 생육도 정보에 기초하여 조명부에서 조명되는 광의 광량, 파장 및 조사시간 중 적어도 하나를 제어하는 단계;를 포함하며, 레이저 빔을 식물에 조사하는 단계를 더 포함하며, 상기 촬상부에서 획득된 이미지에서 레이저 빔의 스폿을 기준으로 식물의 기준 위치를 특정하며, 상기 측정된 생육도는 추출된 식물 이미지에서 적어도 하나의 레이저 빔에 의해 특정된 식물의 기준 위치에서의 NDVI값인 식물 생육 장치의 제어 방법이다.
그러나 이러한 종래 기술도 영상 이미지의 품질의 일정한 유지와 생육도 측정의 정확도에는 한계가 있다.
이에 본 발명에서는 식물체의 표현형 측정에 있어 신속하면서도 현장 적용이 용이하게 하고, 광에 영향을 주는 환경적 요인에 의한 불확실성을 줄이면서 보다 정확한 객체별 기관 분류가 가능하도록 하는 방법을 제안하고자 한다.
대한민국 등록특허공보 제10-2301658호(2021년09월14일 공고, 발명의 명칭: 식물 생육 장치 및 그 제어 방법)
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 분광정보를 이용하여 식물의 표현형을 측정하기 위한 종래의 기술이 실제 현장에서 적용하는데 어려움이 있어, 이를 자동으로 측정하고 그 과정을 간략화하여 신속하면서도 현장 적용이 용이한, 영상을 이용한 식물체의 표현형 측정 방법을 제공하는 데 있다.
본 발명의 다른 목적은 식물체의 표현형 측정에 필요한 결과물인 영상이미지의 불확실성, 즉 광에 영향을 주는 환경적 요인에 의한 불확실성을 줄이기 위해 외부 요소를 정규화할 수 있는 가상의 환경을 조성하는 영상촬영장치와 특수 조명이 설치된 챔버를 도입하여 영상이미지의 품질을 일정하게 유지할 수 있고, 이러한 영상이미지를 통해 식물체의 표현형을 비파괴적으로 확인할 수 있으며, 정규화(Normalization)를 수행하는 과정에서 광량과 광스펙트럼을 실시간으로 측정하고 시스템 상에서 이를 조절하여 자동으로 보정하는 기술을 사용하여 기존의 기술보다 빠르게 분광 분석이 가능하여 식물의 표현형을 신속하게 측정할 수 있도록 하기 위한 것이다.
본 발명의 또 다른 구체적인 목적은 1차 마스킹 → 중심픽셀가중치 적용 → 홀필 작업을 거치면서 효과적인 디노이징 작업이 가능하고, 식생 지수(정규식생지수,증강식생지수,토양조정식생지수)와 인공신경망 모델을 사용하여 보다 정확한 객체별 기관 분류가 가능하도록 하기 위한 것이다.
상기와 같은 목적을 달성하기 위하여, 본 발명은 (a) 영상 취득 및 전처리 모듈이 측정하려는 식물체의 높이에 맞춰 영상 촬영 장치(다분광 카메라 또는 초분광 카메라)의 초점을 조절하는 단계와; (b) 영상 취득 및 전처리 모듈이 상기 다분광 카메라 또는 초분광 카메라를 이용하여 가시광선(VIS: 400~700 nm) 및 근적외선(NIR; 700~1000 nm) 파장대의 다분광 또는 초분광 영상 이미지를 습득하는 단계와; (c) 영상 취득 및 전처리 모듈이 상기 습득된 영상 이미지 분석시 RGB와 NIR 파장대가 구분되어 나타나면 3개의 색도(RGB)가 존재하는 픽셀에 추가적으로 조사된 2개의 파장대(NIR1, NIR2)의 색도 값을 추가하는 방식으로 이미지를 병합하는 단계와; (d) 영상 취득 및 전처리 모듈이 상기 병합된 이미지에서 제공된 분광정보(RGB, NIR1, NIR2)를 바탕으로 NDVI(정규식생지수)를 픽셀별로 계산하여 전체 식생부분의 1차 마스킹(masking)을 진행함으로써 객체(식생)와 배경을 구분하는 단계와; (e) 영상 취득 및 전처리 모듈이 상기 1차 마스킹된 이미지 내에서 분석하고자 하는 영역을 세그멘테이션(2차 마스킹) 하기 위하여 이미지 내 ROI(Region of interest)를 설정하는 단계와; (f) ROI 설정 후 객체분류 모듈이 상기 병합된 이미지에서 제공된 분광정보(RGB, NIR1, NIR2)를 바탕으로 하나의 픽셀당 측정된 RGB 파장대 별 반사율값과 NIR 파장대 별 반사율값 및 식생 지수를 기계학습의 입력값(Input)으로 하고, 미리 표시해둔 상기 ROI를 바탕으로 이미지 내에서 객체인 식생 작물의 현재의 기관명을 하나의 픽셀당 결과값(Output)으로 하여 일반적인 인공신경망 모델을 학습시키는 단계와; (g) 상기 학습된 인공신경망 모델에 상기 반사율값들로 이루어진 임의의 픽셀의 입력값(Input)이 입력되면, 객체분류 모듈이 상기 학습된 인공신경망 모델에 의해 출력되는 결과값(Output)을 통해 반사율을 포함한 분광정보를 갖는 임의의 픽셀을 식생 작물 기관별로 분류하는 단계, 및 (h) 표현형 측정 모듈이 분류된 기관별 평균 색상 값, 면적 그리고 길이의 표현형을 측정하는 단계로 이루어지는 것을 특징으로 한다.
또한, 본 발명은 상기 단계(b)에서 영상 이미지 습득시 이미지의 과노출로 본래의 이미지가 사라지지 않도록 노출 임계치는 10000ms이다.
또한, 본 발명에서 상기 단계(f)의 입력값(Input)은 RGB 파장대 별 반사율 3개의 값과 NIR 파장대(NIR1,NIR2) 별 반사율 2개의 값 및 2개의 NIR 파장대 각각에 대한 3개의 추가 식생 지수(정규식생지수(NDVI1,NDVI2), 증강식생지수(EVI1,EVI2), 토양조정식생지수(SAVI1,SAVI2)를 포함한 11개의 반사율값이고, 결과값(Output)은 객체인 식생 작물의 현재의 기관명이다.
또한, 본 발명의 각 단계가 챔버라는 특수한 실내 공간에서 영상을 취득할 필요가 있는 경우에는, 외부 광이 차단된 챔버 내부에 영상을 촬영할 수 있는 영상촬영장치(다분광 카메라 또는 초분광 카메라)와 이송 슬라이드 레일, 특수 조명(특수 LED 및 할로겐 조명)을 넣어 촬영 가능하도록 하는 영상기반 생육 측정 장치(Plant Image Measurement System, PIMS)로 구성한다.
또한, 본 발명은 상기 단계(b)에서 영상 이미지 습득시, 조도 센서를 통해 챔버 내에서의 광원인 LED 및 할로겐 조명의 전체 파장대에 대해 광량과 광스펙트럼의 분포를 확인하고, 레퍼런스가 될 광질인 기준 광량(Light intensity)과 광스펙트럼(상용화된 태양광 또는 8800K 형광등의 광스펙트럼)을 미리 설정한 후, 상기 레퍼런스와 상기 광원의 광량과 전체 광스펙트럼을 비교하여 광원인 LED 및 할로겐 조명의 특정 파장대의 광량과 전체 광스펙트럼 값을 레퍼런스와 유사하게 자동으로 보정하여 정규화한다.
또한, 본 발명에서 상기 단계(d)와 (f)의 분광정보는 450(Blue)nm, 550(Green)nm, 650(Red)nm, 750(NIR1)nm, 830(NIR2)nm로 5개의 파장대를 이용한다.
또한, 본 발명은 상기 단계(d)에서 NDVI 계산시 상기 NIR1과 NIR2를 평균한 값을 사용하고, NDVI를 적용하여 마스킹 할 경우 원하는 파장대만을 같은 색으로 불러모아야 하므로 파장대 별 결과값인 반사율을 바탕으로 Color slice 하여 식생 부분을 도출한다.
또한, 본 발명은 상기 단계(d)에서 1차 마스킹된 이미지의 디노이징을 위해 래스터 이미지를 벡터로 전환하고, 상기 디노이징은 이상치, 결측치 또는 정상 마스킹 범위가 아닌 픽셀을 중심 픽셀로 하여 중심 픽셀의 주변 픽셀에서 다수를 차지하는 색(color)으로 변환하는 방법을 이용하되, 이때 kernel size를 7로 설정하고 중심픽셀가중치(Center pixel weight)를 1로 설정하며, 배경과 객체의 마스킹 경계 인접부에 존재하는 식생 내부의 홀(hole)을 제거하기 위해, 상기 병합된 이미지인 원본이미지와 상기 중심픽셀가중치 적용후 마스킹(masking)된 이미지의 차이를 계산하여 빈 픽셀(원본이미지에는 픽셀값이 있으나 중심픽셀가중치 적용후 마스킹된 이미지에는 픽셀값이 없는 픽셀)을 찾아내고, 그 복수의 빈 픽셀들끼리 인접하여 이루어진 부분의 외곽선을 탐지하여 탐지된 외곽선으로 둘러싸인 부분의 총픽셀수가 50픽셀 이하인 경우 상기 홀(hole)을 식생으로 메우는 단계를 추가한다.
또한, 본 발명에서 정규식생지수(NDVI), 증강식생지수(EVI), 토양조정식생지수(SAVI)는 각각, (여기서, NIR은 근적외선 파장대의 반사율, Red는 Red 파장대의 반사율), (여기서, NIR은 근적외선 파장대의 반사율, Red는 Red 파장대의 반사율, Blue는 Blue 파장대의 반사율), (여기서, NIR은 근적외선 파장대의 반사율, Red는 Red 파장대의 반사율, L은 토양 밝기 조정 상수)을 이용하여 계산한다.
또한, 본 발명은 상기 인공신경망 모델의 학습 알고리즘에 포함되어 있는 의사결정트리로 세분화하여 수행하기 위해, 식물체 종자 부분을 Seed, 뿌리를 Root, 배경을 Other로 지정한다고 하였을 때 상기 입력값(Input) 중 NDVI1 값이 0.45 보다 작으면 뿌리(Root)와 배경(Other)으로 분류하고, NDVI1 값이 0.45보다 크면 종자(Seed)로 분류하되, 분류된 종자(Seed)에서 좀 더 세밀하게 배경(Other)을 분류해 내기 위해 입력값(Input) 중 450(Blue)nm 파장대의 값이 0.20 보다 낮은 경우를 배경(Other)으로 분류하여 보정하고, 상기 NDVI1 값이 0.45 보다 작은 경우 뿌리(Root)와 배경(Other)으로 분리하기 위해 450(Blue)nm 파장대에서 결과값이 0.30 보다 작은 경우에는 배경(Other)으로, 그보다 큰 경우에는 뿌리(Root)로 분류하며, 정확도를 높이기 위해 830(NIR2)nm 파장대에서 0.70 보다 높은 값을 분류된 뿌리(Root)에서 배경(Other)으로 분류하여 추가적으로 결과를 보정한다.
또한, 본 발명은 상기 단계(g)에서 객체 분류 과정에서 발생할 수 있는 이상치 및 결측치를 줄이기 위해 후처리 작업을 추가 진행하되, 상기 후처리 작업은 주어진 색상의 작은 컴포넌트를 다른 색상으로 변경하는 작업과 특정 색상으로 둘러싸인 픽셀의 색상을 변경하는 두 가지 변환 작업을 통해 성취하며 상기 두 후처리 작업의 과정을 적용할 때의 하이퍼파라미터는 300 픽셀로 설정한다.
또한, 본 발명의 상기 단계(h)에서 길이 표현형의 측정은, 객체의 길이를 구하기 위해 각각의 객체에서 외곽선 사이 중간지점을 계산하여 중간지점에 너비가 1 픽셀인 라인(선분)을 도출하고, 선분이 된 객체는 전체 이미지 안에서 복수개의 객체가 널리 퍼져 있어, 분석하려는 한 개의 객체별 기관에 한정하기 위해 전체 영상이미지 안에 널리 분포된 객체를 객체별로 레이블링 하며, 하나의 객체에서 여러 개의 노드가 있어 여러 선분이 있는 이미지가 나타날 경우에는 단순히 총픽셀의 길이를 구하는 것이 아니라 측정하려는 부분(뿌리에서 주근과 곁뿌리가 있으면 측정하려는 주근)을 명확히 지정해야 하는데, 이러한 지정 과정은 모든 노드의 시작점부터 끝점을 포함한 각 노드에 각각의 숫자 서열을 지정하고 서열(point) 사이의 거리를 계산한 후, 연결되는 노드와 노드 사이의 각도를 고려하면서 측정하려는 부분의 최장거리를 상기 서열 사이의 거리를 합산 계산하여 영상 이미지 내의 특정 기관의 길이를 도출한다.
이상에서 살펴본, 본 발명인 영상을 이용한 식물체의 표현형 측정 방법은 분광정보를 이용하여 식물의 표현형을 측정하기 위해 이를 자동으로 측정하고 그 과정을 간략화하여 신속하면서도 현장 적용이 용이하고, 외부 요소를 정규화할 수 있는 가상의 환경을 조성하는 영상촬영장치와 특수 조명이 설치된 챔버를 도입하여 영상이미지의 품질을 일정하게 유지할 수 있으며, 정규화를 수행하는 과정에서 광량과 광스펙트럼을 실시간으로 측정하고 시스템 상에서 이를 조절하여 자동으로 보정하는 기술을 사용하므로 빠르게 분광 분석이 가능하고, 효과적인 디노이징 작업을 수행하고 식생 지수와 인공신경망 모델을 사용하여 보다 정확한 객체별 기관 분류가 가능하게 해주는 효과가 있다.
도 1 은 식물의 일반적인 분광특성 그래프를 나타낸 도면.
도 2 는 본 발명에 따른 식물체의 표현형 측정 방법에서 사용 가능한 챔버를 나타낸 도면.
도 3 은 다분광 카메라 촬영시 과노출 이미지와 정상 이미지를 비교하여 나타낸 도면.
도 4 는 RGB 색도가 존재하는 픽셀에 근적외선 파장대의 색도를 추가하는 방식으로 이미지의 병합을 나타낸 도면.
도 5 는 병합된 이미지를 색도 값이 0~1이 되도록 정규화하여 과노출 이미지와 정상 이미지를 비교하여 나타낸 도면.
도 6 은 본 발명에 따른 식물체의 표현형 측정 방법에서 병합된 이미지와 1차 마스킹된 이미지를 나타낸 도면.
도 7 은 본 발명에 따른 식물체의 표현형 측정 방법에서 1차 마스킹된 이미지의 디노이징 과정을 나타낸 도면.
도 8 은 본 발명에 따른 식물체의 표현형 측정 방법에서 홀필 작업의 결과를 나타낸 도면.
도 9 는 본 발명에 따른 식물체의 표현형 측정 방법에서 분석하고자 하는 영역을 세그멘테이션하기 위하여 이미지 내 ROI를 설정한 도면.
도 10 은 본 발명에 따른 식물체의 표현형 측정 방법에서 객체의 기관 분류를 위해 기계학습의 입력값들을 나타낸 도면.
도 11과 도 12 는 본 발명에 따른 식물체의 표현형 측정 방법에서 객체의 기관 분류시 후처리 과정을 적용할 때의 차이를 나타낸 도면.
도 13 은 본 발명에 따른 식물체의 표현형 측정 방법에서 객체의 길이를 측정하는 일실시예를 나타낸 도면.
도 14 는 좌측부터 순서대로 원본이미지, 1차 마스킹 이미지, 2차 마스킹 이미지와 표현형 측정 이미지를 나타낸 도면.
도 15 는 본 발명에 따른 식물체의 표현형 측정 방법에서 표현형을 측정하는 과정을 도식화한 흐름도.
도 16 은 본 발명에 따른 식물체의 표현형 측정 방법과 관련된 장치의 일실시예를 나타낸 구성도.
상기와 같이 구성된 본 발명의 바람직한 실시예를 첨부된 도면을 참조하면서 상세히 설명하면 다음과 같다. 첨부된 도면들 및 이를 참조한 설명은 본 발명에 관하여 당해 기술 분야에서 통상의 지식을 가진 자들이 쉽게 이해할 수 있도록 하기 위해 예시된 것이며, 본 발명의 사상 및 범위를 한정하려는 의도로 제시된 것은 아님에 유의하여야 할 것이다.
도 16은 본 발명에 따른 영상을 이용한 식물체의 표현형 측정 방법과 관련된 장치의 일실시예를 나타낸 구성도로, 식물체 표현형 측정 장치(10)는 영상 취득 및 전처리 과정을 수행하는 영상 취득 및 전처리 모듈(11), 인공신경망 모델을 이용하여 작물을 특정 기관별로 분류하는 객체분류 모듈(12), 객체의 기관별 평균 색상 값과 면적 및 길이 등의 외적 형질을 측정하는 표현형 측정 모듈(13)을 포함한다. 즉, 영상 취득 및 전처리 모듈(11), 객체분류 모듈(12) 및 표현형 측정 모듈(13)은 본 발명이 컴퓨터상에서 수행되도록 하기 위한 기술적 수단으로 영상 취득 및 전처리부, 객체분류부 및 표현형 측정부로 각각 명명할 수도 있다.
상기 식물체 표현형 측정 장치(10)는 서버, 데스크톱, 노트북 또는 휴대용 단말기 등으로, 영상을 이용하여 식물체의 표현형을 측정하기 위한 소프트웨어를 저장 포함한다.
더불어 상기 식물체 표현형 측정 장치(10)에서 연산되거나 입출력되는 자료 등은 별도의 저장 장치(20)에 저장되도록 하는 것이 좋으나, 상기 식물체 표현형 측정 장치(10)는 저장 장치(20)를 포함할 수도 있다.
이하에서는 도 2 내지 도 15에 도시된 바와 같이 본 발명에 따른 영상을 이용한 식물체의 표현형 측정 방법의 구체적인 과정을 살펴본다.
챔버 구성
외부 광이 차단된 챔버 내부에 영상을 촬영할 수 있는 영상촬영장치와 이송 슬라이드 레일, 특수 조명을 넣어 촬영 가능하도록 하는 영상기반 생육 측정 장치 (Plant Image Measurement System, PIMS)로 구성된다(도 2 참조). 이러한 챔버는 챔버라는 특수한 실내 공간에서 영상을 취득할 때 활용될 수 있다.
영상촬영장치로는 다분광 카메라와 초분광 카메라를 분석 목적에 따라 이송 슬라이드 레일에 선택적으로 장착할 수 있도록 구성한다.
챔버 내 카메라의 광각을 최대로 유지하기 위해 이송 슬라이드 레일은 천장부분에 고정하며, 그림자 생성을 방지하기 위해 카메라 렌즈 하단부 혹은 측면부에 조명을 고정시킨 구조를 유지한다.
내부 환경의 감시 및 조절을 위해 각종 환경 센서를 식물체 측정 위치에 배치할 수 있다. 센서를 통해 조절 가능한 챔버 내부 환경으로는 기온, 상대습도, 광량이 있을 수 있다.
본 발명에서 상기 다분광 카메라는 2048 (h) × 1536 (v) × 3 (bayer / NIR / NIR) 이상의 공간해상도를 가진 것을 사용하며, 초분광 카메라는 1024 pixel 이상의 공간 해상도를 가진 것을 사용한다. 이보다 낮은 해상도를 적용할 경우 분해능이 낮아져 식물의 기관분리가 제대로 일어나지 않을 수 있다.
광원은 특수 LED 및 할로겐 조명을 사용하여 태양광과 가장 유사한 환경을 구축하는데 여기서 LED 조명은 할로겐 조명의 특정 파장대를 보강하기 위한 것이다. 또한 높은 광으로 인한 고온스트레스 방지를 위해 열처리 효율이 높은 광원을 특수 제작하여 사용한다.
영상 취득 및 전처리
본 발명에서 영상 취득 및 전처리 과정은 다음과 같은데, 이하에서 챔버를 활용하는 과정은 챔버라는 특수한 실내 공간에서 영상을 취득할 때만 적용된다.
우선 측정하려는 식물체의 높이에 맞춰 영상 촬영 장치(다분광 카메라 또는 초분광 카메라)의 초점을 조절한다(S10).
정규화(Normalization)를 수행하기 위해 기존에는 반사율 값이 일정한 레퍼런스를 촬영하여 보정하였으나, 본 발명에서는 영상 획득의 편의성을 위해 광량과 광스펙트럼을 실시간으로 측정하고 시스템 상에서 이를 조절하여 자동으로 보정하는 기술을 사용한다.
이를 위해 구체적으로 조도 센서를 통해 챔버 내에서의 현재 광원인 LED 및 할로겐 조명의 전체 파장대에 대해 광량과 광스펙트럼의 분포를 확인하고, 레퍼런스가 될 광질 즉, 기준 광량(Light intensity)과 광스펙트럼(예를 들어, 상용화된 태양광 또는 8800K 형광등의 광스펙트럼)을 미리 설정한 후, 시스템 상에서 상기 레퍼런스와 상기 현재 광원의 광량과 전체 광스펙트럼을 비교하여 현재 광원인 LED 및 할로겐 조명의 특정 파장대의 광량과 전체 광스펙트럼 값을 레퍼런스와 유사하게 자동으로 보정한다.
챔버 내의 식물체 촬영시에 그늘이 지지 않도록 식물체 촬영 각도 및 광을 설정한 후 다분광 카메라 또는 초분광 카메라를 이용하여 가시광선(VIS: 400~700 nm) 및 근적외선(NIR; 700~1000 nm) 파장대의 다분광 또는 초분광 영상 이미지를 습득한다(S20). 이때 노출 임계치는 10000ms로, 이 이상 설정할 시 이미지의 과노출로 본래의 이미지가 사라질 수 있으므로 그 이상 노출을 주지 않도록 한다.
도 3 은 다분광 카메라로 촬영한 것으로 맨 좌측부터 각각 RGB, NIR1, NIR2 파장대(여기서, RGB는 3개의 파장대 영역(예를 들어 후술하는 450, 550, 650 nm)의 색도가 합쳐진 것이고, NIR1과 NIR2는 근적외선 파장대 내에서 상호 다른 파장대(750, 830 nm)를 의미함)이며 도 3에서 위의 이미지는 과노출된 이미지고 아래의 이미지는 정상적인 이미지이다. 과노출된 이미지에서는 가장 하얀 배경부분과 촬영하는 객체(복숭아)의 구분이 명확하지 않다. 여기서 도 3과 도 4는 챔버 내에서 촬영된 것이 아니고 야외에서 촬영된 것으로 과노출 이미지와 병합된 이미지를 보여주기 위한 일실시예일 뿐, 병합되는 과정은 챔버 내에서 촬영된 이미지도 동일하다.
다분광 카메라로부터 습득된 비트맵 이미지는 한 픽셀에 0-255 사이의 RGB 값을 3개(빨강,녹색,파랑) 갖는 이미지이다. 따라서 노출이 너무 과도할 경우 이미지의 RGB 값이 255로 고정되어 색이 제대로 표현되지 않으므로 상대적으로 어두운 화면이 적합하다.
또한, 상기 비트맵 이미지는 3개의 파장대 영역의 색도만을 추출하므로 다파장을 분석하는 경우 RGB와 NIR 파장대의 이미지가 구분되어 나타난다. 따라서 분석을 위해 3개의 색도(RGB)가 존재하는 픽셀에 추가적으로 조사된 파장대(NIR1, NIR2)의 색도 값을 추가하는 방식으로 이미지를 병합한다(S30, 도 4 참조).
원래 인간의 눈에는 근적외선이 보이지 않고 RGB 영역만 관찰되므로, NIR1과 NIR2는 비트맵 이미지의 각 픽셀 RGB 값에 모두 같은 스펙트럼 결과 값을 갖는 흑백이미지가 도출된다. 이 경우 병합(Merge)된 파일은 한 픽셀에 3개 이상의 값을 가져야하므로 raw 파일로 변환되어 특수한 툴(예를 들어, ENVI)을 사용하여 파일을 확인할 수 있다.
이렇게 최종적으로 완성된 병합된 이미지(Merged image)의 선택된 픽셀을 확인하면 기존 비트맵 이미지가 갖는 0-255 까지의 RGB 색도 값이 정규화되어 0부터 1까지의 값이 나타난다(도 5 위의 이미지 참조). 그러나 도 5에서 아래의 과노출된 이미지에서는 1이 넘는 값이 나타나 부적절한 분광분석 결과가 나타남을 확인할 수 있다.
상기 병합되어 정규화된 이미지에서 제공된 분광정보(예를 들어 450(Blue), 550(Green), 650(Red), 750(NIR1), 830(NIR2) nm)를 바탕으로 NDVI를 픽셀별로 계산하여 1차 전체 식생부분의 마스킹(masking)을 진행함으로써 객체(식생)와 배경을 구분한다(S40). 여기서 NDVI는 정규식생지수(Normalised Difference Vegetation Index)로 NDVI 계산시 상기 NIR1과 NIR2를 평균한 값을 사용한다. 구체적인 NDVI식은 후술하는 수학식 1이다. 도 6에서 왼쪽 이미지는 병합된 이미지이고 오른쪽 이미지는 1차 마스킹된 이미지이다.
이때 NDVI를 적용하여 마스킹 할 경우 원하는 파장대만을 같은 색으로 불러모아야 하므로 파장대 별 결과값인 반사율을 바탕으로 Color slice 하여 식생 부분을 도출한다.
그리고 상기 1차 마스킹된 이미지는 이미지 내 완벽하게 마스킹 되는 것이 아니므로, 디노이징을 위해 래스터 이미지를 벡터로 전환한다.
구체적으로 디노이징은 이상치, 결측치 또는 정상 마스킹 범위가 아닌 픽셀 등 튀는 픽셀을 제거하기 위한 것으로 상기 튀는 픽셀을 중심 픽셀로 하여 중심 픽셀의 주변 픽셀에서 다수를 차지하는 색(color)으로 변환하는 방법을 이용하며, 이때 kernel size를 7로 설정하고 중심픽셀가중치 (Center pixel weight)를 1로 설정한다. 여기서 kernel size 7은 주변 픽셀을 7개 이상 참고한다는 것이다.
식물 식생 이미지는 통상적인 이미지보다 노이즈(noise)가 심한 상태이므로 이를 제거하기 위해 높은 정도의 kernel size를 적용하여 식생 사이 발생할 수 있는 노이즈(noise)를 최대한 억제해주는 것이 중요하다. 참고로 도 7에서 나타낸 바와 같이 kernel size 5 보다는 kernel size 7일 경우 노이즈가 더 적음을 알 수 있다.
상기 디노이징 방법을 사용할 경우 식생 외부, 즉 식생 사이의 노이즈(noise)는 어느 정도 지워지나, 배경과 객체의 마스킹 경계 인접부에 존재하는 식생 내부의 홀(hole)은 제거되지 않으므로, 추가적으로 이 공간을 객체인 식생으로 메워주어야 한다.
이때 상기 병합된 이미지인 원본이미지와 중심픽셀가중치 적용후 마스킹(masking)된 이미지의 차이를 계산하여 빈 픽셀(즉, 원본이미지에는 픽셀값이 있으나 중심픽셀가중치 적용후 마스킹된 이미지에는 픽셀값이 없는 픽셀)을 찾아내고, 그 복수의 빈 픽셀들끼리 인접하여 이루어진 부분의 외곽선을 탐지하여 탐지된 외곽선으로 둘러싸인 부분의 총픽셀수가 50픽셀 이하인 경우 메워지도록 한다.
도 8에 나타낸 바와 같이, 왼쪽은 50픽셀 이하인 경우 메워지도록 명령한 것이고, 오른쪽은 외곽선에 의해 탐지된 모든 홀을 메운 것이다. 홀이 가장 큰 배경과 연결되는 경우에는 메워지지 않았으나, 잎으로 둘러싸인 내부의 경우 빈틈없이 메워진 것이 확인된다. 따라서 이러한 홀필(hole fill) 작업에서 일정한 픽셀 단위를 지정하는 것이 더 효과적이다.
최종적으로 1차 마스킹 → 중심픽셀가중치 적용 → 홀필 작업을 순서대로 거쳐 도 7과 도 8에 나타낸 바와 같이 검정색으로 표시되는 부분이 배경으로 구분될 수 있다.
추가적으로 1차 마스킹된 이미지 내에서 분석하고자 하는 영역을 세그멘테이션(Segmentation, 즉 2차 마스킹) 하기 위하여 이미지 내 ROI(Region of interest)를 설정한다(S50).
도 9에 나타낸 바와 같이, 이때 ROI는 특정 크기의 픽셀을 직접 선택하거나, Polygon을 만들어 지정할 수 있다. 상기 도 9의 이미지에서는 전체 버섯 이미지에서 갓 부분과 대 부분을 구분하기 위해 각각의 색으로 ROI를 폴리곤 방식으로 추출한 모습이다.
이미지는 분광 정보를 취득할 영역을 구분하는 것이므로, 1차 마스킹된 이미지 영역의 분광정보를 csv 파일로 추출한 데이터에서 이상치와 결측치를 제거해야 한다. 이때 전체를 4분위수로 나누어 양 극단 값을 제거하는 IQR 통계방식을 적용한다.
이에 영상 취득 및 전처리 모듈(11)은 상술한 영상 취득 및 전처리 과정을 수행하게 되는데, 이러한 과정은 최종적으로 컴퓨터로 수행하기 위해 프로그램 언어를 통해 알고리즘으로 코딩한 프로그램이고, 다시 말해 이러한 프로그램은 식물체 표현형 측정 장치(10) 또는 저장 장치(20)에 저장되어 영상 취득 및 전처리 모듈(11)이 식물체 표현형 측정 장치(10) 또는 저장 장치(20)에 입력저장된 상기 프로그램을 이용하여 상술한 영상 취득 및 전처리 과정을 수행하게 되는 것이다.
객체 분류(2차 마스킹)
전술한 바와 같이 1차 마스킹으로 배경과 식생을 구분할 때에는 전체 이미지에 NDVI를 적용하여 단순히 배경과 식생을 구분하였으나, 세부 ROI 지정과 구역별 분광정보를 비교하여 상기 구분된 식생 작물의 기관을 분류할 수 있다.
이 과정에서 발생할 수 있는 오차(이상치, 결측치, 홀(hole) 등)를 줄이고, 더 높은 분류 정확도를 얻기 위해 증강식생지수(Enhanced vegetation index, EVI)와 토양조정식생지수(Soil-adjusted vegetation index, SAVI)를 사용하여 분류 정확도를 보정한다.
정규식생지수(Normalised Difference Vegetation Index, NDVI), 증강식생지수(Enhanced vegetation index, EVI)와 토양조정식생지수(Soil-adjusted vegetation index, SAVI)는 각각 다음의 수학식 1, 2, 3과 같다.
Figure 112023122928182-pat00004
여기서, NIR은 근적외선 파장대의 반사율이고, Red는 Red 파장대의 반사율이다.
Figure 112023122928182-pat00005
여기서, NIR은 근적외선 파장대의 반사율이고, Red는 Red 파장대의 반사율이며, Blue는 Blue 파장대의 반사율이다.
Figure 112023122928182-pat00006
여기서, NIR은 근적외선 파장대의 반사율이고, Red는 Red 파장대의 반사율이며, L은 토양 밝기 조정 상수이다.
구체적으로, 상기 병합되어 정규화된 이미지에서 제공된 분광정보(450(Blue), 550(Green), 650(Red), 750(NIR1), 830(NIR2) nm)를 바탕으로 도 10에 도시된 바와 같이 ROI 설정 후 하나의 픽셀당 측정된 RGB 파장대 별 반사율 3개의 값과 NIR 파장대 별 반사율 2개의 값 및 2개의 NIR 파장대 각각에 대한 3개의 추가 식생 지수(정규식생지수,증강식생지수,토양조정식생지수)를 기계학습의 입력값(Input)으로 하고, 미리 표시해둔 ROI를 바탕으로 이미지 내에서 객체인 식생 작물의 현재의 기관명(예를 들어, 종자·뿌리·줄기·잎 등)을 하나의 픽셀당 결과값(Output)으로 하여 일반적인 인공신경망 모델을 학습시킨다(S60).
이에 학습된 인공신경망 모델은 도 10과 같이 11개의 반사율값으로 이루어진 임의의 픽셀의 입력값이 입력되면 반사율 등의 분광정보를 포함한 성질이 비슷한 픽셀을 식생 작물 기관별로 분류할 수 있다. 즉, 상기 학습된 인공신경망 모델에 상기 반사율값들로 이루어진 임의의 픽셀의 입력값(Input)이 입력되면, 객체분류 모듈(12)이 상기 학습된 인공신경망 모델에 의해 출력되는 결과값(Output)을 통해 반사율을 포함한 분광정보를 갖는 임의의 픽셀을 식생 작물 기관별로 분류하게 되는 것이다(S70).
예를 들어, 상기 인공신경망 모델 학습시 도 11의 식물체에서 먼저 식물체 종자 부분을 Seed, 뿌리를 Root, 배경을 Other로 지정한다고 하였을 때 상기 입력값 중 NDVI 1 값이 0.45 보다 작으면 뿌리(Root)와 배경(Other)으로 분류하고, NDVI 1 값이 0.45 보다 크면 종자(Seed)로 분류한다. 분류된 종자(Seed)에서 좀 더 세밀하게 배경(Other)을 분류해 내기 위해 입력값 중 450 nm 파장대의 값이 0.20 보다 낮은 경우를 배경(Other)으로 분류하여 보정하는데 이러한 분류 과정은 의사결정트리로 세분화하여 수행함이 바람직하다.
상기 NDVI 1 값이 0.45 보다 작은 경우 뿌리(Root)와 배경(Other)으로 분리하기 위해 450 nm 파장대와 830 nm 파장대의 결과를 이용한다. 특히 450 nm에서 결과값이 0.30 보다 작은 경우에는 배경(Other)으로, 그보다 큰 경우에는 뿌리(Root)로 분류하며, 차후 정확도를 높이기 위해 830 nm 파장대에서 0.70 보다 높은 값을 분류된 뿌리(Root)에서 배경(Other)으로 분류하여 추가적으로 결과를 보정하는데, 이러한 과정도 의사결정트리로 세분화하여 수행함이 바람직하다. 상기 의사결정트리는 상기 인공신경망 모델의 학습 알고리즘에 포함되어 있다.
또한 객체 분류 과정에서 발생할 수 있는 이상치 및 결측치를 줄이기 위해 후처리 작업을 진행하여야 하며, 이러한 후처리 작업은 주어진 색상의 작은 컴포넌트를 다른 색상으로 변경하는 작업과 특정 색상으로 둘러싸인 픽셀의 색상을 변경하는 두 가지 변환 작업을 통해 성취된다.
도 11은 동시에 진행되는 상기 두 후처리 작업의 과정을 적용할 때의 하이퍼파라미터가 각각 0, 10, 50 픽셀인 경우이다. 0은 후처리가 이루어지지 않은 이미지로, 파란 배경 곳곳에 빨간 반점이 나타난 것을 확인할 수 있다. 이를 10픽셀 단위로 처리할 경우 작은 크기의 반점부터 사라지며, 50픽셀로 적용할 경우에는 빨간 반점의 대다수가 사라지는 것을 확인할 수 있다.
나아가 도 12에서 나타낸 바와 같이 왼쪽은 하이퍼파라미터 100픽셀, 오른쪽은 하이퍼파라미터 300픽셀을 적용한 이미지이다. 이미 상기 50픽셀 수준에서 대다수의 빨간 반점은 사라졌으나, 100픽셀과 비교하여 300픽셀에서는 종자(빨간색)와 뿌리(녹색)의 구분이 좀 더 선명하고, 뿌리 주변에 나타난 빨간 픽셀이 다수 사라진 것을 확인할 수 있다.
따라서 상기 후처리 작업시 학습된 인공신경망 모델 내의 하이퍼파라미터는 300픽셀로 설정하는 것이 가장 바람직하고, 더 큰 픽셀의 하이퍼파라미터는 후처리 작업시 본래의 종자와 뿌리의 색상을 변경시킬 수 있으므로 유의하여야 한다.
결국 상기 과정을 거친 2차 마스킹된 이미지를 바탕으로 배경과 작물의 특정 기관을 분류할 수 있으며, 필요시 특정 부분 및 배경을 제거하여 활용할 수 있다.
이에 객체분류 모듈(12)은 인공신경망 모델을 이용하여 작물을 특정 기관별로 분류하게 되는데, 이러한 과정은 최종적으로 컴퓨터로 수행하기 위해 프로그램 언어를 통해 알고리즘으로 코딩한 프로그램이고, 다시 말해 이러한 프로그램은 상기 수학식 1 내지 수학식 3과 의사결정트리를 갖는 인공신경망 모델을 포함하면서 식물체 표현형 측정 장치(10) 또는 저장 장치(20)에 저장되어 객체분류 모듈(12)이 식물체 표현형 측정 장치(10) 또는 저장 장치(20)에 입력저장된 상기 수학식 1 내지 수학식 3과 의사결정트리를 갖는 인공신경망 모델을 포함한 프로그램을 이용하여 작물을 특정 기관별로 분류하게 되는 것이다.
표현형 측정
색도 분석의 경우, 상기 전처리가 이루어진 보정된 상기 비트맵 이미지에서 2차 마스킹된 픽셀의 평균 RGB 값을 추출할 수 있다. 이때 2차 마스킹된 이미지 전체가 같은 개체의 같은 기관이 아니므로 개체별로 구분될 수 있도록 별도로 레이블링 하여 각각의 색도 값을 추출할 수 있도록 하는 작업이 필요하다.
이때 개체의 외곽선을 기준으로 500 픽셀 이상의 주변과 구분된 완성된 마스킹을 하나의 개체로 인지하도록 한다.
색도 분석뿐만 아니라 상기 전처리가 이루어진 영상 이미지를 통해 여러 표현형이 측정되고 분석될 수 있으며, 여기서 기관별 영역의 평균 색상 값과 면적 및 길이 등의 외적 형질이 측정되며(S80), 이를 활용하여 수분 함량과 병징 등도 확인할 수 있다.
구체적으로, 2D이미지상의 면적을 구하기 위해 2차 마스킹 된 이미지에서 면적을 구하려는 부분의 픽셀 수를 계산한 후, 픽셀을 포함한 이미지의 Image resolution을 이용하여 실제 면적 단위(㎟)로 환산하는 방법이 사용된다.
또한, 2D이미지 상에서 길이를 구하기 위해 각각의 객체에서 외곽선 사이 중간지점을 계산하여 중간지점에 너비가 1 픽셀인 라인(즉, 선분)을 도출한다(도 13 참조).
선분이 된 객체는 전체 이미지 안에서 복수개의 객체가 널리 퍼져 있기 때문에, 분석하려는 한 개의 객체별 기관에 한정하기 위해 전체 영상이미지 안에 널리 분포된 객체를 객체별로 레이블링 한다.
하나의 객체에서 여러 개의 노드가 있어 여러 선분이 있는 이미지가 나타날 경우에는 단순히 총픽셀의 길이를 구하는 것이 아니라 측정하려는 부분(예를 들어, 뿌리에서 주근과 곁뿌리가 있으면 측정하려는 주근)을 명확히 지정해야 한다.
이에 측정하려는 부분을 명확히 지정하는 과정은, 모든 노드의 시작점부터 끝점을 포함한 각 노드에 각각의 숫자 서열을 지정하고 서열(point) 사이의 거리를 계산한 후, 연결되는 노드와 노드 사이의 각도를 고려하면서 측정하려는 부분의 최장거리를 상기 서열 사이의 거리를 합산 계산하여 영상 이미지 내의 특정 기관의 길이를 도출한다.
최종적으로 영상 이미지의 길이를 실제 길이 단위(mm)로 환산한다.
참고로 도 14는 좌측부터 순서대로 원본이미지, 1차 마스킹 이미지, 2차 마스킹 이미지와 표현형 측정 이미지를 나타낸 것이다.
이에 표현형 측정 모듈(13)은 객체의 기관별 평균 색상 값과 면적 및 길이 등의 외적 형질을 측정하는데, 이러한 과정은 최종적으로 컴퓨터로 수행하기 위해 프로그램 언어를 통해 알고리즘으로 코딩한 프로그램이고, 다시 말해 이러한 프로그램은 식물체 표현형 측정 장치(10) 또는 저장 장치(20)에 저장되어 표현형 측정 모듈(13)이 식물체 표현형 측정 장치(10) 또는 저장 장치(20)에 입력저장된 상기 프로그램을 이용하여 객체의 기관별 평균 색상 값과 면적 및 길이 등의 외적 형질을 측정하게 되는 것이다.
10: 식물체 표현형 측정 장치
11: 영상 취득 및 전처리 모듈
12: 객체분류 모듈
13: 표현형 측정 모듈
20: 저장 장치

Claims (12)

  1. (a) 영상 취득 및 전처리 모듈(11)이 측정하려는 식물체의 높이에 맞춰 영상 촬영 장치(다분광 카메라 또는 초분광 카메라)의 초점을 조절하는 단계(S10)와;
    (b) 영상 취득 및 전처리 모듈(11)이 상기 다분광 카메라 또는 초분광 카메라를 이용하여 가시광선(VIS: 400~700 nm) 및 근적외선(NIR; 700~1000 nm) 파장대의 다분광 또는 초분광 영상 이미지를 습득하는 단계(S20)와;
    (c) 영상 취득 및 전처리 모듈(11)이 상기 습득된 영상 이미지 분석시 RGB와 NIR 파장대가 구분되어 나타나면 3개의 색도(RGB)가 존재하는 픽셀에 추가적으로 조사된 2개의 파장대(NIR1, NIR2)의 색도 값을 추가하는 방식으로 이미지를 병합하는 단계(S30)와;
    (d) 영상 취득 및 전처리 모듈(11)이 상기 병합된 이미지에서 제공된 분광정보(RGB, NIR1, NIR2)를 바탕으로 NDVI(정규식생지수)를 픽셀별로 계산하여 전체 식생부분의 1차 마스킹(masking)을 진행함으로써 객체(식생)와 배경을 구분하는 단계(S40)와;
    (e) 영상 취득 및 전처리 모듈(11)이 상기 1차 마스킹된 이미지 내에서 분석하고자 하는 영역을 세그멘테이션(2차 마스킹) 하기 위하여 이미지 내 ROI(Region of interest)를 설정하는 단계(S50)와;
    (f) ROI 설정 후 객체분류 모듈(12)이 상기 병합된 이미지에서 제공된 분광정보(RGB, NIR1, NIR2)를 바탕으로 하나의 픽셀당 측정된 RGB 파장대 별 반사율값과 NIR 파장대 별 반사율값 및 식생 지수를 기계학습의 입력값(Input)으로 하고, 미리 표시해둔 상기 ROI를 바탕으로 이미지 내에서 객체인 식생 작물의 현재의 기관명을 하나의 픽셀당 결과값(Output)으로 하여 일반적인 인공신경망 모델을 학습시키는 단계(S60)와;
    (g) 상기 학습된 인공신경망 모델에 상기 반사율값들로 이루어진 임의의 픽셀의 입력값(Input)이 입력되면, 객체분류 모듈(12)이 상기 학습된 인공신경망 모델에 의해 출력되는 결과값(Output)을 통해 반사율을 포함한 분광정보를 갖는 임의의 픽셀을 식생 작물 기관별로 분류하는 단계(S70), 및
    (h) 표현형 측정 모듈(13)이 분류된 기관별 평균 색상 값, 면적 그리고 길이의 표현형을 측정하는 단계(S80)로 이루어지는 것을 특징으로 하는, 영상을 이용한 식물체의 표현형 측정 방법.
  2. 제 1 항에 있어서,
    상기 단계(b)에서 영상 이미지 습득시 이미지의 과노출로 본래의 이미지가 사라지지 않도록 노출 임계치는 10000ms인 것을 특징으로 하는, 영상을 이용한 식물체의 표현형 측정 방법.
  3. 제 1 항에 있어서,
    상기 단계(f)의 입력값(Input)은 RGB 파장대 별 반사율 3개의 값과 NIR 파장대(NIR1,NIR2) 별 반사율 2개의 값 및 2개의 NIR 파장대 각각에 대한 3개의 추가 식생 지수(정규식생지수(NDVI1,NDVI2), 증강식생지수(EVI1,EVI2), 토양조정식생지수(SAVI1,SAVI2)를 포함한 11개의 반사율값이고,
    결과값(Output)은 객체인 식생 작물의 현재의 기관명인 것을 특징으로 하는, 영상을 이용한 식물체의 표현형 측정 방법.
  4. 제 1 항에 있어서,
    각 단계가 챔버라는 특수한 실내 공간에서 영상을 취득할 필요가 있는 경우에는, 외부 광이 차단된 챔버 내부에 영상을 촬영할 수 있는 영상촬영장치(다분광 카메라 또는 초분광 카메라)와 이송 슬라이드 레일, 특수 조명(특수 LED 및 할로겐 조명)을 넣어 촬영 가능하도록 하는 영상기반 생육 측정 장치(Plant Image Measurement System, PIMS)로 구성하는 것을 특징으로 하는, 영상을 이용한 식물체의 표현형 측정 방법.
  5. 제 4 항에 있어서,
    상기 단계(b)에서 영상 이미지 습득시,
    조도 센서를 통해 챔버 내에서의 광원인 LED 및 할로겐 조명의 전체 파장대에 대해 광량과 광스펙트럼의 분포를 확인하고, 레퍼런스가 될 광질인 기준 광량(Light intensity)과 광스펙트럼(상용화된 태양광 또는 8800K 형광등의 광스펙트럼)을 미리 설정한 후, 상기 레퍼런스와 상기 광원의 광량과 전체 광스펙트럼을 비교하여 광원인 LED 및 할로겐 조명의 특정 파장대의 광량과 전체 광스펙트럼 값을 레퍼런스와 유사하게 자동으로 보정하여 정규화하는 것을 특징으로 하는, 영상을 이용한 식물체의 표현형 측정 방법.
  6. 제 1 항에 있어서,
    상기 단계(d)와 (f)의 분광정보는 450(Blue)nm, 550(Green)nm, 650(Red)nm, 750(NIR1)nm, 830(NIR2)nm로 5개의 파장대를 이용하는 것을 특징으로 하는, 영상을 이용한 식물체의 표현형 측정 방법.
  7. 제 1 항에 있어서,
    상기 단계(d)에서 NDVI 계산시 상기 NIR1과 NIR2를 평균한 값을 사용하고, NDVI를 적용하여 마스킹 할 경우 원하는 파장대만을 같은 색으로 불러모아야 하므로 파장대 별 결과값인 반사율을 바탕으로 Color slice 하여 식생 부분을 도출하는 것을 특징으로 하는, 영상을 이용한 식물체의 표현형 측정 방법.
  8. 제 1 항에 있어서,
    상기 단계(d)에서 1차 마스킹된 이미지의 디노이징을 위해 래스터 이미지를 벡터로 전환하고,
    상기 디노이징은 이상치, 결측치 또는 정상 마스킹 범위가 아닌 픽셀을 중심 픽셀로 하여 중심 픽셀의 주변 픽셀에서 다수를 차지하는 색(color)으로 변환하는 방법을 이용하되, 이때 kernel size를 7로 설정하고 중심픽셀가중치(Center pixel weight)를 1로 설정하며,
    배경과 객체의 마스킹 경계 인접부에 존재하는 식생 내부의 홀(hole)을 제거하기 위해, 상기 병합된 이미지인 원본이미지와 상기 중심픽셀가중치 적용후 마스킹(masking)된 이미지의 차이를 계산하여 빈 픽셀(원본이미지에는 픽셀값이 있으나 중심픽셀가중치 적용후 마스킹된 이미지에는 픽셀값이 없는 픽셀)을 찾아내고, 그 복수의 빈 픽셀들끼리 인접하여 이루어진 부분의 외곽선을 탐지하여 탐지된 외곽선으로 둘러싸인 부분의 총픽셀수가 50픽셀 이하인 경우 상기 홀(hole)을 식생으로 메우는 단계를 추가하는 것을 특징으로 하는, 영상을 이용한 식물체의 표현형 측정 방법.
  9. 제 1 항 또는 제 3 항에 있어서,
    정규식생지수(NDVI), 증강식생지수(EVI), 토양조정식생지수(SAVI)는 각각,
    (여기서, NIR은 근적외선 파장대의 반사율, Red는 Red 파장대의 반사율),
    (여기서, NIR은 근적외선 파장대의 반사율, Red는 Red 파장대의 반사율, Blue는 Blue 파장대의 반사율),
    (여기서, NIR은 근적외선 파장대의 반사율, Red는 Red 파장대의 반사율, L은 토양 밝기 조정 상수)을 이용하여 계산하는 것을 특징으로 하는, 영상을 이용한 식물체의 표현형 측정 방법.
  10. 제 3 항에 있어서,
    상기 인공신경망 모델의 학습 알고리즘에 포함되어 있는 의사결정트리로 세분화하여 수행하기 위해, 식물체 종자 부분을 Seed, 뿌리를 Root, 배경을 Other로 지정한다고 하였을 때 상기 입력값(Input) 중 NDVI1 값이 0.45 보다 작으면 뿌리(Root)와 배경(Other)으로 분류하고, NDVI1 값이 0.45보다 크면 종자(Seed)로 분류하되, 분류된 종자(Seed)에서 좀 더 세밀하게 배경(Other)을 분류해 내기 위해 입력값(Input) 중 450(Blue)nm 파장대의 값이 0.20 보다 낮은 경우를 배경(Other)으로 분류하여 보정하고,
    상기 NDVI1 값이 0.45 보다 작은 경우 뿌리(Root)와 배경(Other)으로 분리하기 위해 450(Blue)nm 파장대에서 결과값이 0.30 보다 작은 경우에는 배경(Other)으로, 그보다 큰 경우에는 뿌리(Root)로 분류하며, 정확도를 높이기 위해 830(NIR2)nm 파장대에서 0.70 보다 높은 값을 분류된 뿌리(Root)에서 배경(Other)으로 분류하여 추가적으로 결과를 보정하는 것을 특징으로 하는, 영상을 이용한 식물체의 표현형 측정 방법.
  11. 제 1 항에 있어서,
    상기 단계(g)에서
    객체 분류 과정에서 발생할 수 있는 이상치 및 결측치를 줄이기 위해 후처리 작업을 추가 진행하되, 상기 후처리 작업은 주어진 색상의 작은 컴포넌트를 다른 색상으로 변경하는 작업과 특정 색상으로 둘러싸인 픽셀의 색상을 변경하는 두 가지 변환 작업을 통해 성취하며 상기 두 후처리 작업의 과정을 적용할 때의 하이퍼파라미터는 300 픽셀로 설정하는 것을 특징으로 하는, 영상을 이용한 식물체의 표현형 측정 방법.
  12. 제 1 항에 있어서,
    상기 단계(h)에서 길이 표현형의 측정은,
    객체의 길이를 구하기 위해 각각의 객체에서 외곽선 사이 중간지점을 계산하여 중간지점에 너비가 1 픽셀인 라인(선분)을 도출하고,
    선분이 된 객체는 전체 이미지 안에서 복수개의 객체가 널리 퍼져 있어, 분석하려는 한 개의 객체별 기관에 한정하기 위해 전체 영상이미지 안에 널리 분포된 객체를 객체별로 레이블링 하며,
    하나의 객체에서 여러 개의 노드가 있어 여러 선분이 있는 이미지가 나타날 경우에는 단순히 총픽셀의 길이를 구하는 것이 아니라 측정하려는 부분(뿌리에서 주근과 곁뿌리가 있으면 측정하려는 주근)을 명확히 지정해야 하는데, 이러한 지정 과정은 모든 노드의 시작점부터 끝점을 포함한 각 노드에 각각의 숫자 서열을 지정하고 서열(point) 사이의 거리를 계산한 후, 연결되는 노드와 노드 사이의 각도를 고려하면서 측정하려는 부분의 최장거리를 상기 서열 사이의 거리를 합산 계산하여 영상 이미지 내의 특정 기관의 길이를 도출하는 것으로 이루어지는 것을 특징으로 하는, 영상을 이용한 식물체의 표현형 측정 방법.
KR1020230152741A 2023-11-07 2023-11-07 영상을 이용한 식물체의 표현형 측정 방법 KR102630133B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230152741A KR102630133B1 (ko) 2023-11-07 2023-11-07 영상을 이용한 식물체의 표현형 측정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230152741A KR102630133B1 (ko) 2023-11-07 2023-11-07 영상을 이용한 식물체의 표현형 측정 방법

Publications (1)

Publication Number Publication Date
KR102630133B1 true KR102630133B1 (ko) 2024-01-30

Family

ID=89714953

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230152741A KR102630133B1 (ko) 2023-11-07 2023-11-07 영상을 이용한 식물체의 표현형 측정 방법

Country Status (1)

Country Link
KR (1) KR102630133B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102301658B1 (ko) 2018-10-31 2021-09-14 (주)카탈로닉스 식물 생육 장치 및 그 제어 방법
KR20220077428A (ko) * 2020-12-02 2022-06-09 부산대학교 산학협력단 유인 또는 무인 항공기에서 획득된 다분광 영상을 이용한 원격 모자반 탐지방법 및 그 시스템
KR20230011513A (ko) * 2021-07-13 2023-01-25 전주비전대학교산학협력단 도시지역 토지피복 특성을 고려한 ｕａｖ 다중분광센서 기반의 맞춤형 식생지수 측정 방법
KR20230140832A (ko) * 2022-03-30 2023-10-10 창원대학교 산학협력단 드론 및 인공지능을 활용한 도시 공간정보 매핑 방법 및 장치
KR20230147893A (ko) * 2022-04-15 2023-10-24 한국항공우주연구원 식생 지수 검출 성능 향상 시스템 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102301658B1 (ko) 2018-10-31 2021-09-14 (주)카탈로닉스 식물 생육 장치 및 그 제어 방법
KR20220077428A (ko) * 2020-12-02 2022-06-09 부산대학교 산학협력단 유인 또는 무인 항공기에서 획득된 다분광 영상을 이용한 원격 모자반 탐지방법 및 그 시스템
KR20230011513A (ko) * 2021-07-13 2023-01-25 전주비전대학교산학협력단 도시지역 토지피복 특성을 고려한 ｕａｖ 다중분광센서 기반의 맞춤형 식생지수 측정 방법
KR20230140832A (ko) * 2022-03-30 2023-10-10 창원대학교 산학협력단 드론 및 인공지능을 활용한 도시 공간정보 매핑 방법 및 장치
KR20230147893A (ko) * 2022-04-15 2023-10-24 한국항공우주연구원 식생 지수 검출 성능 향상 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
Vesali et al. Development of an android app to estimate chlorophyll content of corn leaves based on contact imaging
Kim et al. Classification of grapefruit peel diseases using color texture feature analysis
Xing et al. Bruise detection on ‘Jonagold’apples using hyperspectral imaging
Mahendran et al. Application of computer vision technique on sorting and grading of fruits and vegetables
Kolhar et al. Plant trait estimation and classification studies in plant phenotyping using machine vision–A review
Qin et al. Citrus canker detection using hyperspectral reflectance imaging and PCA-based image classification method
Bac et al. Robust pixel-based classification of obstacles for robotic harvesting of sweet-pepper
Van De Vijver et al. In-field detection of Alternaria solani in potato crops using hyperspectral imaging
CN106525732B (zh) 基于高光谱成像技术的苹果内外品质快速无损检测方法
US20230017425A1 (en) System and method for determining damage on crops
Wang et al. Outdoor color rating of sweet cherries using computer vision
Cointault et al. In‐field Triticum aestivum ear counting using colour‐texture image analysis
Rangel et al. KNN-based image segmentation for grapevine potassium deficiency diagnosis
Wouters et al. Multispectral detection of floral buds for automated thinning of pear
CN111814545A (zh) 作物识别方法、装置、电子设备及存储介质
Wouters et al. Hyperspectral waveband selection for automatic detection of floral pear buds
Liu et al. Estimating wheat fractional vegetation cover using a density peak k-means algorithm based on hyperspectral image data
CN109470639A (zh) 基于可见光和近红外高光谱成像的桑螟幼虫及其对桑叶损害的快速识别方法
Ruett et al. Hyperspectral imaging for high-throughput vitality monitoring in ornamental plant production
Zhang et al. Yield estimation of citrus fruit using rapid image processing in natural background
CN111767943A (zh) 地膜识别方法、装置、电子设备及存储介质
KR102630133B1 (ko) 영상을 이용한 식물체의 표현형 측정 방법
JP6439295B2 (ja) 植物体の検査装置及び検査方法
Zhao et al. Digital microscopic imaging for citrus peel disease classification using color texture features
JP5672029B2 (ja) 反射率算出装置、反射率算出方法およびプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant