KR102297913B1 - 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템 및 그 방법 - Google Patents
하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR102297913B1 KR102297913B1 KR1020210010360A KR20210010360A KR102297913B1 KR 102297913 B1 KR102297913 B1 KR 102297913B1 KR 1020210010360 A KR1020210010360 A KR 1020210010360A KR 20210010360 A KR20210010360 A KR 20210010360A KR 102297913 B1 KR102297913 B1 KR 102297913B1
- Authority
- KR
- South Korea
- Prior art keywords
- hyperspectral
- image
- data
- plant
- learning
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012544 monitoring process Methods 0.000 title claims abstract description 35
- 230000008635 plant growth Effects 0.000 title claims abstract description 22
- 230000012010 growth Effects 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 230000003595 spectral effect Effects 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 15
- 238000001228 spectrum Methods 0.000 claims description 13
- 235000013311 vegetables Nutrition 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000013480 data collection Methods 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 235000013399 edible fruits Nutrition 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 239000013068 control sample Substances 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 229910052724 xenon Inorganic materials 0.000 claims description 2
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 2
- 238000003066 decision tree Methods 0.000 description 5
- 238000007635 classification algorithm Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000009385 viral infection Effects 0.000 description 4
- 238000001069 Raman spectroscopy Methods 0.000 description 3
- 238000000701 chemical imaging Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 241000700605 Viruses Species 0.000 description 2
- 238000000423 cell based assay Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 239000002028 Biomass Substances 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000684 flow cytometry Methods 0.000 description 1
- 235000021384 green leafy vegetables Nutrition 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000003307 slaughter Methods 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G9/00—Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
- A01G9/24—Devices or systems for heating, ventilating, regulating temperature, illuminating, or watering, in greenhouses, forcing-frames, or the like
- A01G9/249—Lighting means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0098—Plants or trees
-
- G06K9/00657—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
- H05B45/30—Driver circuits
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N2021/1738—Optionally different kinds of measurements; Method being valid for different kinds of measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N2021/1765—Method using an image detector and processing of image signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
-
- G06K2009/00644—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
- Y02A40/25—Greenhouse technology, e.g. cooling systems therefor
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Environmental Sciences (AREA)
- Primary Health Care (AREA)
- Food Science & Technology (AREA)
- Wood Science & Technology (AREA)
- Botany (AREA)
- Agronomy & Crop Science (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Medicinal Chemistry (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Multimedia (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는, 스마트팜 및 스마트온실을 포함하는 식물재배의 조건하에서 복수의 식물 개체군의 생장 상태 모니터링 및 재배 환경을 제어하기 위해 영상 획득장치부(100), 센싱장치부(200), LED 조명부(300), 네트워크(400) 및 학습데이터 서버(500)를 포함하는 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템에 있어서, 학습데이터 서버(500)는, 영상 획득장치부(100), 센싱장치부(200), LED 조명부(300)와 네트워크(400)를 통해 유무선 방식으로 연결됨으로써, 영상 획득장치부(100)로부터 제공된 영상 데이터와, 센싱장치부(200)로부터 제공된 센싱데이터를 분석하여 각 식물별로 구분지어진 학습 이미지 데이터를 생성하고, 생성된 학습 이미지 데이터에 따라 LED 조명부(300)를 포함하는 제어 장치에 대한 개별적인 제어를 수행하는 것을 특징으로 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템 및 그 방법을 제공한다.
본 발명에 따르면, 효과적인 생태환경 분석을 위한 하이퍼스펙트럴 영상자료를 활용하여 작물 분류기법과 접근이 한정된 지역에 대한 식생 모니터링 기법을 제공하도록 할 수 있는 효과가 있다.
본 발명에 따르면, 효과적인 생태환경 분석을 위한 하이퍼스펙트럴 영상자료를 활용하여 작물 분류기법과 접근이 한정된 지역에 대한 식생 모니터링 기법을 제공하도록 할 수 있는 효과가 있다.
Description
본 발명은 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템 및 그 방법에 관한 것으로, 보다 구체적으로는, 효과적인 생태환경 분석을 위한 하이퍼스펙트럴 영상자료를 활용하여 작물 분류기법과 접근이 한정된 지역에 대한 식생 모니터링 기법을 제공하도록 하기 위한 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템 및 그 방법에 관한 것이다.
하이퍼스펙트럴 센서를 생태환경 분석에 활용하는 연구 및 개발이 필요하며, 이는 경제성과 직결되는 농산물 생산량 예측 및 산림 바이오매스 추정과 같은 농업 및 산림 정책에 중요한 기초자료로 활용 가능하다.
이에 따라 해당 기술분야에 있어서는 효과적인 생태환경 분석을 위한 하이퍼스펙트럴 영상자료를 활용하여 인공신경망을 활용하여 작물 분류기법과 접근이 한정된 지역에 대한 식생 모니터링 기법을 제공하기 위한 기술개발이 요구되고 있다.
이와 관련된 종래의 기술로 대한민국 특허출원 출원번호 제10-2019-7012777(2017.10.09)호 "식물 재배 장치 및 방법(PLANT GROWING APPARATUS AND METHOD)"은 식물 재배 장치로서, 내부 및 외부를 갖는 인클로저, 이 인클로저의 내부는 인클로저 내의 환경 조건을 유지하도록 구성될 수 있다.
또한, 대한민국 특허출원 출원번호 제10-2012-0104667(2012.09.20)호 "라만 분광법 및 케모메트릭스를 이용한 식물의 바이러스 감염에 대한 분석방법(Methods for Assessing Virus Infections against a Plant using Raman Spectroscopy and Chemometrics)"은 다음의 단계를 포함하는 식물의 바이러스 감염에 대한 분석방법을 제공한다: (a) 정상 식물 시료와 바이러스-감염된 식물 시료에 빛을 조사하여 분광 스펙트럼을 측정하는 단계로, 상기 분광 스펙트럼은 다량의 상호작용된 양성자(photons)의 스펙트럼을 나타내며; (b) 상기 단계 (a)에서 얻어진 분광 스펙트럼을 전처리(preprocess)하는 단계로, 상기 분광 스펙트럼에서 타겟 영역을 선택하고 웨이블렛(wavelet) 기법과 정규화(normalization)를 이용하여 전처리된 분광 스펙트럼을 획득하고; 및 (c) 상기 전처리된 분광 스펙트럼을 케모메트릭스(chemometrics) 방법으로 분석하는 단계로, 상기 케모메트릭스 방법은 이동식 윈도우 알고리듬(moving window algorithm)을 통해 선별된 최적 영역에서 주인자 분석(principal component analysis, PCA)을 이용하여 실시하는 것을 특징으로 하며, 분광학(바람직하게는, 라만 분광법) 및 케모메트릭스(chemometrics) 방법을 이용하여 식물의 생엽에서 바이러스의 감염 여부를 비파괴적으로 검출할 수 있을 뿐 아니라 바이러스의 감염 여부를 매우 간편하고 신속하게 제공함으로써, 바이러스 감염에 의해 막대한 피해를 받는 작물류, 특히 채소 작물류에 효과적으로 적용될 수 있다.
또한, 대한민국 특허출원 출원번호 제10-2007-0099519(2007.10.02)호 "초분광 이미지 시스템을 이용하는 정량적 세포 분석방법(A quantitative method for cellular assays based on hyperspectral imaging system)"은 초분광 이미지 시스템은 공초점 현미경(confocal microscope)에 시간에 따라 투과될 수 있는 빛의 파장을 연속적으로 변환시킬 수 있는 가변형 필터(tunable filter)를 부착시킨 광학시스템과 이미지를 취득(image acquisition)하고 분석하는 소프트웨어를 갖춘 컴퓨터 시스템으로 구성되어 있다. 상기 초분광 이미지 시스템을 이용하여 경미하게 초점을 흐린 이미지(unfocussed image)를 얻고 배경 보정을 한 뒤 이미지 속 모든 세포에 대한 역치 매개변수들(threshold parameters)를 걸어주고 부위 선별을 하게 되면 전체 이미지 속에서 역치 매개변수를 만족시키는 모든 세포를 자동적으로 선택할 수 있어서 얻을 수 있어 이미지 속 모든 세포들을 정량적으로 계수(count) 할 수 있어 정량적인 세포 생존능력 분석(quantitative cell viability), 약물 스크리닝(drug screening) 또는 유세포 분석 (Flow cytometric analysis)에 유용하게 이용될 수 있다.
또한, 대한민국 특허출원 출원번호 제10-2019-7009605(2017.09.06)호 "이미지로부터의 초분광 데이터 복원(RECOVERY OF HYPERSPECTRAL DATA FROM IMAGE)"은 스펙트럼 데이터를 근사화하는 방법으로서, 상기 방법은 적어도 하나의 하드웨어 프로세서를 사용하여, 제 1 세트의 스펙트럼 밴드에 데이터를 포함하는 디지털 이미지를 제공하는 단계; (a) 제 2 세트의 스펙트럼 밴드의 시그니처(signature) 및 (b) 상기 제 1 세트의 스펙트럼 밴드의 값을 포함하는 딕셔너리(dictionary)를 제공하는 단계로서, 상기 값은 상기 시그니처에 대응하고, 상기 제 1 세트의 스펙트럼 밴드 및 상기 제 2 세트의 스펙트럼 밴드는 상이한, 상기 딕셔너리를 제공하는 단계; 및 상기 딕셔너리에 기초하여, 상기 디지털 이미지의 상기 제 2 세트의 스펙트럼 밴드에 데이터를 근사화하는 단계를 단계를 포함한다.
그러나 이러한 종래의 기술들은 생태환경 분석을 위한 하이퍼스펙트럴 영상자료를 활용하여 작물 분류기법과 접근이 한정된 지역에 대한 식생 모니터링 기법을 제공하지 못하는 한계점이 있다.
본 발명은 상기의 문제점을 해결하기 위한 것으로, 효과적인 생태환경 분석을 위한 하이퍼스펙트럴 영상자료를 활용하여 작물 분류기법과 접근이 한정된 지역에 대한 식생 모니터링 기법을 제공하도록 하기 위한 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템 및 그 방법를 제공하기 위한 것이다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템은, 스마트팜 및 스마트온실을 포함하는 식물재배의 조건하에서 복수의 식물 개체군의 생장 상태 모니터링 및 재배 환경을 제어하기 위해 영상 획득장치부(100), 센싱장치부(200), LED 조명부(300), 네트워크(400) 및 학습데이터 서버(500)를 포함하는 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템에 있어서, 학습데이터 서버(500)는, 영상 획득장치부(100), 센싱장치부(200), LED 조명부(300)와 네트워크(400)를 통해 유무선 방식으로 연결됨으로써, 영상 획득장치부(100)로부터 제공된 영상 데이터와, 센싱장치부(200)로부터 제공된 센싱데이터를 분석하여 각 식물별로 구분지어진 학습 이미지 데이터를 생성하고, 생성된 학습 이미지 데이터에 따라 LED 조명부(300)를 포함하는 제어 장치에 대한 개별적인 제어를 수행하는 것을 특징으로 한다.
이때, 영상 획득장치부(100)는, 복수의 엽채류 및 열매채소, 줄기채소, 뿌리채소 및 과일을 포함하는 식물으로부터 생장정보 모니터링을 위한 RGB 비디오 데이터를 수집하는 비디오 데이터 수집부(110); 및 반사광 및 형광 산란 이미지를 취득하는 하이퍼스펙트럴 이미지 수집부(120); 를 포함하는 것을 특징으로 한다.
또한, 학습데이터 서버(500)는, 영상 획득장치부(100)로부터 제공된 비디오 데이터 및 하이퍼스펙트럴 이미지의 정형 데이터 및 비정형 데이터를 이용해 배양 영역별 이상 여부를 분석하는 것을 특징으로 한다.
또한, 학습데이터 서버(500)는, 비디오 데이터 및 하이퍼스펙트럴 이미지 내 미리 분류된 식물의 위치 정보를 X,Y 좌표값과 해당 식물의 크기인 width(폭) 및 height(높이) 값을 레이블 정보를 이용해 학습을 처리하는 것을 특징으로 한다.
또한, 학습데이터 서버(500)는, 센싱데이터를 구성하는 각 파라미터에 따라 정보를 처리하는 피쳐 맵 레이어(feature map-layer)를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템 및 그 방법은, 효과적인 생태환경 분석을 위한 하이퍼스펙트럴 영상자료를 활용하여 작물 분류기법과 접근이 한정된 지역에 대한 식생 모니터링 기법을 제공하도록 하는 효과가 있다.
도 1은 본 발명의 실시예에 따른 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템(1)을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템(1)에서 학습데이터 서버(500)의 동작 과정을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템(1)에서 학습데이터 서버(500)의 동작 과정을 설명하기 위한 도면이다.
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
도 1은 본 발명의 실시예에 따른 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템(1)을 나타내는 도면이다. 도 2는 본 발명의 실시예에 따른 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템(1)에서 학습데이터 서버(500)의 동작 과정을 설명하기 위한 도면이다.
도 1을 참조하면, 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템(1)은 스마트팜이나 스마트온실 등의 식물재배의 조건하에서 다양한 식물 개체군의 생장 상태 모니터링 및 효율적인 재배 환경을 제어할 수 있다.
이를 위해, 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템(1)은 영상 획득장치부(100), 센싱장치부(200), LED 조명부(300), 네트워크(400) 및 학습데이터 서버(500)를 포함할 수 있다.
영상 획득장치부(100)는 다양한 엽채류 및 열매채소, 줄기채소, 뿌리채소, 과일 등으로부터 생장정보 모니터링을 위한 RGB 비디오 데이터를 수집하는 비디오 데이터 수집부(110), 그리고 반사광 및 형광 산란 이미지를 취득하는 하이퍼스펙트럴 이미지 수집부(120)를 포함할 수 있다.
보다 구체적으로, 비디오 데이터 수집부(110)는 생장정보 모니터링을 위한 RGB 비디오 데이터를 획득하며, 하이퍼스펙트럴 이미지 수집부(120)는 반사 기준 표준이 적용된 조절 가능한 갠트리 크레인, 조명(QTH 또는 QTH/펄스 제논 혼합형), UAB, VNIR, NIR, SWIR 스펙트럼 범위에서 작동하는 하이퍼스펙트럴 센서(hyperspectral sensor)로 형성됨으로써, 갠트리 크레인과 조명에 대한 조절에 따라 하이퍼스펙트럴 센서(hyperspectral sensor)에 의해 수집된 스펙트럼에 대해서 식물로부터 반사된 조명 스펙트럼과 물체의 스펙트럼을 분리하여 네트워크(400)를 통해 학습데이터 서버(500)로 제공함으로써, 학습데이터 서버(500)에 의해 사물 본연의 광학적(radiometric), 기하학적(geometric) 특성을 파악하여 초분광 영상에 해당하는 하이퍼스펙트럴 영상과 RGB 비디오 영상을 통하여 좁은 파장대의 분광 정보를 가진 하이퍼스펙트럴 밴드를 통해 생물의 물리학적 특성을 분석할 수 있도록 할 수 있다.
한편, 본 발명의 다른 실시예로, 영상 획득장치부(100)는 동일한 스펙트럴 시그널에도 하이퍼스펙트럴 이미지 수집부(120)의 하이퍼스펙트럴 센서(hyperspectral sensor)에 따라 다른 스펙트럴 민감도를 갖는데, 이에 따 동일한 촬영 좌표 영역에 대해서 비디오 데이터 수집부(110)에 의해 수집한 RGB 비디오 데이터 상의 RGB 측정값(RGB measurements)의 좌표 영역과 매칭시켜서 함께 저장한 뒤, 네트워크(400)를 통해 학습데이터 서버(500)로 제공하는 하이브리드 하이퍼스펙트럴 영상을 생성하는 프레임워크를 포함할 수 있다.
여기서, 영상 획득장치부(100)는 각 촬영 영역 별로 촬영 영역의 중앙을 향하는 4방향(동,서,남,북)에서 비디오 데이터 수집부(110) 및 하이퍼스펙트럴 이미지 수집부(120)가 쌍(pair)으로 4개가 형성되고, 4개 각각에서 하이브리드 하이퍼스펙트럴 영상이 생성되면, 4개의 하이브리드 하이퍼스펙트럴 영상을 하나의 영상 품질 영상 추출 단위로, 하나의 촬영 영역에서 하나의 단위에 해당하는 영상 획득을 수행하는 경우, 각기 촬영된 하이브리드 하이퍼스펙트럴 영상의 4개의 초점위치와 초점수를 결정한다.
이후, 영상 획득장치부(100)는 결정된 4개의 초점위치와 초점수에 대응하는 4개의 하이브리드 하이퍼스펙트럴 영상이 획득되면, 4개 하이브리드 하이퍼스펙트럴 영상에 대한 4개의 초점거리를 연산하고, 연산된 4개의 초점거리에 반비례하는 4개의 깊이값을 연산할 수 있다. 이후, 영상 획득장치부(100)는 4개의 깊이값에 따라 4개 하이브리드 하이퍼스펙트럴 영상을 합성한 뒤, 4개의 하이브리드 하이퍼스펙트럴 영상 중, 이웃하는 2개의 하이브리드 하이퍼스펙트럴 영상 간의 영시차(Zero Parallax) 영상 데이터를 추출하고, 추출된 영시차 영상 데이터와, 양시차(Positive Parallax) 영상 데이터 및 음시차(Negative Parallax) 영상 데이터 각각을 확인하고, 상기 확인된 영시차를 기준으로 적어도 하나 이상의 양시차 영상 데이터에 대한 시차각을 기반으로 양시차 방향 픽셀 이동 정보를 확인하고, 확인된 영시차를 기준으로 적어도 하나 이상의 음시차 영상 데이터에 대한 시차각을 기반으로 음시차 방향 픽셀 이동 정보를 확인할 수 있다.
이후, 영상 획득장치부(100)는 확인된 양시차 방향 픽셀 이동 정보를 각 픽셀을 구성하는 3차원 이미지인 폴리곤 단위에 대한 적어도 하나 이상의 양시차 영상 데이터에 적용하고, 확인된 음시차 방향 픽셀 이동 정보를 적어도 하나 이상의 음시차 영상 데이터에 적용하여 3차원 입체 이미지를 생성함으로써, 3차원 입체 이미지를 기초로 기저장된 대조 표본 3차원 입체 이미지와의 비교를 통해 오차 범위 내에서 일치하는지 여부를 분석하여 고해상도의 하이브리드 하이퍼스펙트럴 영상을 생성하여 네트워크(400)를 통해 학습데이터 서버(500)로 제공할 수 있다.
센싱장치부(200)는 CO2, EC(Electric Conductivity), pH, 조도, 광량, 온습도 센서 등의 단위 센서로부터 수집된 CO2, EC(Electric Conductivity), pH, 조도, 광량, 온습도 센싱데이터로 이루어진 센싱데이터 그룹을 수집할 수 있다.
LED 조명부(300)는 생장정보 학습을 통한 LED 조명을 제어하기 위해 형성될 수 있다.
학습데이터 서버(500)는 영상 획득장치부(100), 센싱장치부(200), LED 조명부(300)와 네트워크(400)를 통해 유무선 방식으로 연결되고, 이미지 데이터를 각각의 식물별로 구분지어진 학습 이미지 데이터를 생성할 수 있다.
이를 위해, 학습데이터 서버(500)는 영상 획득장치부(100)로부터 제공된 영상 데이터와, 센싱장치부(200)로부터 제공된 센싱데이터를 분석하여 각 식물별로 구분지어진 학습 이미지 데이터를 생성하고, 생성된 학습 이미지 데이터에 따라 LED 조명부(300)를 포함하는 제어 장치에 대한 개별적인 제어를 수행할 수 있다.
학습데이터 서버(500)는 비디오 데이터 및 하이퍼스펙트럴 이미지의 정형 데이터 및 비정형 데이터를 이용해 배양 영역별 이상 여부 판별 및 식물생장 정보를 획득시 센싱장치부(200)로부터 제공된 센싱데이터에 해당하는 복수의 파라미터값을 이용하며, 파라미터의 개수에 따라 각 분석 레이어별로 노드 수가 증가하며, 각 레이어의 수가 많아짐에 따라 이를 형성하기 위한 파라미터수는 급격히 증가하게 되므로 빅데이터를 효율적으로 처리하기 위해 AI 기술을 활용하는 것이 바람직하다.
즉, 학습데이터 서버(500)는 비디오 데이터 및 하이퍼스펙트럴 이미지 내 미리 분류된 식물의 위치 정보를 X,Y 좌표값과 해당 식물의 크기인 width(폭) 및 height(높이) 값을 레이블 정보를 이용해 학습을 처리하며, 도 2를 참조하면 각 파라미터에 따라 정보를 처리하는 피쳐 맵 레이어(feature map-layer)(500a), ROI(Region Of Interest) 풀링 레이어(ROI pooling-layer)(500b), 분류 레이어(Classfication-layer)(500c), 출력 레이어(output-layer)(500d)를 포함할 수 있다.
여기서, 피쳐 맵 레이어(feature map-layer)(500a)는 하이브리드 하이퍼스펙트럴 영상 등과 같은 입력 이미지(Input image)가 제공시 빨간색 3 × 3 사각형 Field가 돌아가면서 해당 사각형 안에 있는 픽셀 값과 미리 설정된 각 식물의 특성값인 Weight의 선형 결합 값을 추출하여, 이 빨간색 사각형이 이미지 전제를 돌면서 픽셀값을 추출하여 이미지 Feature를 추출해 내는 Weight를 학습시켜 데이터를 효율적으로 처리하는 기능을 수행할 수 있다.
ROI(Region Of Interest) 풀링 레이어(ROI pooling-layer)(500b)는 피쳐 사이즈(Feature Size)를 2 × 2 사각형이 두 칸씩 이동하며 그 사각형 안에서 가장 큰 값을 추출하거나 사각형 안의 픽셀 값과 평균 픽셀 값을 추론하여 학습 파라미터를 줄여주는 기능을 수행할 수 있다.
피쳐 맵 레이어(feature map-layer)(500a) 및 ROI(Region Of Interest) 풀링 레이어(ROI pooling-layer)(500b) 각각에 의해 수행되는 기능은 동시에 또는 전후를 변경하여 순차적으로 수행될 수 있다.
분류 레이어(Classfication-layer)(500c)는 식생 모니터링을 위한 하이퍼스펙트럴 영상의 식생지수 평가를 통해서 생물물리학적 특성을 분석할 수 있다.
보다 구체적으로, 분류 레이어(Classfication-layer)는 하이퍼스펙트럴 영상의 특징인 좁은 파장대의 분광 정보를 가진 하이퍼스펙트럴 밴드를 통해 생태계의 생물물리학적 특성을 분석할 수 있으며, 본 발명에서는 다양한 식생 분석에 활용될 수 있는 HVI(Hyperspectral Vegetation Index)를 평가할 수 있다.
분류 레이어(Classfication-layer)가 수행하는 좁은 파장대의 정보를 가진 하이퍼스펙트럴 영상 밴드를 활용하는 HVI은 하기의 수학식 1로 연산될 수 있다.
여기 Rj, Ri는 하이퍼스펙트럴 영상 밴드 j와 영상 밴드 i 각각의 밝기값이고 j와 i의 값은 해당 밴드의 분광 파장대의 중심값을 말한다.
하이퍼스펙트럴 영상의 각 밴드는 다양한 식생의 생물물리학적 특성과 연관된 분광 정보를 포함하고 있기 때문에 HVI의 분석을 위한 밴드 i와 j의 선택이 중요하다.
한편, 출력 레이어(output-layer)(500d)는 분류 레이어(Classfication-layer)(500c)에 의해 식생 모니터링을 위한 하이퍼스펙트럴 영상 또는 하이브리드 하이퍼스펙트럴 영상의 식생지수 평가를 통해서 생물물리학적 특성에 따른 식물 분류 정보와 식물 분류 정보에 해당하는 각 영역의 좌표 범위에 대한 추출이 완료되면, 빅데이터 기반으로 데이터베이스에 저장된 각 식물 분류 정보에 따른 각 식물의 시간이 지남에 따라 생성되는 각 식물의 변화 구성요소로 하이퍼스펙트럴 식물 변화 구성요소와 RGB 영상 데이터 구성요소를 추출한 뒤, 추출된 변화 구성요소에 대한 머신러닝 알고리즘을 통해 시간에 따라 생성되는 RGB 비디오 데이터 및 하이퍼스펙트럴 영상을 각 기간(주, 달, 년 단위, 계절 단위 등) 별로 생성한 뒤, 생성된 RGB 비디오 데이터 및 하이퍼스펙트럴 영상을 네트워크(400)를 통해 관리자 단말로 전송함으로써, 시간이 지나면서 생기는 RGB 비디오 데이터를 통해 각 식물의성장과 각 성장에 따른 각 식물의 변화 구성요소로 잎, 꽃, 가지 등의 하이퍼스펙트럴 영상 변화를 제공하여, 각 식물의 변화 구성요소에 따른 가상의 영상 데이터와 현실의 영상 데이터의 비교에 따른 식물 관리에 도움을 줄 수 있다.
이를 위해 출력 레이어(output-layer)(500d)는 빅데이터로 데이터를 수집할 뿐만 아니라 AI 기술인 머신러닝 알고리즘으로 결정 트리(DT, Decision Tree) 분류 알고리즘, 랜덤 포레스트 분류 알고리즘, SVM(Support Vector Machine) 분류 알고리즘 중 하나를 활용하여 식물의 변화 구성요소 정보를 자가 학습할 수 있다.
출력 레이어(output-layer)(500d)는 2개 이상의 식물의 변화 구성요소 간의 복수의 특징 정보를 추출하고, 추출된 특징 정보를 복수의 머신러닝 알고리즘 중 적어도 하나 이상을 이용하여 학습하여 학습한 결과로 추가 검증 결과 데이터를 도출할 수 있다.
즉 출력 레이어(output-layer)(500d)는 머신러닝 알고리즘 또는 빅데이터에 의해 생성되는 각 복수의 식물의 변화 구성요소에 대한 형태, 모양, 색채 등의 결과의 정확도 향상을 위해 다수의 상호 보완적인 머신러닝 알고리즘들로 구성된 앙상블 구조를 적용할 수 있다.
결정 트리 분류 알고리즘은 트리 구조로 학습하여 결과를 도출하는 방식으로 결과 해석 및 이해가 용이하고, 데이터 처리 속도가 빠르며 탐색 트리 기반으로 룰 도출이 가능할 수 있다. DT의 낮은 분류 정확도를 개선하기 위한 방안으로 RF를 적용할 수 있다. 랜덤 포레스트 분류 알고리즘은 다수의 DT를 앙상블로 학습한 결과를 도축하는 방식으로, DT보다 결과 이해가 어려우나 DT보다 결과 정확도가 높을 수 있다. DT 또는 RF 학습을 통해 발생 가능한 과적합의 개선 방안으로 SVM을 적용할 수 있다. SVM 분류 알고리즘은 서로 다른 분류에 속한 데이터를 평면 기반으로 분류하는 방식으로, 일반적으로 높은 정확도를 갖고, 구조적으로 과적합(overfitting)에 낮은 민감도를 가질 수 있다.
머신러닝 이후 출력 레이어(output-layer)(500d)는 각 식물의 변화 구성요소에 대해서 분산 저장되는 정제된 데이터인 추가 검증 결과 데이터를 활용해 딥러닝 수행을 수행할 수 있다. 여기서 딥러닝 방식은 출력 레이어(output-layer)(500d)는)에 의한 식물의 변화 구성요소를 분석하여 형성된 각 식물의 변화 구성요소가 적용되는 반복 작업시의 하나의 전체 프로세스에 소요되는 시간인 사이클 타임(Cycle time)과, 최대 시간인 택트 타임(Tact time)의 감소를 최소화하는 방식으로프로그램의 변환 및 적용에 따라 업그레이드되어 수행할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
1 : 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템
100 : 영상 획득장치부 200 : 센싱장치부
300 : LED 조명부 400 : 네트워크
500 : 학습데이터 서버
500a : 피쳐 맵 레이어(feature map-layer)
500b : ROI(Region Of Interest) 풀링 레이어(ROI pooling-layer)
500c : 분류 레이어(Classfication-layer)
500d : 출력 레이어(output-layer)
100 : 영상 획득장치부 200 : 센싱장치부
300 : LED 조명부 400 : 네트워크
500 : 학습데이터 서버
500a : 피쳐 맵 레이어(feature map-layer)
500b : ROI(Region Of Interest) 풀링 레이어(ROI pooling-layer)
500c : 분류 레이어(Classfication-layer)
500d : 출력 레이어(output-layer)
Claims (5)
- 영상 획득장치부(100), 센싱장치부(200), LED 조명부(300), 네트워크(400) 및 학습데이터 서버(500)를 포함하는 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템(1)에 있어서,
영상 획득장치부(100)는,
엽채류 및 열매채소, 줄기채소, 뿌리채소, 과일을 포함하는 식물로부터 생장정보 모니터링을 위한 RGB 비디오 데이터를 수집하는 비디오 데이터 수집부(110); 및
반사광 및 형광 산란 이미지를 취득하는 하이퍼스펙트럴 이미지 수집부(120); 를 포함하며,
비디오 데이터 수집부(110)는,
생장정보 모니터링을 위한 RGB 비디오 데이터를 획득하며, 하이퍼스펙트럴 이미지 수집부(120)는 조절 가능한 갠트리 크레인, 조명(QTH 또는 QTH/펄스 제논 혼합형), VNIR, NIR, SWIR 스펙트럼 범위에서 작동하는 하이퍼스펙트럴 센서(hyperspectral sensor)로 형성됨으로써, 갠트리 크레인과 조명에 대한 조절에 따라 하이퍼스펙트럴 센서(hyperspectral sensor)에 의해 수집된 스펙트럼에 대해서 식물로부터 반사된 조명 스펙트럼과 물체의 스펙트럼을 분리하여 네트워크(400)를 통해 학습데이터 서버(500)로 제공하여, 학습데이터 서버(500)에 의해 사물 본연의 광학적(radiometric), 기하학적(geometric) 특성을 파악하여 초분광 영상에 해당하는 하이퍼스펙트럴 영상과 RGB 비디오 영상을 통하여 미리 설정된 파장대의 분광 정보를 가진 하이퍼스펙트럴 밴드를 통해 생물의 물리학적 특성을 분석할 수 있도록 하며,
영상 획득장치부(100)는,
동일한 스펙트럴 시그널에도 하이퍼스펙트럴 이미지 수집부(120)의 하이퍼스펙트럴 센서(hyperspectral sensor)에 따라 다른 스펙트럴 민감도를 갖는데, 동일한 촬영 좌표 영역에 대해서 비디오 데이터 수집부(110)에 의해 수집한 RGB 비디오 데이터 상의 RGB 측정값(RGB measurements)의 좌표 영역과 매칭시켜서 함께 저장한 뒤, 네트워크(400)를 통해 학습데이터 서버(500)로 제공하는 하이브리드 하이퍼스펙트럴 영상을 생성하는 프레임워크를 포함하며,
각 촬영 영역 별로 촬영 영역의 중앙을 향하는 4방향(동,서,남,북)에서 비디오 데이터 수집부(110) 및 하이퍼스펙트럴 이미지 수집부(120)가 쌍(pair)으로 4개가 형성되고, 4개 각각에서 하이브리드 하이퍼스펙트럴 영상이 생성되면, 4개의 하이브리드 하이퍼스펙트럴 영상을 하나의 영상 품질 영상 추출 단위로, 하나의 촬영 영역에서 하나의 단위에 해당하는 영상 획득을 수행하는 경우, 각기 촬영된 하이브리드 하이퍼스펙트럴 영상의 4개의 초점위치와 초점수를 결정하며,
결정된 4개의 초점위치와 초점수에 대응하는 4개의 하이브리드 하이퍼스펙트럴 영상이 획득되면, 4개 하이브리드 하이퍼스펙트럴 영상에 대한 4개의 초점거리를 연산하고, 연산된 4개의 초점거리에 반비례하는 4개의 깊이값을 연산하고,
4개의 깊이값에 따라 4개 하이브리드 하이퍼스펙트럴 영상을 합성한 뒤, 4개의 하이브리드 하이퍼스펙트럴 영상 중, 이웃하는 2개의 하이브리드 하이퍼스펙트럴 영상 간의 영시차(Zero Parallax) 영상 데이터를 추출하고, 추출된 영시차 영상 데이터와, 양시차(Positive Parallax) 영상 데이터 및 음시차(Negative Parallax) 영상 데이터 각각을 확인하고, 상기 확인된 영시차를 기준으로 적어도 하나 이상의 양시차 영상 데이터에 대한 시차각을 기반으로 양시차 방향 픽셀 이동 정보를 확인하고, 확인된 영시차를 기준으로 적어도 하나 이상의 음시차 영상 데이터에 대한 시차각을 기반으로 음시차 방향 픽셀 이동 정보를 확인하며,
확인된 양시차 방향 픽셀 이동 정보를 각 픽셀을 구성하는 3차원 이미지인 폴리곤 단위에 대한 적어도 하나 이상의 양시차 영상 데이터에 적용하고, 확인된 음시차 방향 픽셀 이동 정보를 적어도 하나 이상의 음시차 영상 데이터에 적용하여 3차원 입체 이미지를 생성함으로써, 3차원 입체 이미지를 기초로 기저장된 대조 표본 3차원 입체 이미지와의 비교를 통해 오차 범위 내에서 일치하는지 여부를 분석하여 고해상도의 하이브리드 하이퍼스펙트럴 영상을 생성하여 네트워크(400)를 통해 학습데이터 서버(500)로 제공하며,
센싱장치부(200)는,
CO2, EC(Electric Conductivity), pH, 조도, 광량, 온습도 센서를 포함하는 각 단위 센서로부터 수집된 CO2, EC(Electric Conductivity), pH, 조도, 광량, 온습도 센싱데이터로 이루어진 센싱데이터 그룹을 수집하며,
LED 조명부(300)는,
생장정보 학습을 통한 LED 조명을 제어하기 위해 형성되며,
학습데이터 서버(500)는,
영상 획득장치부(100), 센싱장치부(200), LED 조명부(300)와 네트워크(400)를 통해 유무선 방식으로 연결되고, 각각의 식물별로 구분지어진 학습 이미지 데이터를 생성하며,
영상 획득장치부(100)로부터 제공된 영상 데이터와, 센싱장치부(200)로부터 제공된 센싱데이터를 분석하여 각 식물별로 구분지어진 학습 이미지 데이터를 생성하고, 생성된 학습 이미지 데이터에 따라 LED 조명부(300)를 포함하는 제어 장치에 대한 개별적인 제어를 수행하며,
비디오 데이터 및 하이퍼스펙트럴 이미지의 정형 데이터 및 비정형 데이터를 이용해 배양 영역별 이상 여부 판별 및 식물생장 정보를 획득시 센싱장치부(200)로부터 제공된 센싱데이터에 해당하는 복수의 파라미터값을 이용하며,
비디오 데이터 및 하이퍼스펙트럴 이미지 내 미리 분류된 식물의 위치 정보를 X,Y 좌표값과 해당 식물의 크기인 width(폭) 및 height(높이) 값을 레이블 정보를 이용해 학습을 처리하며, 각 파라미터에 따라 정보를 처리하는 피쳐 맵 레이어(feature map-layer)(500a), ROI(Region Of Interest) 풀링 레이어(ROI pooling-layer)(500b), 분류 레이어(Classfication-layer)(500c)를 포함하며,
피쳐 맵 레이어(feature map-layer)(500a)는,
하이브리드 하이퍼스펙트럴 영상 등과 같은 입력 이미지(Input image)가 제공시 3 × 3 사각형 Field가 돌아가면서 해당 사각형 안에 있는 픽셀 값과 미리 설정된 각 식물의 특성값인 Weight의 선형 결합 값을 추출하여, 상기 해당 사각형이 이미지 전제를 돌면서 픽셀값을 추출하여 이미지 Feature를 추출해 내는 Weight를 학습시켜 데이터를 처리하는 기능을 수행하며,
ROI(Region Of Interest) 풀링 레이어(ROI pooling-layer)(500b)는,
피쳐 사이즈(Feature Size)를 2 × 2 사각형이 두 칸씩 이동하며 그 사각형 안에서 가장 큰 값을 추출하거나 사각형 안의 픽셀 값과 평균 픽셀 값을 추론하여 학습 파라미터를 줄여주는 기능을 수행하며,
피쳐 맵 레이어(feature map-layer)(500a) 및 ROI(Region Of Interest) 풀링 레이어(ROI pooling-layer)(500b) 각각에 의해 수행되는 기능은 동시에 또는 전후를 변경하여 순차적으로 수행되며,
분류 레이어(Classfication-layer)(500c)는,
식생 모니터링을 위한 하이퍼스펙트럴 영상의 식생지수 평가를 통해서 생물물리학적 특성을 분석하며, 분류 레이어(Classfication-layer)는 하이퍼스펙트럴 영상의 특징인 미리 설정된 파장대의 분광 정보를 가진 하이퍼스펙트럴 밴드를 통해 생태계의 생물물리학적 특성을 분석할 수 있도록 하며, 복수의 식생 분석에 활용될 수 있는 HVI(Hyperspectral Vegetation Index)를 평가하는데 사용하며,
분류 레이어(Classfication-layer)가 수행하는 미리 설정된 파장대의 정보를 가진 하이퍼스펙트럴 영상 밴드를 활용하는 HVI은로 연산하며, Rj, Ri는 하이퍼스펙트럴 영상 밴드 j와 영상 밴드 i 각각의 밝기값이고 j와 i의 값은 해당 밴드의 분광 파장대의 중심값을 의미하며, 하이퍼스펙트럴 영상의 각 밴드는 복수의 식생의 생물물리학적 특성과 연관된 분광 정보를 포함하고 있기 때문에 HVI의 분석을 위한 밴드 i와 j의 선택을 수행하는 것을 특징으로 하는 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템.
- 청구항 1에 있어서, 학습데이터 서버(500)는,
분류 레이어(Classfication-layer)(500c)에 의해 식생 모니터링을 위한 하이퍼스펙트럴 영상 또는 하이브리드 하이퍼스펙트럴 영상의 식생지수 평가를 통해서 생물물리학적 특성에 따른 식물 분류 정보와 식물 분류 정보에 해당하는 각 영역의 좌표 범위에 대한 추출이 완료되면, 빅데이터 기반으로 데이터베이스에 저장된 각 식물 분류 정보에 따른 각 식물의 시간이 지남에 따라 생성되는 각 식물의 변화 구성요소로 하이퍼스펙트럴 식물 변화 구성요소와 RGB 영상 데이터 구성요소를 추출한 뒤, 추출된 변화 구성요소에 대한 머신러닝 알고리즘을 통해 시간에 따라 생성되는 RGB 비디오 데이터 및 하이퍼스펙트럴 영상을 각 기간(주, 달, 년 단위, 계절 단위 등) 별로 생성한 뒤, 생성된 RGB 비디오 데이터 및 하이퍼스펙트럴 영상을 네트워크(400)를 통해 관리자 단말로 전송함으로써, 시간이 지나면서 생기는 RGB 비디오 데이터를 통해 각 식물의성장과 각 성장에 따른 각 식물의 변화 구성요소로 잎, 꽃, 가지를 포함하는 하이퍼스펙트럴 영상 변화를 제공하여, 각 식물의 변화 구성요소에 따른 가상의 영상 데이터와 현실의 영상 데이터의 비교에 따른 식물 관리에 도움을 주는 출력 레이어(output-layer)(500d); 를 더 포함하는 것을 특징으로 하는 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템.
- 청구항 2에 있어서, 출력 레이어(output-layer)(500d)는,
2개 이상의 식물의 변화 구성요소 간의 복수의 특징 정보를 추출하고, 추출된 특징 정보를 복수의 머신러닝 알고리즘 중 적어도 하나 이상을 이용하여 학습하여 학습한 결과로 추가 검증 결과 데이터를 도출하는 것을 특징으로 하는 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템.
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210010360A KR102297913B1 (ko) | 2021-01-25 | 2021-01-25 | 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210010360A KR102297913B1 (ko) | 2021-01-25 | 2021-01-25 | 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102297913B1 true KR102297913B1 (ko) | 2021-09-06 |
Family
ID=77782286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210010360A KR102297913B1 (ko) | 2021-01-25 | 2021-01-25 | 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102297913B1 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102397375B1 (ko) * | 2021-10-28 | 2022-05-12 | 애프터레인 주식회사 | 인공지능을 이용한 통합 식물관리시스템 |
| CN114490944A (zh) * | 2022-02-10 | 2022-05-13 | 杭州绿图信息科技有限公司 | 一种植物信息的批量化图示生成方法 |
| CN115326773A (zh) * | 2022-09-07 | 2022-11-11 | 南开大学 | 一种基于暗场-高光谱成像的植物根系土壤纳米胶体相互作用可视化的方法 |
| KR20230097603A (ko) | 2021-12-24 | 2023-07-03 | 순천대학교 산학협력단 | 스마트온실 레일 촬영 장치와 영상수집 방법 |
| KR102597253B1 (ko) * | 2023-07-09 | 2023-11-06 | 주식회사 성호에스아이코퍼레이션 | 영상을 기반으로 한 작물재배 생육 플랫폼 구축을 통한스마트 팜 시스템 |
| WO2024101592A1 (ko) * | 2022-11-09 | 2024-05-16 | 주식회사 아비넨 | 딥러닝을 이용한 작물 생장률 모니터링 시스템 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140059883A (ko) * | 2012-11-08 | 2014-05-19 | 재단법인대구경북과학기술원 | 식물 생장 모니터링 시스템 |
| KR20180058049A (ko) * | 2016-11-23 | 2018-05-31 | 세종대학교산학협력단 | 작물의 병해충 진단 장치 및 방법 |
| KR20190084149A (ko) * | 2017-12-19 | 2019-07-16 | 전자부품연구원 | 식물 생장 모니터링 장치 및 방법 |
| KR20200049369A (ko) * | 2018-10-31 | 2020-05-08 | (주)카탈로닉스 | 식물 생육 장치 및 그 제어 방법 |
-
2021
- 2021-01-25 KR KR1020210010360A patent/KR102297913B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140059883A (ko) * | 2012-11-08 | 2014-05-19 | 재단법인대구경북과학기술원 | 식물 생장 모니터링 시스템 |
| KR20180058049A (ko) * | 2016-11-23 | 2018-05-31 | 세종대학교산학협력단 | 작물의 병해충 진단 장치 및 방법 |
| KR20190084149A (ko) * | 2017-12-19 | 2019-07-16 | 전자부품연구원 | 식물 생장 모니터링 장치 및 방법 |
| KR20200049369A (ko) * | 2018-10-31 | 2020-05-08 | (주)카탈로닉스 | 식물 생육 장치 및 그 제어 방법 |
Non-Patent Citations (4)
| Title |
|---|
| 대한민국 특허출원 출원번호 제10-2007-0099519(2007.10.02)호 "초분광 이미지 시스템을 이용하는 정량적 세포 분석방법(A quantitative method for cellular assays based on hyperspectral imaging system)" |
| 대한민국 특허출원 출원번호 제10-2012-0104667(2012.09.20)호 "라만 분광법 및 케모메트릭스를 이용한 식물의 바이러스 감염에 대한 분석방법(Methods for Assessing Virus Infections against a Plant using Raman Spectroscopy and Chemometrics)" |
| 대한민국 특허출원 출원번호 제10-2019-7009605(2017.09.06)호 "이미지로부터의 초분광 데이터 복원(RECOVERY OF HYPERSPECTRAL DATA FROM IMAGE)" |
| 대한민국 특허출원 출원번호 제10-2019-7012777(2017.10.09)호 "식물 재배 장치 및 방법(PLANT GROWING APPARATUS AND METHOD)" |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102397375B1 (ko) * | 2021-10-28 | 2022-05-12 | 애프터레인 주식회사 | 인공지능을 이용한 통합 식물관리시스템 |
| KR20230097603A (ko) | 2021-12-24 | 2023-07-03 | 순천대학교 산학협력단 | 스마트온실 레일 촬영 장치와 영상수집 방법 |
| CN114490944A (zh) * | 2022-02-10 | 2022-05-13 | 杭州绿图信息科技有限公司 | 一种植物信息的批量化图示生成方法 |
| CN115326773A (zh) * | 2022-09-07 | 2022-11-11 | 南开大学 | 一种基于暗场-高光谱成像的植物根系土壤纳米胶体相互作用可视化的方法 |
| WO2024101592A1 (ko) * | 2022-11-09 | 2024-05-16 | 주식회사 아비넨 | 딥러닝을 이용한 작물 생장률 모니터링 시스템 |
| KR102597253B1 (ko) * | 2023-07-09 | 2023-11-06 | 주식회사 성호에스아이코퍼레이션 | 영상을 기반으로 한 작물재배 생육 플랫폼 구축을 통한스마트 팜 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102297913B1 (ko) | 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템 및 그 방법 | |
| Sun et al. | Three-dimensional photogrammetric mapping of cotton bolls in situ based on point cloud segmentation and clustering | |
| JP6921095B2 (ja) | 航空画像を収集及び分析するための方法 | |
| Di Gennaro et al. | A low-cost and unsupervised image recognition methodology for yield estimation in a vineyard | |
| Wendel et al. | Maturity estimation of mangoes using hyperspectral imaging from a ground based mobile platform | |
| Tsouros et al. | Data acquisition and analysis methods in UAV-based applications for Precision Agriculture | |
| Amatya et al. | Detection of cherry tree branches with full foliage in planar architecture for automated sweet-cherry harvesting | |
| Calou et al. | The use of UAVs in monitoring yellow sigatoka in banana | |
| Rasti et al. | A survey of high resolution image processing techniques for cereal crop growth monitoring | |
| Pothen et al. | Automated assessment and mapping of grape quality through image-based color analysis | |
| Diago et al. | On‐the‐go assessment of vineyard canopy porosity, bunch and leaf exposure by image analysis | |
| Muppala et al. | Machine vision detection of pests, diseases and weeds: A review | |
| Wouters et al. | Multispectral detection of floral buds for automated thinning of pear | |
| Liu et al. | Recognition and localization of actinidia arguta based on image recognition | |
| de Castro Pereira et al. | Detection and classification of whiteflies and development stages on soybean leaves images using an improved deep learning strategy | |
| Bleasdale et al. | Feasibility of detecting apple scab infections using low-cost sensors and interpreting radiation interactions with scab lesions | |
| Sun et al. | 3D computer vision and machine learning based technique for high throughput cotton boll mapping under field conditions | |
| Negrete | Artificial vision in Mexican agriculture, a new techlogy for increase food security | |
| Balram et al. | Crop field monitoring and disease detection of plants in smart agriculture using internet of things | |
| Negrete | Artificial vision in mexican agriculture for identification of diseases, pests and invasive plants | |
| LeBauer et al. | What Does TERRA-REF's High Resolution, Multi Sensor Plant Sensing Public Domain Data Offer the Computer Vision Community? | |
| Pal et al. | Design IoT-Based Smart Agriculture to Reduce Vegetable Waste by Computer Vision and Machine Learning | |
| Kalmukov et al. | Methods for Automated Remote Sensing and Counting of Animals | |
| Rocha IV et al. | Philippine carabao mango pest identification using convolutional neural network | |
| Frederick et al. | Classifying adaxial and abaxial sides of diseased citrus leaves with selected hyperspectral bands and YOLOv8 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |