KR20180055604A - Apparatus for diagnosing growth state of crop organ using crop organ image - Google Patents

Apparatus for diagnosing growth state of crop organ using crop organ image Download PDF

Info

Publication number
KR20180055604A
KR20180055604A KR1020160153632A KR20160153632A KR20180055604A KR 20180055604 A KR20180055604 A KR 20180055604A KR 1020160153632 A KR1020160153632 A KR 1020160153632A KR 20160153632 A KR20160153632 A KR 20160153632A KR 20180055604 A KR20180055604 A KR 20180055604A
Authority
KR
South Korea
Prior art keywords
crop
temperature
image
plant
growth
Prior art date
Application number
KR1020160153632A
Other languages
Korean (ko)
Other versions
KR101912651B1 (en
Inventor
김희곤
김효중
황인택
손동모
윤봉기
김현우
Original Assignee
전라남도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전라남도 filed Critical 전라남도
Priority to KR1020160153632A priority Critical patent/KR101912651B1/en
Publication of KR20180055604A publication Critical patent/KR20180055604A/en
Application granted granted Critical
Publication of KR101912651B1 publication Critical patent/KR101912651B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G9/00Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
    • A01G9/14Greenhouses
    • A01G9/143Equipment for handling produce in greenhouses
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G9/00Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
    • A01G9/24Devices or systems for heating, ventilating, regulating temperature, illuminating, or watering, in greenhouses, forcing-frames, or the like
    • A01G9/247Watering arrangements
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G9/00Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
    • A01G9/24Devices or systems for heating, ventilating, regulating temperature, illuminating, or watering, in greenhouses, forcing-frames, or the like
    • A01G9/26Electric devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48Thermography; Techniques using wholly visual means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48Thermography; Techniques using wholly visual means
    • G01J5/485Temperature profile
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02Agriculture; Fishing; Forestry; Mining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G01J2005/0085
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/25Greenhouse technology, e.g. cooling systems therefor

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Mining & Mineral Resources (AREA)
  • Animal Husbandry (AREA)
  • Agronomy & Crop Science (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Radiation Pyrometers (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

According to an embodiment of the present invention, a plant growth diagnosis device using a plant image comprises: a communications unit for receiving a crop image; a display unit for displaying crop growth state information; and a control unit for diagnosing a crop growth state by measuring a crop growth level by using the crop image, and displaying the crop growth state on the display unit. The control unit initiates a crop thermal image photographing and a crop color plane image photographing according to user setting information, collects a temperature sheet and a crop color plane image of a crop thermal image having a temperature value for each thermal image pixel corresponding to a photographed crop thermal image and a thermal image resolution being used, matches the viewing angle reference point between the crop thermal image and the crop color plane image to match the viewing angle, and maps the mapped image to a temperature sheet of the crop thermal image to detect the temperature per pixel of the distribution area of the crop organ for each setting crop organ, thereby identifying the temperature of the crop organ in real time and detecting the abnormality of the crop in real time according to the temperature for each crop organ. By detecting whether or not a plant is abnormal in real time according to the temperature of each crop organ, the temperature of the crop organ is automatically identified by an unmanned vehicle, and the abnormality symptom of the crop is checked in real time. Thus, it is possible to perform growth management.

Description

작물 영상을 사용한 작물 생육 진단 장치{Apparatus for diagnosing growth state of crop organ using crop organ image}[0001] The present invention relates to a crop growth diagnostic apparatus using a crop image,

본 명세서에 개시된 내용은 작물의 영상 정보를 사용하거나 작물의 영상 정보와 더불어 온도 정보를 사용해서 작물의 생육 상태를 진단하는 장치에 관한 것이다.The present disclosure relates to an apparatus for diagnosing a growth state of a crop by using image information of a crop or by using temperature information in addition to image information of a crop.

본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
Unless otherwise indicated herein, the contents set forth in this section are not prior art to the claims of this application and are not to be construed as prior art to be included in this section.

일반적으로, 작물의 생장과 생장 및 생산성은 S곡선을 그리며, 작물의 생장은 씨앗이 발아하여 뿌리·줄기·잎을 내며, 그 후 광합성이나 질소 동화를 하면서 점차 크기와 무게를 더해가는 과정으로 환경적 요인에 따라 차이가 발생하고, 생장의 차이에 따라 생산성의 차이가 발생한다.Generally, the growth, growth and productivity of crops are represented by S curves. The growth of crops is rooted, seeded, and leafed with seeds, and then gradually increasing in size and weight while carrying out photosynthesis and nitrogen assimilation. There is a difference depending on the enemy factors, and there is a difference in productivity depending on the difference in growth.

이와 같이 생산량은 재배장소의 형태, 환경조건 등에 따라 작물의 생육상태에 차이가 있으며, 매년 월별 일조시간의 차이와 평균온도 변화에 따라 특히, 가지과 작물인 토마토의 예로 분석하여 볼 때 매년 생산량과 가격의 차이가 발생하고 있고, S곡선과 유사한 계단식 S곡선을 나타낸다. The production amount varies depending on the type of cultivation place, environmental conditions, etc., and it is analyzed as an example of tomatoes, which are branches and crops, according to the difference of sunshine hours and the average temperature change every month, , And shows a stepped S curve similar to the S curve.

따라서, 이러한 점을 해결할 수 있도록 작물의 품질과 생산성을 관리하는 것이 필요하다. Therefore, it is necessary to manage the quality and productivity of crops in order to solve these problems.

그래서, 이러한 필요를 해결할 수 있도록, 작물의 영상을 사용하여 작물 생육 상태를 진단하는 장치가 개발되었다(선행문헌 참조, 선행문헌: 대한민국 출원번호 제10-2010-0117078호, 발명의 명칭 "작물 생장 관측 방법 및 이를 위한 시스템").Therefore, in order to solve such a need, a device for diagnosing the growth condition of a crop using an image of a crop has been developed (refer to a prior art document, Korean Patent Application No. 10-2010-0117078, entitled " Observation method and system for this ").

이에 더하여, 온도를 사용해서 작물 생육 상태를 진단하는 장치가 개발되었다.In addition, a device has been developed to diagnose crop growth using temperature.

현재의 기존 방식은 열화상 카메라 촬영 후 영상이미지를 카메라업체에서 제공한 소프트웨어(S/W)를 가지고 작업자가 작물의 영상이미지를 육안으로 확인하면서 부위별 온도를 측정한다. The current method uses the software (S / W) provided by the camera manufacturer to image the image after taking a thermal camera, and the operator measures the temperature of each part while checking the image of the crop with the naked eye.

그리고, 기존 방식은 열화상 카메라에 내장된 실화상과 온도쉬트를 이용해 열화상 이미지를 나타내고 사용자가 원하는 부위의 온도를 검출한다.The conventional method uses a real image and a temperature sheet embedded in a thermal imaging camera to display a thermal image and detects the temperature of a site desired by the user.

즉, 기존의 작물 부위별 온도식별법은 열화상 카메라로 촬영한 이미지를 카메라업체에서 제공하는 소프트웨어를 통해서 사람에 의해 작물부위를 선택함으로써 작물기관의 온도를 검출한다. In other words, the conventional temperature identification method of the crop part detects the temperature of the crop plant by selecting the crop area by the person through the software provided by the camera company for the image photographed by the thermal camera.

개시된 내용은, 열화상 카메라로 촬영한 이미지를 카메라업체에서 제공하는 소프트웨어를 통해서 사람에 의해 작물부위를 선택함으로써 작물기관의 온도를 검출하는 점을 해결해서, 작물기관별 온도에 따라 작물의 이상 여부를 실시간 검출함으로, 작물기관별 온도를 무인으로 자동식별하여 작물의 이상징후를 실시간 파악해서 생장 관리할 수 있도록 하는 작물 영상을 사용한 작물 생육 진단 장치를 제공하고자 한다.The disclosed contents solve the problem of detecting the temperature of a crop plant by selecting a crop area by a person through a software provided by a camera company, and detecting whether or not the crop is abnormal according to the temperature per crop plant The present invention is to provide a crop growth diagnostic apparatus using a crop image that can automatically detect the temperature of each crop plant unattended and detect the abnormality of a crop in real time and manage the growth.

실시예에 따른 작물 영상을 사용한 작물 생육 진단 장치는,The apparatus for diagnosing crop growth using a crop image according to an embodiment includes:

작물 열화상과 사용 중인 열화상 해상도에 대응하는 열화상 픽셀별 온도값을 가진 작물 열화상의 온도쉬트 및 작물 색채평면 영상 구체적으로는, RGB 영상을 수집해서, 상기 작물 열화상 영상과 작물 색채평면 영상 간에 화각 기준점을 일치시켜 화각을 맞추고 매핑한 영상을 상기 작물 열화상의 온도쉬트에 매핑해서 설정 작물기관마다 작물기관 분포영역의 면적 픽셀별 온도를 검출하여 작물기관별 온도를 식별해서, 상기 작물기관별 온도에 따라 작물의 이상 여부를 실시간 검출함으로, 작물기관별 온도를 무인으로 자동식별하여 작물의 이상징후를 실시간 파악해서 생장 관리하는 것을 특징으로 한다.A crop degradation phase temperature sheet and a crop color plane image having a temperature value per thermal image pixel corresponding to the crop thermal image and the thermal resolution in use. Specifically, the RGB image is collected and the crop thermal image and the crop color plane image The image angle is set to match the angle of view reference point, and the mapped image is mapped to the thermosetting image of the crop deterioration phase to detect the temperature per area pixel of the crop organ distribution area for each crop organ to identify the temperature per crop plant, Accordingly, it is possible to automatically detect the abnormality of a crop in an unmanned manner by detecting the abnormality of the crop in real time, thereby realizing an abnormal symptom of the crop in real time and managing the growth.

실시예들에 의하면, 현재의 기존 방식은 열화상 카메라 촬영 후 영상이미지를 카메라업체에서 제공한 소프트웨어(S/W)를 가지고 작업자가 작물의 영상이미지를 육안으로 확인하면서 부위별 온도를 측정하지만 일실시예는 자동으로 촬영하여 작물부위별 온도를 데이터베이스(DB)에 저장하고 분석한다.According to the embodiments, the present conventional method has a software (S / W) provided by a camera maker after capturing an image of an infrared camera, and an operator visually observes the image of the crop, The embodiment automatically captures and stores the temperature for each crop part in a database (DB) and analyzes it.

그리고, 기존 방식은 열화상 카메라에 내장되어 있는 실화상과 온도쉬트를 이용해 열화상 이미지를 보여주고 사용자가 원하는 부위의 온도를 추출한다.In the conventional method, a thermal image is displayed by using a real image and a thermoset, which are built in a thermal imaging camera, and the user extracts the temperature of the desired site.

반면, 일실시예는 작물기관별 온도에 따라 작물의 이상 여부를 실시간 검출함으로, 작물기관별 온도를 무인으로 자동식별하여 작물의 이상징후를 실시간 파악해서 생장 관리한다.On the other hand, one embodiment detects the abnormality of the crop in real time according to the temperature of each plant, so that the temperature per crop plant is automatically identified as unattended, and the abnormality of the crop is detected in real time.

이를 통해, 토마토 등과 같은 농작물의 개별적인 작물기관별 생장점 부위엽과 주변 기온, 상위엽으로부터 2~3엽, 과일온도와 주변 기온, 군락 전체의 온도 분포를 군락에서 열화상 이미지로 자동추출함으로써 과실 수확량 예측과 생리장애를 진단한다.The results of this study were as follows: (1) The fruit and vegetable temperature of the crops such as tomatoes and the surrounding temperature and the temperature distribution of the fruit temperature and ambient temperature, Diagnose physiological disorders.

더불어, 작물기관 중 어느 하나인 엽 온도를 무인으로 자동식별하여 설정 편차 이상 차이가 난 군락이나 지점이 있는 경우 농가의 이동 통신 단말기로 경보 알람함으로, 신호 알람을 받은 농장주는 온실의 해당지점 관수장치를 점검하고 수리해서 온실의 재배처리스템 이상 유무를 초기에 파악하여 조치함으로써 온실의 사고를 최소화한다. In addition, it automatically identifies leaf temperature, which is one of the crop plants, to be unattended, and alarms to the mobile communication terminal of the farmer when there is a cluster or a point with a deviation of set deviation or more. To minimize the accidents in the greenhouse by identifying and repairing the abnormality in the stem of the greenhouse processing stem.

또한, 작물기관별 ID(Identification)를 부여하고, 이를 사용해서 작물 상태 진단시마다 동일 작물 기관을 추적하여 동일 작물기관별로 온도 변화량을 비교해서 쉽게 온도변화추이를 추적하고 작물기관 생육 상태 정보를 관리하며, 동일 작물기관별로 수확시까지 기간별과 작물기관별 연속적인 모니터링을 수행하여 작물 상태 진단을 효율적으로 한다.In addition, ID (Identification) is assigned to each crop, and the same crop plant is traced each time the crop condition is diagnosed. The temperature change is easily compared with the same crop plant to track the temperature change trend, Continuous monitoring is performed by period and by each crop until the harvest by the same crop plant, so that the diagnosis of the crop condition is made efficient.

도 1은 일실시예에 따른 작물 영상을 사용한 작물 생육 진단 장치의 구성을 도시한 도면
도 2는 일실시예에 따른 작물 영상을 사용한 작물 생육 진단 장치의 동작을 순서대로 도시한 도면
도 3은 일실시예에 따른 작물 영상을 사용한 작물 생육 진단 장치의 다른 예 동작을 순서대로 도시한 도면
도 4는 일실시예에 따른 엽 온도 검출 방법을 설명하기 위한 도면
도 5는 일실시예에 따른 엽 온도 검출 방법을 사용한 관수 장치 점검을 설명하기 위한 도면
1 is a view showing a configuration of a crop growth diagnosis apparatus using a crop image according to an embodiment
FIG. 2 is a view showing an operation of a crop growth diagnosis apparatus using a crop image according to an embodiment in order;
FIG. 3 is a view showing another example of the operation of the crop growth diagnosis apparatus using the crop image according to an embodiment in order;
4 is a view for explaining a leaf temperature detection method according to an embodiment;
5 is a view for explaining an irrigation device inspection using a leaf temperature detection method according to an embodiment;

도 1은 일실시예에 따른 작물 영상을 사용한 작물 생육 진단 장치의 구성을 도시한 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a view showing a configuration of a crop growth diagnosis apparatus using a crop image according to an embodiment. FIG.

도 1에 도시된 바와 같이, 일실시예에 따른 작물 영상을 사용한 작물 생육 진단 장치(400)는 작물의 영상 정보를 사용하거나 작물의 영상 정보와 더불어 온도 정보를 사용해서 작물의 생육 상태를 진단하는 장치로, 군락이나 온실의 작물 관리자 모바일 단말기나 군락이나 온실을 이동하면서 군락이나 온실의 작물을 촬영하는 로봇이나 카메라 장치(부호 100의 제1 카메라부, 부호 200의 제2 카메라부)로부터 군락 작물 열화상 영상이나 작물 색채평면 영상과 온실 작물 열화상 영상과 작물 색채평면 영상을 전송받는 통신부(미도시), 상기 군락이나 온실의 작물 생육 상태 정보를 표시하는 표시부(미도시) 및, 상기 작물 열화상 영상과 작물 색채평면 영상 간에 화각 기준점을 일치시켜 화각을 맞추고 매핑한 영상을 사용 중인 열화상 해상도에 대응하는 열화상 픽셀별 온도값을 가진 작물 열화상의 온도쉬트에 매핑해서 작물기관별 온도를 식별하여 작물기관별 온도에 따라 작물의 이상 여부를 실시간 검출하는 제어부(미도시)를 포함한다.As shown in FIG. 1, a crop growth diagnosis apparatus 400 using a crop image according to an exemplary embodiment of the present invention diagnoses the growth state of a crop using image information of a crop or temperature information in addition to image information of the crop (A first camera part of a reference numeral 100, a second camera part of a reference numeral 200) for photographing a crop of a community or a greenhouse while moving a mobile terminal, a community or a greenhouse, (Not shown) for receiving a thermal image, a crop color plane image, a greenhouse crop thermal image and a crop color plane image, a display unit (not shown) for displaying crop growth status information of the community or the greenhouse, The angle of view is matched by matching the angle of view reference point between the image and the crop color plane image, and the image mapped is matched with the thermal image corresponding to the thermal resolution in use And a control unit (not shown) for detecting the abnormality of the crop in real time according to the temperature of each crop plant by mapping the temperature to the crop degradation phase temperature sheet having the pixel-by-pixel temperature value.

추가로, 일실시예에 따른 작물 생육 진단 장치는 해당 진단 장치와 사용자 간의 인터페이스를 처리하는 사용자 인터페이스(UI) 모듈(미도시)과 데이터 입출력부(미도시) 및 데이터 저장부(미도시)를 포함하고, 부가하여 상기 작물 재배 환경에 상응하는 광도, 온도, 습도, 탄산가스 중 적어도 어느 하나 이상의 환경 데이터를 수집하며, 상기 수집된 데이터는 엽면적 데이터와 더불어 저장하여 작물 품질 예측시 엽면적 증가량의 상관계수로 활용되는 재배환경수집모듈(예: 부호 300의 감지부)을 포함한다.
Further, the crop growth diagnosis apparatus according to an embodiment includes a user interface (UI) module (not shown) for processing an interface between the diagnostic apparatus and the user, a data input / output unit (not shown) and a data storage unit And collects at least one environmental data of at least one of luminosity, temperature, humidity, and carbon dioxide gas corresponding to the crop cultivation environment, and the collected data is stored together with the leaf area data to determine a correlation And a cultivation environment collection module (for example, a sensing section 300) used as a coefficient.

상기 통신부(또는, "유무선 통신부")는 군락의 작물 관리자 모바일 단말기나 군락을 이동하면서 군락의 작물을 촬영하는 로봇 간에 연동하여, 상기 군락의 환경 정보와 작물 영상을 전송받는 것이다. 그리고, 상기 통신부는 제어부의 제어하에, 유선통신과 무선통신을 활용하여, 이미지 센싱을 하고자 하는 장치 예를 들어, 군락 내 작물 간의 이송 로봇이나 카메라 장치와 연동하여 사용한다. 또한, 상기 유선통신은 시리얼통신이나 이더넷 통신 중 어느 하나를 사용하며, 상기 무선통신은 와이파이나 지그비 방식의 무선통신 중 어느 하나를 사용하여 된 것이다.The communication unit (or "wired / wireless communication unit") receives environment information of the community and a crop image in cooperation with a crop manager mobile terminal in a community or a robot that captures a crop of a community while moving in a community. The communication unit uses wired communication and wireless communication under the control of the control unit to interwork with a device for image sensing, for example, a transfer robot between crops in a community or a camera device. Also, the wired communication uses either serial communication or Ethernet communication, and the wireless communication uses one of Wi-Fi and ZigBee wireless communication.

표시부는 군락의 작물 생육 상태 정보를 표시하는 것으로, 즉 상기 제어부의 제어하에, 예를 들어 작물의 생육특성과 생장량이나 상기 생육특성 또는 생장량의 각 통계 데이터를 포함한 작물 생육 상태 정보를 표시한다.The display unit displays crop growth status information of the community, that is, under the control of the control unit, for example, crop growth status information including the growth characteristics of the crop, the growth characteristics, and the growth characteristics or the growth data.

제어부는 촬영시간간격 사용자 설정 정보를 포함한 사용자 설정 정보에 따라 작물 열화상 영상촬영과 작물 색채평면 영상촬영 구체적으로는, RGB 영상촬영을 개시하도록 하고, 더불어 촬영된 작물 열화상과 사용 중인 열화상 해상도에 대응하는 열화상 픽셀별 온도값을 가진 작물 열화상의 온도쉬트 및 작물 색채평면 영상을 수집해서, 상기 작물 열화상 영상과 작물 색채평면 영상 간에 화각 기준점을 일치시켜 화각을 맞추고 즉, RGB 카메라와 열화상 카메라가 각기 해상도와 화각이 다르게 때문에 기준점을 중심으로 두 카메라의 거리와 간격 등 화각을 맞추고 매핑한 영상을 상기 작물 열화상의 온도쉬트에 매핑해서 설정 작물기관마다 작물기관 분포영역의 면적 픽셀별 온도를 검출하여 작물기관별 온도를 식별해서, 상기 작물기관별 온도에 따라 작물의 이상 여부를 실시간 검출하는 것이다. 예를 들어, 상기 제어부는 상기 작물기관별 온도와 설정 재배 환경 상의 기준 작물기관별 온도 간에 작물 기관별로 비교하여, 상기 비교 결과 상기 검출된 작물기관 온도가 설정 재배 환경 상의 기준 작물기관별 온도에 해당하는 경우 해당 작물기관의 생육 상태를 정상 생육 상태로 진단하고, 상기 비교 결과 상기 검출된 작물기관 온도가 설정 재배 환경 상의 기준 작물기관별 온도에 미해당하는 경우 해당 작물기관의 생육 상태를 이상 생육 상태로 진단하여, 실시간 검출한다.
The control unit causes the crop thermographic image capturing and the crop color plane image capturing, specifically, the RGB image capturing to be started in accordance with the user setting information including the capturing time interval user setting information, and also the captured crop image and the thermal image resolution in use And a crop color plane image having a temperature value corresponding to the thermal image pixel corresponding to the thermal image pixel temperature corresponding to the crop image and the crop color plane image, Since the resolution and angle of view of the image cameras are different from each other, the angle of view such as the distance and the interval between the two cameras is set around the reference point, and the mapped image is mapped to the temperature sheet of the crop degradation image. To identify the temperature of each crop plant, Whether or not the above to real-time detection. For example, the control unit compares the temperature of each crop plant between the temperature of each crop plant and the reference crop plant temperature, and when the detected crop plant temperature corresponds to the reference crop plant temperature in the setting growing environment The method according to any one of claims 1 to 3, wherein the growth state of the crop organs is diagnosed as a normal growth state, and if the detected crop engine temperature does not match the standard cropping organism temperature in the set cultivation environment, .

도 2는 일실시예에 따른 작물 영상을 사용한 작물 생육 진단 장치의 동작을 순서대로 도시한 도면이다.FIG. 2 is a diagram illustrating an operation of a crop growth diagnosis apparatus using a crop image according to an embodiment.

도 2에 도시된 바와 같이, 일실시예에 따른 작물 영상을 사용한 작물 생육 진단 장치는 먼저, 군락의 작물 관리자 모바일 단말기나 군락 내 이송 로봇 또는 카메라 장치로부터 촬영한 군락이나 온실의 작물 열화상 영상과 사용 중인 열화상 해상도에 대응하는 열화상 픽셀별 온도값을 가진 작물 열화상의 온도쉬트 및, 군락이나 온실의 작물 색채 평면 영상 즉, RGB 영상을 수집한다(S101).As shown in FIG. 2, a crop growth diagnosis apparatus using a crop image according to an exemplary embodiment of the present invention can be implemented in a crop farmer's mobile terminal, a transfer robot in a community, (S101), a temperature chart of crop deterioration phase having a temperature value for each thermal image pixel corresponding to the thermal resolution in use, and a color plane image of a crop or a greenhouse, that is, an RGB image.

즉, 작물 생육 상태 진단시 작물 열화상 영상과 작물 열화상의 온도쉬트 및, 작물 색채 평면 영상을 수집하여 사용한다.That is, the crop thermographic image, the crop temperature degradation phase temperature sheet, and the crop color plane image are collected and used for diagnosis of the crop growth condition.

이때, 촬영시간간격 사용자 설정 정보를 포함한 사용자 설정 정보에 따라 작물 열화상 영상촬영과 작물 색채평면 영상촬영을 개시하도록 하고, 더불어 촬영된 작물 열화상과 사용 중인 열화상 해상도에 대응하는 열화상 픽셀별 온도값을 가진 작물 열화상의 온도쉬트 및 작물 색채평면 영상을 수집한다.At this time, in accordance with the user setting information including the photographing time interval user setting information, the crop thermal image photographing and the crop color plane image photographing are started, and also the crop thermal image and the thermal image pixel corresponding to the thermal image resolution in use Collect crop surface and color sheet images of crop degradation phase with temperature values.

상기 수집 동작은 사용자 설정 정보에 따라 작물 열화상 영상촬영을 개시하도록 하고, 더불어 상기 작물 열화상 영상촬영 개시와 동기화하여 작물 실 평면 원본 이미지와 작물 열화상의 온도쉬트를 운용 정보처리장치에 요청해서 전송받아 수집하는 동작을 포함한다.The collecting operation starts the crop thermographic image capturing in accordance with the user setting information. In addition, the collecting operation synchronizes with the commencement of the crop thermographic image capturing and requests the operation information processing device to transmit the temperature sheet of the crop source plane image and the crop deterioration image Collecting and collecting.

다음, 상기 작물 열화상 영상과 작물 색채평면 영상 간에 화각 기준점을 일치시켜 화각을 맞추고(S104) 이미지 인식엔진을 사용한 동작으로 매핑한 영상을 상기 작물 열화상의 온도쉬트에 매핑해서 즉, 사용 중인 열화상 해상도(예를 들어, 가로 설정 개수 셀, 세로 설정 개수 셀)에 대응하는 열화상 픽셀별 온도값을 가진 작물 열화상의 온도쉬트에 매핑해서 설정 작물기관마다 구체적인 예로는, 엽, 화방, 줄기, 과일, 생장점을 포함한 작물기관마다 작물기관 분포영역의 면적 픽셀별 온도를 검출하여 작물기관별 온도를 식별해서(S105 ~ S108) 이미지, 온도값을 데이터베이스(DB)에 저장하여(S109), 상기 작물기관별 온도에 따라 작물의 이상 여부를 실시간 검출한다.Next, an angle of view is matched by matching an angle-of-view reference point between the crop thermal image and the crop color plane image (S104), and an image mapped by an operation using an image recognition engine is mapped onto the thermo-degradation image of the crop, A specific example of each set of organisms that is set by mapping to a crop degradation phase temperature sheet having a temperature value per image pixel corresponding to the resolution (for example, the number of cells to be set horizontally and the cells to be set vertically) includes leaf, (S105 to S108), the image and temperature values are stored in the database (DB) (S109), and the temperature of each crop organs And detects in real time whether the crop is abnormal.

예를 들어, 상기 작물기관별 온도와 설정 재배 환경 상의 기준 작물기관별 온도 간에 작물 기관별로 비교한다. For example, comparisons are made between the temperature of each crop plant and the reference crop plant temperature in the set cultivation environment by the crop plants.

상기 비교 결과 상기 검출된 작물기관 온도가 설정 재배 환경 상의 기준 작물기관별 온도에 해당하는 경우 해당 작물기관의 생육 상태를 정상 생육 상태로 진단한다. If the detected crop engine temperature is equal to the reference crop organ temperature in the setting cultivation environment, the growth state of the crop organ is diagnosed as a normal growth state.

반면, 상기 비교 결과 상기 검출된 작물기관 온도가 설정 재배 환경 상의 기준 작물기관별 온도에 미해당하는 경우 해당 작물기관의 생육 상태를 이상 생육 상태로 진단한다. On the other hand, if the detected crop engine temperature does not correspond to the reference crop organ temperature in the setting cultivation environment, the growth state of the crop organ is diagnosed as abnormal growth.

그래서, 상기 작물기관별 온도에 따라 작물의 이상 여부를 실시간 검출한다(S110 ~ S111).
Therefore, it is detected in real time whether or not the crop is abnormal according to the temperature per crop plant (S110 to S111).

한편, 일실시예에 따른 작물기관을 검출하는 구체적인 동작을 설명한다. Meanwhile, a specific operation for detecting a crop plant according to an embodiment will be described.

먼저, 작물 기관이 화방인 경우, 화방 작물 기관을 검출하는 동작은 a) 여러 화방대상 안의 색 값을 HSL 3차원색공간으로 변환하고, H,S,L 색값의 범위를 추정하며, b) 화방의 색 특징에 상응하는 설정 H,S,L 색값의 문턱(threshold) 범위에 속하는 화소들을 화방으로 정하고, c) 상기 정해진 화방 화소를 가진 이미지를 화방과 배경의 2개값을 가지는 2값 화소로 구성하며, d) 상기 구성된 2값 화소 기반의 이미지를 모폴로지 침식(morphology erosion) 및, 확장연산자를 적용하고 연결 성분 추출 및 대상분리로, 화방대상영역을 결정하여, 상기 화방 작물 기관을 검출한다. First, in the case where the crop plant is a flower garden, the operation of detecting the flower plant is performed by a) transforming the color values in the plurality of flower objects into the HSL three-dimensional color space, estimating the range of H, S, L color values, C) determining an image having the determined flower pixel as a binary pixel having two values of flower and background; and c) determining the pixels belonging to the threshold range of the set H, S, L color values corresponding to the color characteristics of the flower pixel D) applying the morphology erosion and expansion operator to the image based on the two-value pixel, and extracting connected components and subject separation to determine a flower target area, thereby detecting the flower growing organ.

그리고, 열매 작물 기관을 검출하는 동작은 a) 상기 작물의 열매모양에 상응하는 주 화소의 일정 화소 값 간 평균이나 분산 또는, 화소값 절대값 차의 평균이나 분산 특징정보 중 적어도 어느 하나 이상의 특징정보와, 기설정된 다층신경망(MLP) 기반의 열매화소 식별 관련 트레이닝 데이터셋 및, 상기 트레이닝 식별사전으로 된 식별기를 해당 작물의 원본 이미지에 적용하여 열매화소를 획득하고, b) 상기 해당 작물의 원본 이미지를 에지 처리하고 설정 횟수만큼 수축, 세선화(thining)하여 나온 이미지의 블랙(black)에 대응하여 상기 획득된 열매이미지의 화소를 제거해서, 열매가 분리된 이미지로부터 상기 열매 작물 기관을 검출한다. The operation of detecting the fruit ornamental plant is performed by a) calculating at least one of at least one of the average or variance of the predetermined pixel values of the main pixel corresponding to the fruit shape of the crop, And obtaining a fruit pixel by applying a training data set related to fruit pixel identification based on a predetermined MLN to an original image of a corresponding crop, and b) obtaining an original image of the crop And the pixels of the obtained fruit image are removed corresponding to the black of the image that has been shrunk and thinned by the preset number of times to detect the fruit organs from the fruit separated images.

더불어, 작물 기관이 줄기인 경우, 줄기 작물 기관을 검출하는 동작은 a) 상기 작물의 줄기모양에 상응하는 주 화소의 일정 화소 값 간 평균이나 분산 또는, 화소값 절대값 차의 평균이나 분산 특징정보 중 적어도 어느 하나 이상의 특징정보와, 기설정된 다층신경망 기반의 줄기화소 식별 관련 트레이닝 데이터셋 및, 상기 트레이닝 식별사전으로 된 식별기를 해당 작물의 원본 이미지에 적용하여 줄기화소를 획득하고, b) 상기 해당 작물의 원본 이미지를 에지 처리하고 설정 횟수만큼 수축, 세선화하여 나온 이미지의 블랙(black)에 대응하여 상기 획득된 줄기이미지의 화소를 제거해서, 줄기가 분리된 이미지 중에서 높이/너비가 가장 큰 대상을 선정하여, 상기 줄기 작물 기관을 검출한다. In addition, in the case where the crop organ is a stem, the operation of detecting the stem crop organs may include a) an average or variance between predetermined pixel values of the main pixel corresponding to the stem shape of the crop, A stem pixel identification-related training data set based on a preset multi-layer neural network, and an identifier made up of the training identification dictionary, to an original image of the corresponding crop to obtain stem pixels, and b) The original image of the crop is subjected to edge processing and pixels of the obtained stem image are removed corresponding to the black of the image obtained by shrinking and thinning the set number of times, And detects the stem crop organs.

또한, 엽 작물 기관을 검출하는 것은 a) HSL 색공간에서 칼라 클러스터링을 기반으로 엽의 색 특징과 단색 배경에 상응하는 엽 영역을 검출하고, b) 모폴로지 딜레이션(morphology dilation)을 설정 횟수만큼 적용하여 마디성분을 제거하고 남은 소엽을 연결성분추출 기반으로 카운팅(counting)하며, 잎영역에 대하여 고유값 계산으로 너비, 높이, 면적, 소엽 갯수를 추출하여, 상기 엽 작물 기관을 검출한다.
The detection of leaf crop organs can be accomplished by a) detecting leaf areas corresponding to the color characteristics and monochromatic background of the leaf based on color clustering in the HSL color space, b) applying the morphology dilation to the set number of times The remaining leaflets are counted on the basis of the connected component extraction, and the leaves, the height, the area, and the number of the leaflets are extracted by the eigenvalue calculation for the leaf area to detect the leaf crop organs.

이상과 같이, 일실시예는 작물 열화상과 사용 중인 열화상 해상도에 대응하는 열화상 픽셀별 온도값을 가진 작물 열화상의 온도쉬트 및 작물 색채평면 영상을 수집해서, 상기 작물 열화상 영상과 작물 색채평면 영상 간에 화각 기준점을 일치시켜 화각을 맞추고 매핑한 영상을 상기 작물 열화상의 온도쉬트에 매핑해서 설정 작물기관마다 작물기관 분포영역의 면적 픽셀별 온도를 검출하여 작물기관별 온도를 식별해서, 상기 작물기관별 온도에 따라 작물의 이상 여부를 실시간 검출함으로, 작물기관별 온도를 무인으로 자동식별하여 작물의 이상징후를 실시간 파악해서 생장 관리한다.As described above, one embodiment collects the crop deterioration phase temperature sheet and crop color plane image having the temperature value of each of the thermal image pixels corresponding to the thermal image of the crop and the thermal resolution in use, and outputs the crop thermal image and the crop color The angle of view is matched between the planar images and the image angle is matched and the mapped image is mapped to the crop deterioration phase temperature sheet to detect the temperature for each area pixel of the crop organ distribution area for each crop organ to identify the temperature per crop plant, By real-time detection of the abnormality of crops according to temperature, the temperature of each plant is automatically identified as unattended, so that abnormalities of crops can be grasped in real time and managed.

즉, 현재의 기존 방식은 열화상 카메라 촬영 후 영상이미지를 카메라업체에서 제공한 소프트웨어(S/W)를 가지고 작업자가 작물의 영상이미지를 육안으로 확인하면서 부위별 온도를 측정하지만 일실시예는 자동으로 촬영하여 작물부위별 온도를 데이터베이스(DB)에 저장하고 분석한다.That is, in the current conventional method, the operator uses the software (S / W) provided by the camera manufacturer to image the image after radiographing the camera, and the operator measures the temperature of each part while checking the image of the crop with the naked eye. And stores the temperature of each crop part in a database (DB) and analyzes it.

그리고, 기존 방식은 열화상 카메라에 내장되어 있는 실화상과 온도쉬트를 이용해 열화상 이미지를 보여주고 사용자가 원하는 부위의 온도를 추출한다.In the conventional method, a thermal image is displayed by using a real image and a thermoset, which are built in a thermal imaging camera, and the user extracts the temperature of the desired site.

반면, 일실시예는 작물기관별 온도에 따라 작물의 이상 여부를 실시간 검출함으로, 작물기관별 온도를 무인으로 자동식별하여 작물의 이상징후를 실시간 파악해서 생장 관리한다.
On the other hand, one embodiment detects the abnormality of the crop in real time according to the temperature of each plant, so that the temperature per crop plant is automatically identified as unattended, and the abnormality of the crop is detected in real time.

도 3은 일실시예에 따른 작물 영상을 사용한 작물 생육 진단 장치의 다른 예 동작을 순서대로 도시한 도면이다.FIG. 3 is a view showing another example of the operation of a crop growth diagnosis apparatus using a crop image according to an embodiment in order.

도 3에 도시된 바와 같이, 일실시예에 따른 작물 영상을 사용한 작물 생육 진단 장치는 관수장치를 점검 및 수리하는 것과 관련한 것으로, 온실의 재배처리시스템 이상 유무를 초기에 파악하여 조치함으로써 온실의 사고를 최소화할 수 있도록 한 것이다.As shown in FIG. 3, a crop growth diagnosis apparatus using a crop image according to an embodiment relates to an inspection and repair of an irrigation system. In the first place, In order to minimize the size of the system.

구체적인 동작을 설명한다.A specific operation will be described.

먼저, 군락 내의 이송 로봇 또는 카메라 장치나 온실 내의 이송 로봇 또는 카메라 장치로부터 군락이나 온실의 작물 열화상 영상과 사용 중인 열화상 해상도에 대응하는 열화상 픽셀별 온도값을 가진 작물 열화상의 온도쉬트 및, 군락이나 온실의 작물 색채 평면 영상 즉, RGB 영상을 수집한다.First, a crop deterioration phase temperature sheet having a crop thermal image of a community or a greenhouse and a temperature value of each thermal image pixel corresponding to a thermal image resolution in use from a transfer robot or a camera device in a community or a transfer robot or a camera device in a greenhouse, Collect color images of crops or greenhouse crops, ie, RGB images.

즉, 작물 생육 상태 진단시 작물 열화상 영상과 작물 열화상의 온도쉬트 및, 작물 색채 평면 영상을 수집하여 사용한다.That is, the crop thermographic image, the crop temperature degradation phase temperature sheet, and the crop color plane image are collected and used for diagnosis of the crop growth condition.

이때, 촬영시간간격 사용자 설정 정보를 포함한 사용자 설정 정보에 따라 작물 열화상 영상촬영과 작물 색채평면 영상촬영을 개시하도록 하고, 더불어 촬영된 작물 열화상과 사용 중인 열화상 해상도에 대응하는 열화상 픽셀별 온도값을 가진 작물 열화상의 온도쉬트 및 작물 색채평면 영상을 수집한다.At this time, in accordance with the user setting information including the photographing time interval user setting information, the crop thermal image photographing and the crop color plane image photographing are started, and also the crop thermal image and the thermal image pixel corresponding to the thermal image resolution in use Collect crop surface and color sheet images of crop degradation phase with temperature values.

다음, 상기 작물 열화상 영상과 작물 색채평면 영상 간에 화각 기준점을 일치시켜 화각을 맞추고 매핑한 영상에서 엽을 식별하여 엽 분포 영역과 작물 열화상의 온도쉬트 간에 매핑시켜 엽 면적 픽셀별 온도로 현재 엽 온도를 검출한다. Next, the angle of view is matched between the crop thermographic image and the crop color plane image to match the angle of view, and the leaf is identified in the mapped image, and the map is mapped between the leaf distribution area and the temperature sheet of the crop degradation image, .

그런 다음, 상기 검출된 현재 엽 온도와 설정 시간 단위를 두고 현재 촬영시간으로부터 마지막 이전 촬영시간에 촬영된 엽 온도 간의 편차가 설정 편차 이상인 경우 즉, 설정 편차 이상 차이가 난 군락이나 지점이 있는 경우 등록 관리자 단말기로 예를 들어, 농가의 이동 통신 단말기로 경보 알람을 전송한다. Then, if there is a deviation between the detected current leaf temperature and the leaf temperature photographed at the last previous photographing time from the current photographing time with respect to the set time unit, that is, For example, the manager terminal transmits an alarm alarm to the mobile communication terminal of the farmhouse.

반면, 상기 검출된 현재 엽 온도와 설정 시간 단위를 두고 현재 촬영시간으로부터 마지막 이전 촬영시간에 촬영된 엽 온도 간의 편차가 설정 편차 미만인 경우 등록 관리자 단말기로 경보 알람을 미전송한다.On the other hand, if the deviation between the detected current leaf temperature and the leaf temperature photographed at the last previous photographing time from the current photographing time is less than the set deviation, the alarm alarm is not transmitted to the registration manager terminal.

그러면, 신호 알람을 받은 농장주는 온실의 해당지점 관수장치를 점검 및 수리를 함으로써 온실의 재배처리시스템 이상유무를 초기에 파악하여 조치하여 온실의 사고를 최소화한다.The farmer who receives the signal alarm then checks and repairs the watering system at the point in the greenhouse to minimize the accidents in the greenhouse by detecting and correcting the abnormality of the greenhouse processing system at an early stage.

이때, 상기 수집 동작은 사용자 설정 정보에 따라 작물 열화상 영상촬영을 개시하도록 하고, 더불어 상기 작물 열화상 영상촬영 개시와 동기화하여 작물 실 평면 원본 이미지와 작물 열화상의 온도쉬트를 운용 정보처리장치에 요청해서 전송받아 수집하는 동작을 포함한다.At this time, the collecting operation starts the crop thermographic image capturing in accordance with the user setting information, and synchronizes with the start of the crop thermographic image capturing to request the operation information processing device to transmit the crop floor original image and the crop deterioration temperature sheet And receiving and collecting data.

구체적으로는, 실 평면 원본 이미지를 작물기관별로 예를 들어, 엽, 화방, 줄기, 과일, 생장점 작물기관별로 1차 분리하고, 기준점을 중심으로 사용 중인 열화상카메라의 해상도 즉, 열화상 해상도 구체적으로는 가로 설정 개수 셀, 세로 설정 개수 셀에 따라 픽셀로 분할한다.Specifically, the original image plane plane image is firstly separated for each crop plant, for example, for each leaf, flower, stalk, fruit, and growing crop plants, and the resolution of the infrared camera in use, The number of cells to be laid horizontally, and the number of cells to be laid vertically.

다음, 분할된 엽의 이미지를 열화상의 온도쉬트에 적용하여 픽셀별 온도를 검출한다.Next, the image of the divided leaves is applied to the degradation temperature sheet to detect the pixel-by-pixel temperature.

즉, 분할된 엽의 이미지를 작물 열화상의 온도쉬트 간에 매핑시켜 엽 면적 픽셀별 온도로 현재 엽 온도를 검출한다. That is, the image of the divided leaves is mapped between the temperature sheets of the crop deterioration image to detect the current leaf temperature by the leaf area per pixel.

그런 다음, 상기 검출된 현재 엽 온도와 설정 시간 단위를 두고 현재 촬영시간으로부터 마지막 이전 촬영시간에 촬영된 엽 온도 간의 편차가 설정 편차 이상인 경우 즉, 설정 편차 이상 차이가 난 군락이나 지점이 있는 경우 등록 관리자 단말기로 예를 들어, 농가의 이동 통신 단말기로 경보 알람을 전송한다. Then, if there is a deviation between the detected current leaf temperature and the leaf temperature photographed at the last previous photographing time from the current photographing time with respect to the set time unit, that is, For example, the manager terminal transmits an alarm alarm to the mobile communication terminal of the farmhouse.

반면, 상기 검출된 현재 엽 온도와 설정 시간 단위를 두고 현재 촬영시간으로부터 마지막 이전 촬영시간에 촬영된 엽 온도 간의 편차가 설정 편차 미만인 경우 등록 관리자 단말기로 경보 알람을 미전송한다.
On the other hand, if the deviation between the detected current leaf temperature and the leaf temperature photographed at the last previous photographing time from the current photographing time is less than the set deviation, the alarm alarm is not transmitted to the registration manager terminal.

한편, 일실시예는 전술한 엽 온도에 따른 경보 알람시와 연동하여, 열화상의 온도쉬트를 가지고 RGB 색상표를 사용해 적외선이미지를 표현한다.Meanwhile, in one embodiment, in conjunction with alarm alarm according to the above-mentioned leaf temperature, an infrared image is expressed using an RGB color table with a thermosensitive thermal sheet.

즉, 일실시예는 엽 온도에 따른 경보 알람시와 연동하여, 상기 작물 열화상의 온도쉬트 온도 정보와 상기 온도쉬트 온도 정보에 대응하는 RGB 색상 간의 매핑 정보를 RGB 색상표로 설정하여 등록하고, 상기 엽 온도에 따른 경보 알람시 상기 작물 열화상의 온도쉬트와 상기 등록된 RGB 색상표 간에 매핑시켜 적외선 이미지를 표시하여 표현한다.
That is, in one embodiment, the mapping information between the temperature sheet temperature information of the crop deterioration image and the RGB color corresponding to the temperature sheet temperature information is set in the RGB color table in association with the alarm alarm according to the leaf temperature, And displays an infrared image by mapping between the temperature chart of the crop deterioration phase and the registered RGB color table at the time of alarm alarm according to the temperature.

한편, 일실시예는 작물기관별 ID(Identification)를 부여, 작물 상태 진단시마다 동일 작물기관을 추적해서 동일 작물기관별로 온도변화를 비교하여 쉽게 온도변화추이를 추적하고 작물 기관 생육 상태 정보를 관리하며, 동일 작물 기관별로 수확시까지 기간별과 작물기관별 연속적인 모니터링을 수행하여 작물 상태 진단을 효율적으로 한다.In the meantime, one embodiment provides identification (ID) of each crop plant, tracks the same crop plant every time the crop condition is diagnosed, compares the temperature change with each crop plant to easily track the temperature change trend, Continuous monitoring is performed by period and by each crop until the harvest by the same crop plant, so that the diagnosis of the crop condition is made efficient.

즉, 일실시예는 작물기관 식별시, 현재 작물기관 이미지와 기등록된 작물기관 이미지의 동일 여부를 판별하여, 상기 판별 결과 현재 작물기관 이미지와 기등록된 작물기관 이미지가 상이한 경우 즉 신규 엽이나 신규 마디, 신규 화방, 신규 과일 나오는 경우마다 작물기관별 ID를 부여해서 이때, RGB 순번대로 작물 기관별 ID를 부여해서 상기 작물기관별 ID 상으로 작물 기관 생육 수치의 변화량을 등록하여 관리해서 모니터링하고, 상기 판별 결과 현재 작물기관 이미지와 기등록된 작물기관 이미지가 동일한 경우 작물기관별 ID를 미부여하고 동일한 해당 기등록된 작물기관 이미지의 작물기관별 ID 상으로 작물 기관 생육 수치의 변화량을 등록해서 관리하여 모니터링해서, 작물기관별 ID 상으로 기간별과 작물기관별 동일 작물 기관을 추적하여 온도변화추이를 추적한다.That is, in one embodiment, when the crop organ is identified, whether the current crop organ image is the same as the pre-registered crop organ image is discriminated, and if the current crop organ image is different from the previously registered crop organ image, Each ID of the new plant, new fruit plant, and new fruit is assigned to each plant, and the ID of each crop plant is assigned to each plant in the order of RGB, If the current image of the crop plant is the same as the image of the previously registered crop plant, the ID of the crop plant is not given, and the change of the crop plant growth value is registered with the ID of the crop plant image of the same registered plant image, The ID of each crop is followed by the same crops by period and each crop, It tracks.

그 결과, 작물 상태 진단시마다 동일 작물 기관을 추적해서 동일 작물 기관별로 온도 변화량을 비교하여 쉽게 온도변화추이를 추적하고 작물 기관 생육 상태 정보를 관리하며, 동일 작물 기관별로 수확시까지 기간별과 작물기관별 연속적인 모니터링을 수행하여 작물 상태 진단을 효율적으로 한다.
As a result, it is possible to easily track the temperature change trends by monitoring the same crop plants every time the crop condition is diagnosed, compare the temperature variation by the same crop plants, manage the crop plant growth status information, To monitor the condition of crops efficiently.

한편, 일실시예는 작물의 생육정보를 기간별로 작물의 엽온도변화를 비교하고 작물의 기간별 생육정보를 비교해서 디스플레이함으로써 작물의 생육상태를 확인할 수 있도록 하는데, 구체적으로는 작물의 생육정보를 기간별로 작물의 엽온도변화를 비교하여, 상기 비교 결과 기간별로 엽온도변화가 설정 엽온도변화에 해당하는 경우 정상 생육 상태로 표시하고 상기 비교 결과 기간별로 엽온도변화가 설정 엽온도변화에 해당하는 경우 이상 생육 상태로 표시하여, 작물의 기간별 생육정보를 비교해서 표시하여 작물의 생육상태를 확인한다.
In one embodiment, the growth information of the crop is compared with the leaf temperature of the crop by period, and the growth status of the crop is confirmed by comparing the growth information of each crop with the period. Specifically, And when the leaf temperature changes by the period as a result of the comparison are displayed as normal growth conditions when the leaf temperature changes correspond to the set leaf temperature changes and the leaf temperature changes by the period as a result of the comparison, Or more, and the growth condition of the crop is checked by comparing the growth information of each crop with the period.

도 4는 일실시예에 따른 엽 온도 검출 방법을 설명하기 위한 도면이고, 도 5는 일실시예에 따른 엽 온도 검출 방법을 사용한 관수 장치 점검을 설명하기 위한 도면이다.FIG. 4 is a view for explaining a method of detecting a leaf temperature according to an embodiment of the present invention, and FIG. 5 is a view for explaining an inspection of an irrigation device using a leaf temperature detection method according to an embodiment.

도 4 내지 도 5에 도시된 바와 같이, 일실시예는 관수장치를 점검 및 수리하는 것과 관련한 것으로, 온실의 재배처리시스템 이상 유무를 초기에 파악하여 조치함으로써 온실의 사고를 최소화할 수 있도록 한 것이다. 구체적으로는, 일실시예가 근권부의 수분함량을 제한한 경우 열화상 이미지에서 온도편차를 확연하게 구별하는 점을 사용해서, 일실시예에 따라 작물 열화상과 사용 중인 열화상 해상도에 대응하는 열화상 픽셀별 온도값을 가진 작물 열화상의 온도쉬트 및 작물 색채평면 영상을 수집하여, 작물 열화상 영상과 작물 색채평면 영상 간에 화각 기준점을 일치시켜 화각을 맞추고 매핑한 영상에서 엽을 식별하여 엽 분포 영역과 작물 열화상의 온도쉬트 간에 매핑시켜 엽 면적 픽셀별 온도로 현재 엽 온도를 검출해서, 상기 검출된 현재 엽 온도와 설정 시간 단위를 두고 현재 촬영시간으로부터 마지막 이전 촬영시간에 촬영된 엽 온도 간의 편차가 설정 편차 이상인 경우 등록 관리자 단말기로 경보 알람을 전송함으로, 즉 설정 편차 이상 차이가 난 군락이나 지점이 있는 경우(도 5 참조) 농가의 이동 통신 단말기로 경보 알람을 전송함으로, 신호 알람을 받은 농장주는 온실의 해당지점 관수장치를 점검하고 수리해서 온실의 재배처리스템 이상 유무를 초기에 파악하여 조치함으로써 온실의 사고를 최소화한다. As shown in FIGS. 4 to 5, one embodiment relates to inspection and repair of irrigation equipment, and it is possible to minimize the accidents in the greenhouse by early detection of the abnormality of the greenhouse processing system . Specifically, by using the point that one embodiment clearly distinguishes the temperature variation in the thermal image when the water content of the rhizome section is limited, the thermal image corresponding to the thermal image in use and the thermal image in use according to one embodiment The temperature of the crop degradation phase and the color plane image of the crop with the temperature value per pixel were collected and the angle of view was matched between the crop thermal image and the crop color plane image to match the angle of view and the leaf was identified in the mapped image, The deviation between the leaf temperature photographed at the last previous photographing time from the current photographing time is set at the detected current leaf temperature and the preset time unit If the deviation is greater than or equal to the deviation, an alarm alarm is transmitted to the registration manager terminal, that is, When there is a branch (refer to FIG. 5), an alarm alarm is transmitted to the mobile communication terminal of the farmer, so that the farmer who receives the signal alarm checks and repairs the branch watering apparatus of the greenhouse, Minimize accidents in the greenhouse by taking action.

* 도면의 주요 부분에 대한 부호의 설명 *
100 : 제1 카메라부 200 : 제2 카메라부
300 : 감지부 400 : 작물 영상을 사용한 작물 생육 진단 장치
Description of the Related Art [0002]
100: first camera unit 200: second camera unit
300: Detection unit 400: Crop growth diagnosis apparatus using crop image

Claims (7)

작물 영상을 전송받는 통신부;
상기 작물 영상을 사용하여 작물 생육 상태를 진단하고 상기 표시부에 표시하도록 하는 제어부; 및
상기 제어부의 제어하에, 상기 진단된 작물 생육 상태를 표시하는 표시부;
를 포함하고,

상기 제어부는
사용자 설정 정보에 따라 작물 열화상 영상촬영과 작물 색채평면 영상촬영을 개시하도록 하고, 더불어 촬영된 작물 열화상과 사용 중인 열화상 해상도에 대응하는 열화상 픽셀별 온도값을 가진 작물 열화상의 온도쉬트 및 작물 색채평면 영상을 수집해서, 상기 작물 열화상 영상과 작물 색채평면 영상 간에 화각 기준점을 일치시켜 화각을 맞추고 매핑한 영상을 상기 작물 열화상의 온도쉬트에 매핑해서 설정 작물기관마다 작물기관 분포영역의 면적 픽셀별 온도를 검출하여 작물기관별 온도를 식별해서, 상기 작물기관별 온도에 따라 작물의 이상 여부를 실시간 검출하는 것을 특징으로 하는 작물 영상을 사용한 작물 생육 진단 장치.
A communication unit for receiving a crop image;
A controller for diagnosing a crop growth state using the crop image and displaying the result on the display unit; And
A display unit for displaying the diagnosed crop growth state under the control of the control unit;
Lt; / RTI >

The control unit
And a crop degradation phase temperature sheet having a temperature value for each of the thermal image pixels corresponding to the thermal image resolution in use, A crop color plane image is collected and an angle of view is adjusted by matching the angle of view reference point between the crop thermal image and the crop color plane image and the mapped image is mapped to the crop temperature degradation phase temperature sheet, Detecting the temperature of each pixel to identify the temperature of each crop plant, and detecting the abnormality of the crop in real time according to the temperature of each crop plant.
제 1 항에 있어서,
상기 작물기관별 온도에 따라 작물의 이상 여부를 실시간 검출하는 것은
상기 작물기관별 온도와 설정 재배 환경 상의 기준 작물기관별 온도 간에 작물 기관별로 비교하여, 상기 비교 결과 상기 검출된 작물기관 온도가 설정 재배 환경 상의 기준 작물기관별 온도에 해당하는 경우 해당 작물기관의 생육 상태를 정상 생육 상태로 진단하고, 상기 비교 결과 상기 검출된 작물기관 온도가 설정 재배 환경 상의 기준 작물기관별 온도에 미해당하는 경우 해당 작물기관의 생육 상태를 이상 생육 상태로 진단하여, 실시간 검출하는 것을 특징으로 하는 작물 영상을 사용한 작물 생육 진단 장치.
The method according to claim 1,
The real-time detection of the abnormality of the crop in accordance with the temperature of each crop plant
Comparing the temperature of each crop plant with the reference crop plant temperature in the set cropping environment and comparing the detected crop plant temperature with the reference crop plant temperature in the set cultivation environment, Wherein the plant is diagnosed to be in a growth state and if the detected crop engine temperature does not correspond to the reference crop plant temperature in the setting cultivation environment, Crop Growth Diagnosis Device Using Image.
제 1 항에 있어서,
상기 제어부는
상기 작물 열화상 영상과 작물 색채평면 영상 간에 화각 기준점을 일치시켜 화각을 맞추고 매핑한 영상에서 엽을 식별하여 엽 분포 영역과 작물 열화상의 온도쉬트 간에 매핑시켜 엽 면적 픽셀별 온도로 현재 엽 온도를 검출해서, 상기 검출된 현재 엽 온도와 설정 시간 단위를 두고 현재 촬영시간으로부터 마지막 이전 촬영시간에 촬영된 엽 온도 간의 편차가 설정 편차 이상인 경우 등록 관리자 단말기로 경보 알람을 전송하고, 상기 검출된 현재 엽 온도와 설정 시간 단위를 두고 현재 촬영시간으로부터 마지막 이전 촬영시간에 촬영된 엽 온도 간의 편차가 설정 편차 미만인 경우 등록 관리자 단말기로 경보 알람을 미전송하는 것을 특징으로 하는 작물 영상을 사용한 작물 생육 진단 장치.
The method according to claim 1,
The control unit
The angle of view is matched between the crop thermographic image and the crop color plane image to identify the leaf in the mapped image, and the map is mapped between the leaf distribution area and the temperature sheet of the crop degradation image to detect the current leaf temperature And transmits an alarm alarm to the registration manager terminal when the deviation between the detected current leaf temperature and the set time unit is greater than or equal to the deviation of the leaf temperature photographed at the last previous photographing time from the current photographing time, And when the deviation between the leaf temperature photographed at the last previous photographing time from the current photographing time and the set time unit is less than the set deviation, the alert alarm is not transmitted to the registration manager terminal.
제 3 항에 있어서,
상기 제어부는
상기 작물 열화상의 온도쉬트 온도 정보와 상기 온도쉬트 온도 정보에 대응하는 RGB 색상 간의 매핑 정보를 RGB 색상표로 설정하여 등록하고, 상기 엽 온도에 따른 경보 알람시 상기 작물 열화상의 온도쉬트와 상기 등록된 RGB 색상표 간에 매핑시켜 적외선 이미지를 표시하는 것을 특징으로 하는 작물 영상을 사용한 작물 생육 진단 장치.
The method of claim 3,
The control unit
Wherein the controller is configured to set and register mapping information between the thermo-sheet temperature information of crop deterioration phase and RGB color corresponding to the temperature sheet temperature information in an RGB color table, and when the alarm alarm is performed according to the leaf temperature, Wherein the infrared image is displayed by mapping between color tables.
제 1 항에 있어서,
상기 제어부는
상기 작물기관 식별시, 현재 작물기관 이미지와 기등록된 작물기관 이미지의 동일 여부를 판별하여, 상기 판별 결과 현재 작물기관 이미지와 기등록된 작물기관 이미지가 상이한 경우 작물기관별 ID를 부여하여 상기 작물기관별 ID 상으로 작물 기관 생육 수치의 변화량을 등록해서 관리하여 모니터링하고, 상기 판별 결과 현재 작물기관 이미지와 기등록된 작물기관 이미지가 동일한 경우 작물기관별 ID를 미부여하고 동일한 해당 기등록된 작물기관 이미지의 작물기관별 ID 상으로 작물 기관 생육 수치의 변화량을 등록하여 관리해서 모니터링하여, 작물기관별 ID 상으로 기간별과 작물기관별 동일 작물 기관을 추적해서 온도변화추이를 추적하는 것을 특징으로 하는 작물 영상을 사용한 작물 생육 진단 장치.
The method according to claim 1,
The control unit
The method according to any one of the preceding claims, wherein when the crop organ is identified, whether the current crop organ image is the same as the pre-registered crop organ image is discriminated and if the current crop organ image is different from the previously registered crop organ image, The ID of the crop plant is registered and managed and monitored. If the result of the determination is that the image of the crop plant is the same as the image of the previously registered crop plant, The change in the growth rate of the crop plant is registered and monitored by the ID of the crop plant, and the same crop plant is traced for each period and each crop plant by the ID of each crop plant to track the temperature change trend. Diagnostic device.
제 1 항에 있어서,
상기 제어부는
작물의 실화상 이미지에 상응하는 작물 색채평면 영상과 작물 열화상의 온도쉬트를 수집한 경우, 상기 수집된 작물 색채평면 영상과 작물 열화상의 온도쉬트를 촬영일시별로 자동 저장하고, 열화상 온도를 사용한 작물기관별 온도 검출시 작물 색채평면 영상을 작물기관별로 검출하는 동작을 포함해서 분석하고 더불어 작물기관별 온도를 저장하는 것을 특징으로 하는 작물 영상을 사용한 작물 생육 진단 장치.
The method according to claim 1,
The control unit
A crop color plane image and a crop degradation phase temperature sheet are automatically stored for each photographing date and time when the crop color plane image and the crop degradation phase temperature sheet corresponding to the real image of the crop are collected, Wherein the method comprises the step of detecting the crop color plane image by the crop plant when the temperature is detected by the plant, and storing the temperature by the crop plant.
제 3 항에 있어서,
상기 제어부는
작물의 생육정보를 기간별로 작물의 엽온도변화를 비교하여, 상기 비교 결과 기간별로 엽온도변화가 설정 엽온도변화에 해당하는 경우 정상 생육 상태로 표시하고 상기 비교 결과 기간별로 엽온도변화가 설정 엽온도변화에 해당하는 경우 이상 생육 상태로 표시하여, 작물의 기간별 생육정보를 비교해서 표시하여 작물의 생육상태를 확인하는 것을 특징으로 하는 작물 영상을 사용한 작물 생육 진단 장치.


The method of claim 3,
The control unit
The method according to any one of claims 1 to 3, wherein the growth information of the crop is compared with the leaf temperature of the crop for each period, and when the leaf temperature change corresponds to the set leaf temperature change according to the comparison result, And the growth state of the crop is checked by displaying the abnormal growth state when the temperature is changed and comparing the growth information of the crop with the period of time to check the growth state of the crop.


KR1020160153632A 2016-11-17 2016-11-17 Apparatus for processing information used in temperature identification system each crop organ using to thermal image in colony KR101912651B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160153632A KR101912651B1 (en) 2016-11-17 2016-11-17 Apparatus for processing information used in temperature identification system each crop organ using to thermal image in colony

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160153632A KR101912651B1 (en) 2016-11-17 2016-11-17 Apparatus for processing information used in temperature identification system each crop organ using to thermal image in colony

Publications (2)

Publication Number Publication Date
KR20180055604A true KR20180055604A (en) 2018-05-25
KR101912651B1 KR101912651B1 (en) 2018-10-29

Family

ID=62299544

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160153632A KR101912651B1 (en) 2016-11-17 2016-11-17 Apparatus for processing information used in temperature identification system each crop organ using to thermal image in colony

Country Status (1)

Country Link
KR (1) KR101912651B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101984047B1 (en) * 2018-08-01 2019-09-03 삼성물산 주식회사 Diagnostic method of crop growth using unmanned eaerial vehicle and device performing the method
KR20210045253A (en) * 2019-10-16 2021-04-26 대한민국(농촌진흥청장) Irrigation system and method using water shortage diagnosis of crops
KR102280192B1 (en) * 2020-10-21 2021-07-27 주식회사 마스터벨그로우 Growth Monitoring and Environment Automatic Controlling System and Method of Crop Cultivation Facility
WO2021170547A1 (en) * 2020-02-27 2021-09-02 Signify Holding B.V. A plant growth monitoring system and method
EP4027768A4 (en) * 2019-09-11 2023-09-20 Gadot Agro Ltd. System and method for crop monitoring and management

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102641014B1 (en) * 2021-11-17 2024-02-28 대한민국 Apparatus and method of measuring crop water stress using an infrared camera

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130035816A (en) * 2011-09-30 2013-04-09 순천대학교 산학협력단 Measuring temperature of the plant by using the image processing method
US20130114641A1 (en) * 2011-11-07 2013-05-09 Brian Harold Sutton Infrared aerial thermography for use in determining plant health
KR101314259B1 (en) * 2011-03-24 2013-10-02 삼성테크윈 주식회사 Image synthesis system and image synthesis method
KR20150000435A (en) * 2013-06-21 2015-01-02 순천대학교 산학협력단 Recongnition of Plant Growth Steps and Environmental Monitoring System and Method thereof
KR20150088096A (en) * 2014-01-23 2015-07-31 주식회사 내비오닉스코리아 System and method for nondestructive plant biometric data obtaining based on infrared thermography
KR20160052368A (en) * 2014-10-29 2016-05-12 서울대학교산학협력단 Method of diagnosing responses of plants to abiotic stress or herbicide using thermal image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101314259B1 (en) * 2011-03-24 2013-10-02 삼성테크윈 주식회사 Image synthesis system and image synthesis method
KR20130035816A (en) * 2011-09-30 2013-04-09 순천대학교 산학협력단 Measuring temperature of the plant by using the image processing method
US20130114641A1 (en) * 2011-11-07 2013-05-09 Brian Harold Sutton Infrared aerial thermography for use in determining plant health
KR20150000435A (en) * 2013-06-21 2015-01-02 순천대학교 산학협력단 Recongnition of Plant Growth Steps and Environmental Monitoring System and Method thereof
KR20150088096A (en) * 2014-01-23 2015-07-31 주식회사 내비오닉스코리아 System and method for nondestructive plant biometric data obtaining based on infrared thermography
KR20160052368A (en) * 2014-10-29 2016-05-12 서울대학교산학협력단 Method of diagnosing responses of plants to abiotic stress or herbicide using thermal image

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101984047B1 (en) * 2018-08-01 2019-09-03 삼성물산 주식회사 Diagnostic method of crop growth using unmanned eaerial vehicle and device performing the method
EP4027768A4 (en) * 2019-09-11 2023-09-20 Gadot Agro Ltd. System and method for crop monitoring and management
KR20210045253A (en) * 2019-10-16 2021-04-26 대한민국(농촌진흥청장) Irrigation system and method using water shortage diagnosis of crops
WO2021170547A1 (en) * 2020-02-27 2021-09-02 Signify Holding B.V. A plant growth monitoring system and method
KR102280192B1 (en) * 2020-10-21 2021-07-27 주식회사 마스터벨그로우 Growth Monitoring and Environment Automatic Controlling System and Method of Crop Cultivation Facility

Also Published As

Publication number Publication date
KR101912651B1 (en) 2018-10-29

Similar Documents

Publication Publication Date Title
KR101912651B1 (en) Apparatus for processing information used in temperature identification system each crop organ using to thermal image in colony
KR101832724B1 (en) System and method for diagnosing crop through the video image
KR101822410B1 (en) Apparatus for diagnosing growth state of crop organ using crop organ image
Yu et al. Automatic image-based detection technology for two critical growth stages of maize: Emergence and three-leaf stage
CN110044486B (en) Method, device and equipment for avoiding repeated alarm of human body inspection and quarantine system
US10685231B2 (en) Computer system, and method and program for diagnosing plants
CN105021529A (en) Spectrum information and image information fusing crop plant disease and insect pest identifying and distinguishing method
CN104732564B (en) A kind of Estimating Leaf Area In Maize dynamic nondestructive monitoring device and method
KR20210077504A (en) Smart Farm Data System
KR20190015656A (en) Fruit monitoring system and method at the same
CN114460080A (en) Rice disease and pest intelligent monitoring system
CN115661650A (en) Farm management system based on data monitoring of Internet of things
CN110583594A (en) Disease and pest early warning and prevention and control system
CN116300608A (en) Intelligent agriculture remote monitoring system based on big data
KR101726944B1 (en) Apparatus and method for collecting growth information of crop
JP2020054289A (en) Harvest prediction system for facility cultivated fruits
CN111047458A (en) Farmland monitoring method
Zhou et al. Wheat phenology detection with the methodology of classification based on the time-series UAV images
CN107064159B (en) Device and system for detecting and judging growth trend according to yellow leaves of plants
KR101810901B1 (en) Apparatus for simulation for growth state crop organ
CN117057946A (en) Intelligent agricultural park data monitoring device and method
CN112489017A (en) Intelligent identification method and system for power equipment faults
KR102582588B1 (en) Measuring system the leaf growth index of crops using AI
Li et al. Image processing for crop/weed discrimination in fields with high weed pressure
CN114700941B (en) Strawberry picking method based on binocular vision and robot system

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant