WO2022215811A1 - 농작물 병충해 자동 감지 시스템 - Google Patents

농작물 병충해 자동 감지 시스템 Download PDF

Info

Publication number
WO2022215811A1
WO2022215811A1 PCT/KR2021/010923 KR2021010923W WO2022215811A1 WO 2022215811 A1 WO2022215811 A1 WO 2022215811A1 KR 2021010923 W KR2021010923 W KR 2021010923W WO 2022215811 A1 WO2022215811 A1 WO 2022215811A1
Authority
WO
WIPO (PCT)
Prior art keywords
crop
pest
information
pests
smart farm
Prior art date
Application number
PCT/KR2021/010923
Other languages
English (en)
French (fr)
Inventor
이준환
박동선
김형석
박근호
Original Assignee
전북대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전북대학교산학협력단 filed Critical 전북대학교산학협력단
Publication of WO2022215811A1 publication Critical patent/WO2022215811A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G13/00—Protecting plants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a technology for automatically predicting and detecting the occurrence of pests and pests in crops.
  • the present invention is to provide an automatic crop pest and pest detection system capable of automatically foreseeing and detecting the occurrence of pests and pests in all crops located in a wide area without manual intervention of the user.
  • a crop photographing device mounted on a moving cart moved within a smart farm and a sensing device installed in the smart farm are provided, and the crop photographing device provides the a smart farm device that automatically acquires an image of a crop whenever the mobile cart changes position, and senses a crop cultivation environment through the sensing device to generate and provide crop-related information;
  • the smart farm device includes: a mobile cart whose location in the smart farm is variable from time to time; a crop photographing device having a camera and a location tracker attached to the mobile cart, and automatically acquiring a crop image through the camera whenever the location tracker detects a change in at least one of a position and a height of the mobile cart; a sensing device that senses a crop cultivation environment through sensors distributed and installed in a smart farm; and a smart farm control device for acquiring and providing the crop-related information by collecting and editing information obtained through the crop photographing device and the sensing device while performing a crop cultivation environment control operation.
  • the crop-related information consists of the crop image, numerical values and text information, and the numerical and text information includes at least one of crop identification information, farm information, cultivation environment information, control information, nutritional information, and crop location information. characterized.
  • the pest detection server includes: a communication unit for receiving the crop-related information from the user terminal, and transmitting the pest detection result to the user terminal; a storage unit for storing the crop-related information, the pest detection result, and pest-related information; a learning unit that trains the neural network model through a plurality of pest images, pre-labeled with pest types and severity, and configures an inference model based on pest-related information; and a sensing unit that obtains and provides a result of detecting pests corresponding to the crop-related information by fusion of the neural network model and the inference model.
  • the neural network model is characterized in that it is implemented as a two-step cascade detection model having an initial diagnosis step of identifying a disease area and a precision detection step of performing a precise detection operation on the disease area.
  • the reasoning model is characterized in that it is one of a statistical reasoning model and a case-based reasoning model.
  • the detection unit may further include a function of calculating and providing a basis for determining the cause of pests by classifying and collecting numerical and text information based on the detection result of pests and pests, and then analyzing them.
  • the pest prediction and detection operation for all crops existing in a wide area within the smart farm can be performed.
  • the accuracy of pest detection can be improved by using a fusion of a neural network model and an inference model.
  • remote terminals of farms in various regions can easily accumulate pest information by receiving pest detection services, which are linked with regional or national pest management systems of the central government or local governments It can be used for various purposes.
  • FIG. 1 is a block diagram of a pest detection system according to an embodiment of the present invention.
  • FIGS. 2 to 4 are diagrams illustrating a neural network model applied to a pest detection system according to an embodiment of the present invention.
  • FIG. 5 is a block diagram of an apparatus for detecting pests and pests according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating image information according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating text information according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a result of pest detection according to an embodiment of the present invention.
  • FIG. 9 is a block diagram of a pest detection apparatus according to an additional embodiment of the present invention.
  • FIG. 10 is a flowchart of a pest detection method according to an embodiment of the present invention.
  • FIG. 11 is a flowchart of a method for determining the accuracy of a deep learning-based neural network model according to an embodiment of the present invention.
  • FIG. 12 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in exemplary embodiments of the present invention
  • FIG. 1 is a block diagram of a pest detection system 100 according to an embodiment of the present invention.
  • the pest detection system 100 of the present invention is to provide a pest detection service that enables automatic or manual acquisition of pest occurrence information on crops grown in a smart farm.
  • the pest detection system of the present invention may include at least one smart farm device 100 , a user terminal 200 , and a pest detection server 300 .
  • the smart farm device 100 includes a mobile cart 110 , a crop photographing device 120 , a sensing device 130 , and a smart farm control device 140 , and includes images of crops grown through the smart farm and crop cultivation related To automatically obtain and provide information.
  • the present invention proposes a crop photographing device 120 mounted on the mobile cart 110, and the crop photographing device 120 links the movement of the mobile cart 110 to move the image of all crops existing in the smart farm. It is automatically acquired and made available.
  • the mobile cart 110 is a mobile device having an accommodation space to support the movement, management, harvesting, etc. of crops, and the location value may be variously adjusted in the smart farm by the user or the smart farm control device 140 .
  • the crop photographing apparatus 120 includes a camera 121 and a location tracker 122 attached to the mobile cart 100 , and detects a change in the location of the mobile cart 110 through the location tracker 122 . If the mobile cart 110 stays at the same location for more than a preset time after being moved, the crops located in front of the mobile cart 110 are photographed through the camera 121 and then the smart farm is controlled together with the crop location information. to be provided to the device 140 .
  • the crop image may be in the form of any one of a photo and a video.
  • the location tracker 122 of the present invention may be implemented as a GPS device, and if necessary, further comprising a height detection sensor (not shown) implemented as a gravity sensor, a distance sensor, etc. in addition to the GPS device, and the mobile cart 110 ) in addition to the X, Y coordinates, the height (in particular, the change in the height of the camera 121) is additionally detected, and thus the crop photographing operation can also be additionally performed.
  • a height detection sensor (not shown) implemented as a gravity sensor, a distance sensor, etc. in addition to the GPS device, and the mobile cart 110 ) in addition to the X, Y coordinates, the height (in particular, the change in the height of the camera 121) is additionally detected, and thus the crop photographing operation can also be additionally performed.
  • the sensing device 130 includes a temperature sensor, a humidity sensor, an illuminance sensor, a nutrient solution sensor, etc. distributed and installed in the smart farm, and obtains and provides numerical and text information related to the crop cultivation environment of the smart farm through these.
  • the smart farm control device 140 frequently adjusts the crop cultivation environment according to a preset crop cultivation schedule or user control value, and at the same time collects and edits information obtained through the crop photographing device 120 and the sensing device 130 . After generating crop-related information, it is transmitted to the user terminal 200 .
  • the crop-related information basically includes crop images, crop locations, and crop cultivation environment information, but may additionally include smart farm control information obtained through the smart farm control device 140 .
  • the user terminal 200 is implemented with a smart phone, a tablet PC, etc. that can be interoperable with the smart farm device 100 , which collects crop-related information obtained and provided to the smart farm device 100 , and the pest detection server 300 . ), and the pest detection server 300 provides audiovisual guidance to the user of the pest detection result provided in response thereto.
  • the user terminal 200 configures and provides a user information input screen, so that the user can use the information related to the crop (eg, detailed information on the location of the crop, the crop location, growth information, control information, nutrients and nutrient solution) information, etc.) is additionally input or corrected in numerical and text form, and this can be additionally provided to the pest detection server 300 .
  • information related to the crop eg, detailed information on the location of the crop, the crop location, growth information, control information, nutrients and nutrient solution
  • this can be additionally provided to the pest detection server 300 .
  • the image of the crop is additionally acquired or corrected through the camera built into the user terminal 200 , and then it can be additionally provided to the pest detection server 300 .
  • information automatically obtained through the smart farm device 100 is basically provided to the pest detection server 300, but when the user needs it, the user can additionally input and provide additional information related to crops. .
  • the pest detection server 300 may be configured as one or more servers for providing a pest detection service to a user in connection with the user terminal 200 through a wired/wireless network.
  • the pest detection server 300 has a neural network model in which the correlation between the crop image and the pest diagnosis result is pre-learned, and through this, it detects the pest on the crop and transmits the pest detection result to the user terminal 200.
  • a detection service may be provided.
  • the pest detection server 300 additionally includes an inference model in which the correlation between the crop cultivation environment and the pest diagnosis result is predefined based on pest-related information in addition to the neural network model. to obtain and provide.
  • FIGS. 2 to 4 are diagrams illustrating a neural network model applied to a pest detection system according to an embodiment of the present invention.
  • the neural network model of the present invention is a two-stage cascade detection model having an initial diagnosis stage (Stage1) for identifying a disease region and a fine sensing stage (Stage2) for performing a precise sensing operation on the disease region. is implemented
  • the role of the first stage in cascade detection (Stage1) is to increase recovery by using a low detection threshold, and the goal of the second stage (Stage2) is to increase precision and reduce false positives.
  • the first step separates the diagnostic results into three categories: "normal”, “abnormal (fruit, leaf)” and “background object” (including vinyl or other items that are not part of a plant).
  • the detection results of the first stage are merged.
  • one large area is prepared by merging adjacent suspicious disease areas (short distance) into a rectangle.
  • detected background objects i.e., areas where no disease appeared
  • the merged area of the rectangle is cut out, resized and fed to the Detection module, which again scrutinizes the diseased area for "angled leaf spots”, “anthrax fruit rot", " After obtaining the disease grade and location analysis results of "gray mold”, “leaf blight”, “leaf spot” and “powder fungus fruit / leaf”, display them on the input image. That is, in the second step, precise diagnosis is performed on a limited area, so that high accuracy and low false detection rate can be provided.
  • Both the first and second sensing modules can use the ResNet152 backbone network as the initial backbone feature extractor as shown in Fig. 4, because the ResNet152 backbone network performed best in the LifeCREF 2017 classification task.
  • the extracted features can be captured into the FPN structure, allowing regions to be classified based on multi-scale feature representations suggested and accurately located.
  • FIG. 5 is a block diagram of a pest detection server 300 according to an embodiment of the present invention.
  • the pest detection server 300 of the present invention includes a communication unit 310 , a storage unit 320 , a learning unit 330 , and a detection unit 340 .
  • the communication unit 310 receives crop-related information including image information on crops from the user terminal 200 , and transmits a result of detecting pests and pests on the crops to the user terminal 200 .
  • FIG. 6 is a view corresponding to an example of collecting crop-related information according to an embodiment of the present invention.
  • images, figures, and text information of crops can be automatically acquired and provided through a crop photographing device and a sensing device provided in the smart farm device 100 .
  • FIG. 7 is a diagram illustrating numerical and text information according to an embodiment of the present invention.
  • the numerical and text information of the present invention includes crop identification information such as the name of the crop, the type of the crop, and sowing, but the farm + information, cultivation environment information , may further include at least one of control information, nutritional information, and crop location information.
  • the farm information includes information on the farm where crops are grown, such as the area and size of the farm
  • the cultivation environment information includes information on the environment where crops are grown, such as temperature, humidity, illuminance, and sunlight
  • the control information includes the name of the pesticide
  • nutritional information includes information on the history of injecting nutrients into crops, such as nutrient name and nutrient injection date
  • crop location information includes information on relative location and shooting height within the smart farm.
  • the smart farm control device 140 varies the number of times of acquiring and providing information according to information types and characteristics, thereby preventing unnecessary increases in communication and storage loads in advance.
  • crop identification information and farm information may be acquired and provided only once, but cultivation environment information may be repeatedly acquired and provided at regular intervals.
  • control information and nutritional information can be selectively transmitted only when a related event occurs or re-inspection is required.
  • the communication unit 310 transmits image information on crops to a pre-registered expert terminal, can receive the expert's pest diagnosis result for image information from the expert terminal, and obtains annotation data for learning the neural network model. can do.
  • the communication unit 310 transmits image information about the crop received from the user terminal 200 to the expert's terminal to provide the expert with image information can provide
  • the communication unit 310 receives the expert's pest diagnosis result and annotation result from the expert's terminal, and transmits the expert's pest diagnosis result to the user terminal 200, thereby providing the expert's pest diagnosis service to the user. It can be used to train neural network models.
  • the storage unit 320 stores crop-related information, pest detection results, and pest-related information.
  • the storage unit 320 of the present invention can be implemented in a cloud server method instead of a conventional hard disk method, so that the expandability and reliability of information storage can be more safely secured.
  • the pest-related information refers to information related to pests and pests that have occurred in existing crops, and may include, for example, the probability of occurrence by type of pests, the occurrence of pests, and the like. These information can be linked with the pests and pest related servers of local governments or central governments.
  • the learning unit 330 acquires a plurality of pest images pre-labeled with pest types and severity by an expert, and based on these, the neural network model repeatedly learns the correlation between crop-related information and pest detection results.
  • the neural network model may be a data-driven deep learning model for detecting pests and diseases of crops by analyzing image information on crops.
  • the learning unit 330 may also build an inference model in which a correlation between a crop cultivation environment and a pest diagnosis result is predefined based on the pest-related information.
  • the reasoning model of the present invention may be one of a statistical reasoning model and a case-based reasoning model, and the statistical reasoning model may be Bayesian reasoning, rule-based reasoning, or the like.
  • the sensing unit 340 acquires and provides a pest detection result corresponding to the crop-related information by using the fusion of the neural network model and the inference model.
  • the sensing unit 340 inputs the crop image included in the crop-related information to the neural network model to obtain a pest detection result corresponding to the crop image through the neural network model.
  • the neural network model by analyzing numerical and textual information included in crop-related information through an inference model, the probability of occurrence by type of pests and pests occurring on existing crops is analyzed, or a situation similar to the corresponding crop among the cases of pests occurring on existing crops.
  • the output information of the neural network model and the inference model is collected to generate and provide the final pest detection result.
  • a neural network model and an inference model can be integrated and used, and as a result, numerical and text information as well as automatically or manually input image information for crops are used together to detect pests and pests on crops. to increase the accuracy.
  • FIG. 8 is a diagram illustrating a pest detection result according to an embodiment of the present invention.
  • Fig. 8(a) shows the detection result of the neural network model
  • Fig. 8(b) shows the detection result expressed in the user terminal.
  • the pest detection result in the present invention may indicate a specific part of a crop, and may indicate the type of pest that has occurred in the corresponding part.
  • the pest detection result is composed of a box area guiding the part where the pest is detected on the image information and a text guiding the type of pest that has occurred in the detected part, and each of the pest detection results is overlaid on the image information. make it visible.
  • the detection unit 340 of the present invention classifies and analyzes numerical and text information based on the detection result of pests, thereby calculating and providing the basis for determining the cause of pests and pests.
  • FIG. 9 is a diagram illustrating a basis for determining the cause of pests and pests according to an embodiment of the present invention.
  • the basis for determining the cause of these pests may be guided to the user in the form of a table or graph, and converted into a necessary numerical or text form to be guided to the user.
  • FIG. 10 is a block diagram of a pest detection server 300 according to another embodiment of the present invention.
  • the pest detection server 300 of the present invention further includes an accuracy determination unit 340 in addition to the communication unit 310 , the storage unit 320 , and the detection unit 340 .
  • the accuracy determining unit 340 may determine the accuracy of the deep learning-based neural network model based on a Turing test using the expert's pest diagnosis result for image information and the pest detection result for crops. This can be used to objectively guarantee the reliability of the pest detection system.
  • the accuracy determining unit 340 performs a Turing test using the expert's pest diagnosis result and the pest detection result generated by the sensing unit 340, and the accuracy of the deep learning-based neural network model through the Turing test result. can be judged
  • the accuracy determination unit 340 determines the accuracy of the deep learning-based neural network model using the Turing test, and if the accuracy is low, the deep learning-based neural network model is additionally trained to improve the pest detection performance of the deep learning-based neural network model.
  • FIG. 11 is a flowchart of a pest detection method according to an embodiment of the present invention.
  • the method illustrated in FIG. 11 may be performed, for example, by the pest detection server 300 illustrated in FIG. 2 .
  • the pest detection server 300 receives crop-related information including image information on crops from the user terminal 200 ( 710 ).
  • the pest detection server 300 stores crop-related information (720).
  • the pest detection server 300 uses a pre-learned deep learning-based neural network model using a plurality of pre-labeled pest images and an inference model based on pre-stored pest-related information by fusion using, A pest detection result corresponding to crop-related information may be obtained ( 730 ).
  • the pest detection server 300 stores the result of pest detection for crops ( 740 ).
  • the pest detection server 300 transmits the pest detection result for the crop to the user terminal 200 (750).
  • FIG. 12 is a flowchart of a method for determining the accuracy of a deep learning-based neural network model according to an embodiment of the present invention.
  • the method illustrated in FIG. 12 may be performed, for example, by the pest detection server 300 illustrated in FIG. 10 .
  • the pest detection server 300 transmits image information on crops to the expert's terminal ( 810 ).
  • the pest detection server 300 receives the expert's pest diagnosis result for image information from the expert terminal ( 820 ).
  • the pest detection server 300 determines the accuracy of the deep learning-based neural network model based on the Turing test using the expert diagnosis result for the crop and the pest detection result for the crop ( 830 ).
  • the method has been described by dividing the method into a plurality of steps, but at least some of the steps are performed in a different order, are performed in combination with other steps, are omitted, or are detailed steps. It may be performed separately, or one or more steps not shown may be added and performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Animal Husbandry (AREA)
  • Agronomy & Crop Science (AREA)
  • General Business, Economics & Management (AREA)
  • Environmental Sciences (AREA)
  • Toxicology (AREA)
  • Mining & Mineral Resources (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Catching Or Destruction (AREA)

Abstract

본 발명은 농작물 병충해 자동 감지 시스템에 관한 것으로, 이는 스마트 팜내에서 위치 이동되는 이동 카트에 장착된 농작물 촬영 장치와 스마트 팜내에 설치된 센싱 장치를 구비하고, 상기 농작물 촬영 장치를 통해서는 상기 이동 카트가 위치 변화될 때마다 농작물 이미지를 자동으로 획득하고, 상기 센싱 장치를 통해서는 농작물 재배 환경을 센싱하여 농작물 관련 정보를 생성 및 제공하는 스마트 팜 장치; 농작물 이미지와 병충해 진단 결과간의 상관 관계가 사전 학습된 신경망 모델과 농작물 재배 환경과 병충해 진단 결과간의 상관 관계가 사전 정의된 추론 모델을 구비하고, 상기 신경망 모델과 상기 추론 모델을 융합 이용하여 상기 농작물 관련 정보에 대응되는 병해충 감지 결과를 획득 및 제공하는 병충해 감지 서버; 및 상기 스마트 팜 장치로부터 상기 농작물 관련 정보를 수신하여 상기 병충해 감지 서버에 전달하고, 상기 병충해 감지 서버로부터 피드백되는 병해충 감지 결과를 사용자에게 시청각적으로 안내하는 사용자 단말을 포함할 수 있다.

Description

농작물 병충해 자동 감지 시스템
본 발명은 농작물의 병충해 발생을 자동으로 예찰하고 감지할 수 있도록 하는 기술에 관한 것이다.
과거부터 현재에 이르기까지 농가 등에서는 병충해 피해를 예방 및 방지하기 위한 많은 노력을 하고 있다. 왜냐하면, 병충해는 농작물의 생산량에 치명적인 영향을 끼치고, 병충해 방제 작업의 난이도가 높기 때문이다. 이때, 병충해에 의한 농작물의 피해를 최소화하기 위해서는 병충해의 발생을 예방하는 것이 중요하다. 따라서, 병충해의 발생을 예찰하고 감지 판단하여 빠른 시기에 농약 사용량을 최소화하여 방제하는 것이 바람직하다.
한편, 종래의 기술은 사람이 직접 농작물 이미지를 취득하여 농작물 병충해 감지기를 통해 농작물의 병충해를 감지한다. 그러나 이는 농작물 이미지 취득에 사람의 노력이 수반되는 방법으로 광범위한 지역을 지속적으로 예찰하기에는 비효율적인 문제가 있었다.
이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 사용자의 수동 개입 없이 광범위한 지역에 위치하는 농작물 모두의 병충해 발생으로 자동으로 예찰하고 감지할 수 있도록 하는 농작물 병충해 자동 감지 시스템을 제공하고자 한다.
또한 신경망 모델과 추론 모델을 융합 이용하여 보다 정확한 병충해 감지 결과를 제공할 수 있도록 하는 농작물 병충해 자동 감지 시스템을 제공하고자 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면 스마트 팜내에서 위치 이동되는 이동 카트에 장착된 농작물 촬영 장치와 스마트 팜내에 설치된 센싱 장치를 구비하고, 상기 농작물 촬영 장치를 통해서는 상기 이동 카트가 위치 변화될 때마다 농작물 이미지를 자동으로 획득하고, 상기 센싱 장치를 통해서는 농작물 재배 환경을 센싱하여 농작물 관련 정보를 생성 및 제공하는 스마트 팜 장치; 농작물 이미지와 병충해 진단 결과간의 상관 관계가 사전 학습된 신경망 모델과 농작물 재배 환경과 병충해 진단 결과간의 상관 관계가 사전 정의된 추론 모델을 구비하고, 상기 신경망 모델과 상기 추론 모델을 융합 이용하여 상기 농작물 관련 정보에 대응되는 병해충 감지 결과를 획득 및 제공하는 병충해 감지 서버; 및 상기 스마트 팜 장치로부터 상기 농작물 관련 정보를 수신하여 상기 병충해 감지 서버에 전달하고, 상기 병충해 감지 서버로부터 피드백되는 병해충 감지 결과를 사용자에게 시청각적으로 안내하는 사용자 단말을 포함하는 농작물 병충해 자동 감지 시스템을 제공한다.
상기 스마트 팜 장치는 스마트 팜내에서의 위치가 수시 가변되는 이동 카트; 상기 이동 카트에 부착되는 카메라와 위치 추적기를 구비하고, 상기 위치 추적기가 상기 이동 카트의 위치와 높이 중 적어도 하나의 변화를 감지할 때마다 상기 카메라를 통해 농작물 이미지를 자동 획득하는 농작물 촬영 장치; 스마트 팜에 분산 설치되는 센서들을 통해 농작물 재배 환경을 센싱하는 센싱 장치; 농작물 재배 환경 제어 동작을 수행함과 동시에 상기 농작물 촬영 장치 및 상기 센싱 장치를 통해 획득되는 정보를 수집 및 편집하여 상기 농작물 관련 정보를 획득 및 제공하는 스마트 팜 제어 장치를 포함하는 것을 특징으로 한다.
상기 농작물 관련 정보는 상기 농작물 이미지와 수치 및 텍스트 정보로 구성되며, 상기 수치 및 텍스트 정보는 농작물 식별 정보, 농장 정보, 재배 환경 정보, 방제 정보, 영양제 정보, 농작물 위치 정보 중 적어도 하나를 포함하는 것을 특징으로 한다.
상기 병충해 감지 서버는 상기 사용자 단말로부터 상기 농작물 관련 정보를 수신하고, 상기 병충해 감지 결과를 상기 사용자 단말로 전송하는 통신부; 상기 농작물 관련 정보, 상기 병충해 감지 결과 및 병충해 관련 정보를 저장하는 저장부; 병충해 종류 및 심각도가 사전 레이블링(labeling)된 복수의 병충해 이미지를 통해 신경망 모델을 학습시킴과 동시에 병충해 관련 정보를 기반으로 한 추론 모델을 구성하는 학습부; 및 상기 신경망 모델과 상기 추론 모델을 융합 이용하여 상기 농작물 관련 정보에 대응되는 병해충 감지 결과를 획득 및 제공하는 감지부를 포함하는 것을 특징으로 한다.
상기 신경망 모델은 질병 영역을 식별하는 초기 진단 단계와 질병 영역에 대한 정밀 감지 동작을 수행하는 정밀 감지 단계를 가지는 2 단계 캐스케이드 탐지 모델로 구현되는 것을 특징으로 한다.
상기 추론 모델은 통계적 추론 모델 및 사례기반 추론 모델 중 하나인 것을 특징으로 한다.
상기 감지부는 병충해 감지 결과를 기반으로 수치 및 텍스트 정보를 분류 수집한 후 분석함으로써, 병충해 유발 원인 판단 근거를 산출 및 제공하는 기능을 더 포함하는 것을 특징으로 한다.
본 발명의 실시예들에 따르면, 병충해 예찰 및 감지를 위한 농작물 관련 정보를 자동으로 수집 및 제공할 수 있도록 함으로써, 사용자의 편이성을 극대화할 수 있도록 한다.
그리고 스마트 팜내에서 위치 이동되는 이동 카트에 장착된 농작물 촬영 장치를 제안하고 이를 이용함으로써, 스마트 팜내 광범위한 지역에 존재하는 농작물 모두에 대한 병충해 예찰 및 감지 동작이 수행될 수 있도록 한다.
또한 신경망 모델과 추론 모델을 융합 이용함으로써 병충해 감지에 대한 정확도를 높일 수 있다.
더하여, 본 발명의 실시예들에 따르면, 여러 지역의 농장의 원격 단말이 병충해 감지 서비스를 제공받음으로써 병충해 정보를 쉽게 축적할 수 있고, 이는 중앙 정부 또는 지자체의 지역 또는 국가 병해충 관리 시스템과 연동하여 다양한 목적으로 활용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 병충해 감지 시스템의 구성도
도 2 내지 도 4는 본 발명의 일 실시예에 따른 병충해 감지 시스템에 적용되는 신경망 모델을 설명하기 위한 구성도
도 5은 본 발명의 일 실시예에 따른 병충해 감지 장치의 구성도
도 6은 본 발명의 일 실시예에 따른 이미지 정보를 예시한 도면
도 7는 본 발명의 일 실시예에 따른 텍스트 정보를 예시한 도면
도 8는 본 발명의 일 실시예에 따른 병충해 감지 결과를 예시한 도면
도 9은 본 발명의 추가적 실시예에 따른 병충해 감지 장치의 구성도
도 10은 본 발명의 일 실시예에 따른 병충해 감지 방법의 순서도
도 11은 본 발명의 일 실시예에 따른 딥러닝 기반 신경망 모델의 정확도를 판단하는 방법의 순서도
도 12는 본 발명의 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, “포함” 또는 “구비”와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 병충해 감지 시스템(100)의 구성도이다.
본 발명의 병충해 감지 시스템(100)는 스마트 팜에서 재배 중인 농작물에 대한 병충해 발생 정보를 자동 또는 수동으로 획득할 수 있도록 하는 병충해 감지 서비스를 제공하기 위한 것이다.
구체적으로, 도 1을 참고하면 본 발명의 병충해 감지 시스템은 적어도 하나의 스마트 팜 장치(100), 사용자 단말(200), 및 병충해 감지 서버(300) 등을 포함할 수 있다.
스마트 팜 장치(100)는 이동 카트(110), 농작물 촬영 장치(120), 센싱 장치(130) 및 스마트 팜 제어 장치(140) 등을 포함하며, 스마트 팜을 통해 재배되는 농작물 이미지와 농작물 재배 관련 정보를 자동으로 획득 및 제공할 수 있도록 한다.
참고로, 스마트 팜에 적용되는 이동 카트(110)의 경우, 농작물 재배하는 전 주기 동안 수시로 위치 이동되며, 특히 스마트 팜에 위치 고정된 카메라와 달리 농작물이 존재하는 모든 위치로 구석 구석 이동되는 특징을 가진다. 이에 본 발명에서는 이동 카트(110)에 장착되는 농작물 촬영 장치(120)를 제안하고, 농작물 촬영 장치(120)가 이동 카트(110)의 위치 이동에 연계하여 스마트 팜내에 존재하는 농작물 모두의 이미지를 자동으로 획득하여 제공할 수 있도록 한다.
이동 카트(110)는 농작물의 이동, 관리, 수확 등을 지원하기 위한 수납 공간을 구비한 이동 장치로써, 사용자 또는 스마트 팜 제어 장치(140)에 의해 스마트 팜내에서 위치 값이 다양하게 조정될 수 있다.
농작물 촬영 장치(120)는 이동 카트(100)에 부착된 카메라(121)와 위치 추적기(122)를 구비하고, 위치 추적기(122)를 통해 이동 카트(110)의 위치 변화를 감지한다. 만약, 이동 카트(110)가 위치 이동된 후 동일 위치에서 기 설정 시간 이상 머무르면, 카메라(121)를 통해 이동 카트(110)의 전방에 위치하는 농작물을 촬영한 후 농작물 위치 정보와 함께 스마트 팜 제어 장치(140)에 제공하도록 한다. 이때, 농작물 이미지는 사진과 동영상 중 어느 하나의 형태일 수 있다.
더하여, 본 발명의 위치 추적기(122)는 GPS 장치로 구현될 수 있으며, 필요한 경우에는 GPS 장치 이외에 중력 센서, 거리 센서 등으로 구현되는 높이 감지 센서(미도시)를 더 구비하여, 이동 카트(110)의 X,Y 좌표 이외에 높이(특히, 카메라(121)의 높이 변화)를 추가 감지하고, 이에 따른 농작물 촬영 동작도 추가적으로 수행할 수도 있도록 한다.
즉, 본 발명에서는 동일 농작물이라 하더라도 농작물 높이별로 병충해 발생 상태가 달라질 수 있음을 고려하여, 농작물 이미지를 농작물 높이별로도 획득 및 분석할 수 있도록 한다.
센싱 장치(130)는 스마트 팜에 분산 설치되는 온도 센서, 습도 센서, 조도 센서, 양액 센서 등을 구비하고, 이들을 통해 스마트 팜의 농작물 재배 환경에 관련된 수치 및 텍스트 정보를 획득 및 제공한다.
스마트 팜 제어 장치(140)는 기 설정된 농작물 재배 스케쥴 또는 사용자 제어값에 따라 농작물 재배 환경을 수시 조정하고, 이와 동시에 농작물 촬영 장치(120) 및 센싱 장치(130)를 통해 획득되는 정보를 수집 및 편집하여 농작물 관련 정보를 생성한 후, 사용자 단말(200)에 전달하도록 한다.
이때, 농작물 관련 정보는 농작물 이미지, 농작물 위치, 농작물 재배 환경 정보를 기본 포함하되, 스마트 팜 제어 장치(140)를 통해 획득되는 스마트 팜 제어 정보를 추가 포함할 수도 있도록 한다.
사용자 단말(200)은 스마트 팜 장치(100)과 상호 연동될 수 있는 스마트 폰, 테블릿 PC 등으로 구현되며, 이는 스마트 팜 장치(100)에 획득 및 제공하는 농작물 관련 정보를 병충해 감지 서버(300)에 전달하고, 병충해 감지 서버(300)가 이에 응답하여 제공하는 병충해 감지 결과를 사용자에게 시청각적으로 안내하도록 한다.
또한 사용자 단말(200)은 사용자 정보 입력 화면을 구성 및 제공함으로써, 사용자가 이를 통해 농작물에 관련된 정보(예를 들어, 농작물 위치에 대한 상세 정보, 농작물 촬영 부위, 생육 정보, 방제 정보, 영양제 및 양액 정보 등)을 수치 및 텍스트 형태로 추가적으로 입력하거나 정정 입력하고, 이를 병충해 감지 서버(300)에 추가 제공할 수 있도록 한다.
뿐 만 아니라 사용자 단말(200)에 내장된 카메라를 통해 농작물에 대한 이미지 또한 추가적으로 획득하거나 정정 획득한 후, 이를 병충해 감지 서버(300)에 추가 제공할 수도 있도록 한다.
즉, 본 발명에서는 스마트 팜 장치(100)를 통해 자동으로 획득되는 정보를 병충해 감지 서버(300)에 기본 제공하되, 사용자 필요시에는 사용자가 농작물에 관련된 부가적으로 추가적으로 입력 및 제공할 수도 있도록 한다.
병충해 감지 서버(300)는 유/무선 네트워크를 통해 사용자 단말(200)과 연계하여 사용자에게 병충해 감지 서비스를 제공하기 위한 하나 이상의 서버로 구성될 수 있다.
병충해 감지 서버(300)는 농작물 이미지와 병충해 진단 결과간의 상관 관계가 사전 학습된 신경망 모델을 구비하고, 이를 통해 농작물에 대한 병충해를 감지하여 병충해 감지 결과를 사용자 단말(200)로 전송함으로써 사용자에게 병충해 감지 서비스를 제공할 수 있다.
또한 병충해 감지 서버(300)는 신경망 모델 이외에 병충해 관련 정보를 기반으로 농작물 재배 환경과 병충해 진단 결과간의 상관 관계가 사전 정의된 추론 모델을 추가 구비하고, 이와 신경망을 융합 이용하여 보다 정확한 병해충 감지 결과를 획득 및 제공할 수도 있도록 한다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 병충해 감지 시스템에 적용되는 신경망 모델을 설명하기 위한 구성도이다.
도 2에 도시된 바와 같이, 본 발명의 신경망 모델은 질병 영역을 식별하는 초기 진단 단계(Stage1)와 질병 영역에 대한 정밀 감지 동작을 수행하는 정밀 감지 단계(Stage2)를 가지는 2 단계 캐스케이드 탐지 모델로 구현된다.
각 단계는 LifeCLEF 2017 챌린지(Joly, A., Goeau, H., Glotin, H., Spampinato, C., Bonnet, P., Vellinga, W. P., et al. (2017). “Lifeclef 2017 lab overview: multimedia species identification challenges,” in Proceedings of the International Conference of the Cross-Language Evaluation Forum for European Languages, (Cham: Springer), 255-274. doi: 10.1007/978-3-319-65813-1_24)의 PlantCLEF 데이터 세트를 사용하여 사전 학습된 기능 추출기의 백본으로 식물 도메인 지식 네트워크 (PlantNet) 중 하나를 사용하여 구성될 수 있다.
첫 번째 단계(Stage1)에서는 경계 상자의 위치에 대한 신뢰도 점수가 낮은 의심스러운 질병 영역을 감지한다. 일반적으로 캐스케이드 감지에서 첫 번째 단계의 역할(Stage1)은 낮은 감지 임계 값을 사용하여 회수율을 높이는 것이고, 두 번째 단계(Stage2)의 목표는 정밀도를 높이고 오 탐지를 줄이는 것이다.
첫 번째 단계에서는 "정상", "비정상 (과일, 잎)"및 "배경 개체"(비닐 또는 식물의 일부가 아닌 기타 품목 포함)라는 세 가지 범주로 진단 결과를 구분한다.
두 번째 단계(Stage2)에서는 첫 번째 단계의 감지 결과는 병합된다. 도 3에서와 같이 인접한 의심스러운 질병 영역(짧은 거리)을 직사각형으로 병합하여 하나의 넓은 영역을 준비한다. 이 병합 프로세스에서 감지된 배경 개체(즉, 질병이 나타나지 않은 영역)는 제거하여, 오 탐지 가능성을 줄임과 동시에 두 번째 단계에 도달하는 속도가 빨라지도록 한다. 그리고 사각형의 병합된 영역을 잘라 내고 크기를 조정하여 진단 모듈(Detection module)에 공급하고, 진단 모듈(Detection module)은 질병 영역을 다시 면밀히 조사하여 "각진 잎 반점", "탄저병 열매 썩음", "회색 곰팡이", "잎 마름병","잎 반점" 및 "가루 곰팡이 과일 / 잎 "의 질병 등급과 위치 분석 결과를 획득한 후, 입력 이미지 상에 표시하도록 한다. 즉, 두 번째 단계에서는 제한된 영역에 대한 정밀 진단을 수행함으로써, 높은 정확도와 낮은 오탐지율을 제공할 수 있도록 한다.
첫 번째 및 두 번째 감지 모듈 모두는 도 4와 같이 초기 백본 특징 추출기로써 ResNet152 백본 네트워크를 이용할 수 있는 데, 이는 ResNet152 백본 네트워크가 LifeCREF 2017 분류 작업에서 최고의 성능을 발휘했기 때문이다. 추출된 특징은 FPN 구조로 캡처될 수 있으며, 다중 스케일 특징 표현을 기반으로 분류할 영역이 제안되고 정확하게 위치되도록 한다.
도 5은 본 발명의 일 실시예에 따른 병충해 감지 서버(300)의 구성도이다.
도 5에 도시된 바와 같이, 본 발명의 병충해 감지 서버(300)는 통신부(310), 저장부(320), 학습부(330) 및 감지부(340) 등을 포함한다.
통신부(310)는 사용자 단말(200)로부터 농작물에 대한 이미지 정보를 포함하는 농작물 관련 정보를 수신하고, 농작물에 대한 병충해 감지 결과를 사용자 단말(200)로 전송한다.
도 6은 본 발명의 일 실시예에 따른 농작물 관련 정보를 수집하는 예에 해당하는 도면이다.
도 6을 참조하면, 본 발명은 스마트 팜 장치(100)에 구비된 농작물 촬영 장치와 센싱 장치를 통해 자동으로 농작물의 이미지, 수치 및 텍스트 정보를 획득 및 제공할 수 있도록 한다.
또한 자동 검지의 신뢰성 때문에 수동 재 감지 등이 필요한 경우에는, 사용자 단말(200)을 이용하여 사용자가 직접 촬영한 농작물 이미지와 해당 농작물에 관련된 각종 정보에 대응되는 수치 및 텍스트 정보를 추가적으로 획득하여 제공할 수도 있도록 한다.
도 7는 본 발명의 일 실시예에 따른 수치 및 텍스트 정보를 예시한 도면이다.
도 7(a) 내지 도 7(e)에 도시된 바와 같이, 본 발명의 수치 및 텍스트 정보는 농작물의 이름, 농작물의 종류, 파종 등의 농작물 식별 정보를 포함하되, 농장+ 정보, 재배 환경 정보, 방제 정보, 영양제 정보, 및 농작물 위치 정보 중 적어도 하나를 추가 포함할 수 있다.
농장 정보는 농장의 지역, 규모 등 농작물이 재배되는 농장에 대한 정보를 포함하고, 재배 환경 정보는 온도, 습도, 조도, 일조량 등 농작물이 재배되는 환경 에 정보를 포함하고, 방제 정보는 방제약 이름, 방제 날짜 등 농작물 방제 이력에 대한 정보를 포함하고, 영양제 정보는 영양제 이름, 영양제 주입 날짜 등 농작물에 영양제를 주입한 이력에 대한 정보, 농작물 위치 정보는 스마트 팜내 상대적 위치 및 촬영 높이 등에 대한 정보를 포함할 수 있다.
그리고 스마트 팜 제어 장치(140)는 정보 종류 및 특성에 따라 정보의 획득 및 제공 횟수를 달리함으로써, 통신 및 저장 부하의 불필요한 증가를 사전 차단하도록 한다.
예를 들어, 농작물 식별 정보와 농장 정보는 단 한번만 획득 및 제공되도록 하되, 재배 환경 정보는 일정 주기로 반복 획득 및 제공될 수 있도록 한다. 또한 방제 정보 및 영양제 정보는 관련 이벤트가 발생하거나, 재검사가 필요한 경우에만 선택적으로 전송될 수도 있도록 한다.
한편, 통신부(310)는 농작물에 대한 이미지 정보를 기 등록된 전문가 단말로 전송하여, 전문가 단말로부터 이미지 정보에 대한 전문가의 병충해 진단 결과를 수신할 수 있으며, 신경망 모델의 학습을 위한 주석 데이터를 획득할 수 있다.
예를 들어, 사용자가 자신의 농작물에 대해 병충해 전문가의 병충해 감지 서비스를 선택한 경우, 통신부(310)는 사용자 단말(200)로부터 수신한 농작물에 대한 이미지 정보를 전문가의 단말로 전송하여 전문가에게 이미지 정보를 제공할 수 있다. 또한, 통신부(310)는 전문가의 단말로부터 전문가의 병충해 진단 결과와 주석 결과를 수신하고, 전문가의 병충해 진단 결과를 사용자 단말(200)로 전송함으로써 사용자에게 전문가의 병충해 진단 서비스를 제공할 수 있으며 이를 신경망 모델 학습에 이용할 수 있다.
저장부(320)는 농작물 관련 정보, 병충해 감지 결과 및 병충해 관련 정보를 저장한다. 특히, 본 발명의 저장부(320)는 기존의 하드디스크 방식이 아닌 클라우드 서버 방식으로 구현될 수 있어 정보 저장의 확대성과 신뢰성을 보다 안전하게 확보할 수 있도록 한다.
이때, 병충해 관련 정보는 기존의 농작물들에 발생된 병충해와 관련된 정보들을 의미하는 것으로 예를 들어, 병충해의 종류별 발생 확률, 병충해 발생 사례 등을 포함할 수 있다. 이들 정보는 지자체 또는 중앙정부의 병충해 관련 서버와 연동할 수 있다.
학습부(330)는 전문가에 의해 병충해 종류 및 심각도가 사전 레이블링(labeling)된 복수의 병충해 이미지를 획득하고, 이들을 기반으로 신경망 모델에 농작물 관련 정보와 병해충 감지 결과간의 상관 관계를 반복 학습시킨다.
이때, 신경망 모델은 농작물에 대한 이미지 정보를 분석하여 농작물의 병충해를 감지하기 위한 데이터 기반(data driven) 방식의 딥러닝 모델일 수 있다.
학습부(330)는 병충해 관련 정보를 기반으로 농작물 재배 환경과 병충해 진단 결과간의 상관 관계가 사전 정의된 추론 모델을 구축할 수 도 있도록 한다.
이때, 본 발명의 추론 모델은 통계적 추론 모델 및 사례기반 추론 모델 중 하나일 수 있으며, 통계적 추론 모델은 베이즈 추론(Bayesian reasoning), 규칙기반 추론 등일 수 있다.
이에 감지부(340)는 농작물 관련 정보가 수신되면, 신경망 모델과 추론 모델을 융합 이용하여 농작물 관련 정보에 대응되는 병충해 감지 결과를 획득 및 제공하도록 한다.
예를 들어, 감지부(340)는 농작물 관련 정보에 포함된 농작물 이미지를 신경망 모델에 입력하여, 신경망 모델을 통해 농작물 이미지에 대응되는 병충해 감지 결과를 획득하도록 한다. 그리고 추론 모델을 통해 농작물 관련 정보에 포함된 수치 및 텍스트 정보를 분석하여 기존의 농작물들에 발생된 병충해의 종류별 발생 확률을 분석하거나, 기존의 농작물들에 발생된 병충해 발생 사례 중 해당 농작물과 비슷한 상황을 가졌던 사례를 분석함으로써 농작물의 병충해 발생 여부를 판단하도록 한다. 그리고 신경망 모델과 추론 모델의 출력 정보를 취합하여 최종적인 병충해 감지 결과를 생성 및 제공하도록 한다.
즉, 본 발명에서는 신경망 모델과 추론 모델을 통합 이용할 수 있으며, 그 결과 농작물에 대한 자동 또는 수동으로 입력된 이미지 정보뿐만 아니라 수치 및 텍스트 정보를 함께 이용하여 농작물에 대한 병충해를 감지함으로써 병충해 감지에 대한 정확도를 높일 수 있도록 한다.
도 8는 본 발명의 일 실시예에 따른 병충해 감지 결과를 예시한 도면이다.
도 8(a)는 신경망 모델의 감지 결과를 표현한 것이며, 도 8(b)는 사용자 단말에 표현된 감지 결과를 보여 준다.
도 8의 (a) 및 (b)에 도시된 바와 같이, 본 발명에서의 병충해 감지 결과는 농작물의 특정 부위를 표시하고, 해당 부위에 발생한 병충해의 종류를 나타낼 수 있다.
특히, 본 발명에서는 하나의 이미지에 다수의 병충해 영역이 존재하더라도 이들 각각의 위치와 상태값을 동시에 검출하고 안내할 수 있도록 한다. 즉, 병충해 감지 결과가 이미지 정보 상에서 병충해가 감지된 부위를 안내하는 박스 영역과 상기 감지된 부위에 발생한 병충해의 종류를 안내하는 텍스트로 구성되도록 하고, 병충해 감지 결과각각이 이미지 정보 상에 오버레이되어 동시 표시될 수 있도록 한다.
더하여, 본 발명의 감지부(340)는 병충해 감지 결과를 기반으로 수치 및 텍스트 정보를 분류하고 분석함으로써, 병충해 유발 원인 판단 근거를 산출 및 제공할 수도 있도록 한다.
도 9는 본 발명의 일 실시예에 따른 병충해 유발 원인 판단 근거를 예시한 도면이다.
도 9에 도시된 바와 같이, 본 발명에서는 병충해 발생 상태에 따라 농장 정보, 재배 환경 정보, 방제 정보, 영양제 정보, 및 농작물 위치 정보를 분류하여 수집 한 후, 수집된 정보들에 대한 통계치를 획득한다.
그리고 통계치 기반으로 병충해가 발생하지 않은 농작물과 병충해가 발생한 농작물간의 정보값 편차를 정보 항목별로 확인한 후, 유의미한 정보값 편차가 발생한 항목을 선별하여 안내함으로써, 사용자가 이로부터 병충해 유발 원인을 보다 손쉽게 유추할 수 있도록 한다.
이러한 병충해 유발 원인 판단 근거는 표 또는 그래프 형태로 사용자에 안내될 수 있으며, 필요한 수치 또는 텍스트 형태로 변환되어 사용자에 안내될 수도 있도록 한다.
도 10은 본 발명의 다른 실시예에 따른 병충해 감지 서버(300)의 구성도이다.
도 10을 참고하면, 본 발명의 병충해 감지 서버(300)는 통신부(310), 저장부(320) 및 감지부(340) 이외에 정확도 판단부(340)를 더 포함한다.
정확도 판단부(340)는 이미지 정보에 대한 전문가의 병충해 진단 결과 및 농작물에 대한 병충해 감지 결과를 이용한 튜링 테스트(turing test)에 기초하여 딥러닝 기반 신경망 모델의 정확도를 판단할 수 있다. 이는 병해충 감지 시스템이 신뢰도를 객관적으로 보증하는데 활용될 수 있다.
구체적으로, 정확도 판단부(340)는 전문가의 병충해 진단 결과 및 감지부(340)에 의해 생성된 병충해 감지 결과를 이용하여 튜링 테스트를 수행하고, 튜링 테스트의 결과를 통해 딥러닝 기반 신경망 모델의 정확도를 판단할 수 있다.
이에 따라, 정확도 판단부(340)는 튜링 테스트를 이용하여 딥러닝 기반 신경망 모델의 정확도를 판단함으로써 정확도가 낮은 경우 딥러닝 기반 신경망 모델을 추가 학습시켜 딥러닝 기반 신경망 모델의 병충해 감지 성능을 향상시킬 수 있다.
도 11은 본 발명의 일 실시예에 따른 병충해 감지 방법의 순서도이다.
도 11에 도시된 방법은 예를 들어, 도 2에 도시된 병충해 감지 서버(300)에 의해 수행될 수 있다.
도 11을 참조하면, 병충해 감지 서버(300)는 사용자 단말(200)로부터 농작물에 대한 이미지 정보를 포함하는 농작물 관련 정보를 수신한다(710).
이후, 병충해 감지 서버(300는 농작물 관련 정보를 저장한다(720).
이후, 병충해 감지 서버(300는 사전 레이블링(labeling)된 복수의 병충해 이미지를 이용하여 사전 학습된 딥러닝(deep learning) 기반 신경망 모델과 기 저장된 병충해 관련 정보를 기반으로 한 추론 모델을 융합 이용하여, 농작물 관련 정보에 대응되는 병충해 감지 결과를 획득할 수 있다(730).
이후, 병충해 감지 서버(300는 농작물에 대한 병충해 감지 결과를 저장한다(740).
이후, 병충해 감지 서버(300는 농작물에 대한 병충해 감지 결과를 사용자 단말(200)로 전송한다(750).
도 12는 본 발명의 일 실시예에 따른 딥러닝 기반 신경망 모델의 정확도를 판단하는 방법의 순서도이다.
도 12에 도시된 방법은 예를 들어, 도 10에 도시된 병충해 감지 서버(300)에 의해 수행될 수 있다.
도 12을 참조하면, 병충해 감지 서버(300)는 농작물에 대한 이미지 정보를 전문가의 단말로 전송한다(810).
이후, 병충해 감지 서버(300)는 전문가 단말로부터 이미지 정보에 대한 전문가의 병충해 진단 결과를 수신한다(820).
이후, 병충해 감지 서버(300)는 농작물에 대한 전문가 진단 결과 및 농작물에 대한 병충해 감지 결과를 이용한 튜링 테스트에 기초하여 딥러닝 기반 신경망 모델의 정확도를 판단한다(830).
한편, 도 11 내지 도 12에 도시된 순서도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (7)

  1. 스마트 팜내에서 위치 이동되는 이동 카트에 장착된 농작물 촬영 장치와 스마트 팜내에 설치된 센싱 장치를 구비하고, 상기 농작물 촬영 장치를 통해서는 상기 이동 카트가 위치 변화될 때마다 농작물 이미지를 자동으로 획득하고, 상기 센싱 장치를 통해서는 농작물 재배 환경을 센싱하여 농작물 관련 정보를 생성 및 제공하는 스마트 팜 장치;
    농작물 이미지와 병충해 진단 결과간의 상관 관계가 사전 학습된 신경망 모델과 농작물 재배 환경과 병충해 진단 결과간의 상관 관계가 사전 정의된 추론 모델을 구비하고, 상기 신경망 모델과 상기 추론 모델을 융합 이용하여 상기 농작물 관련 정보에 대응되는 병해충 감지 결과를 획득 및 제공하는 병충해 감지 서버; 및
    상기 스마트 팜 장치로부터 상기 농작물 관련 정보를 수신하여 상기 병충해 감지 서버에 전달하고, 상기 병충해 감지 서버로부터 피드백되는 병해충 감지 결과를 사용자에게 시청각적으로 안내하는 사용자 단말을 포함하는 농작물 병충해 자동 감지 시스템.
  2. 제1항에 있어서, 상기 스마트 팜 장치는
    스마트 팜내에서의 위치가 수시 가변되는 이동 카트;
    상기 이동 카트에 부착되는 카메라와 위치 추적기를 구비하고, 상기 위치 추적기가 상기 이동 카트의 위치와 높이 중 적어도 하나의 변화를 감지할 때마다 상기 카메라를 통해 농작물 이미지를 자동 획득하는 농작물 촬영 장치;
    스마트 팜에 분산 설치되는 센서들을 통해 농작물 재배 환경을 센싱하는 센싱 장치; 및
    농작물 재배 환경 제어 동작을 수행함과 동시에 상기 농작물 촬영 장치 및 상기 센싱 장치를 통해 획득되는 정보를 수집 및 편집하여 상기 농작물 관련 정보를 획득 및 제공하는 스마트 팜 제어 장치를 포함하는 것을 특징으로 하는 농작물 병충해 자동 감지 시스템.
  3. 제1항에 있어서, 상기 농작물 관련 정보는
    상기 농작물 이미지와 수치 및 텍스트 정보로 구성되며,
    상기 수치 및 텍스트 정보는
    농작물 식별 정보, 농장 정보, 재배 환경 정보, 방제 정보, 영양제 정보, 농작물 위치 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 농작물 병충해 자동 감지 시스템.
  4. 제3항에 있어서, 상기 병충해 감지 서버는
    상기 사용자 단말로부터 상기 농작물 관련 정보를 수신하고, 상기 병충해 감지 결과를 상기 사용자 단말로 전송하는 통신부;
    상기 농작물 관련 정보, 상기 병충해 감지 결과 및 병충해 관련 정보를 저장하는 저장부;
    병충해 종류 및 심각도가 사전 레이블링(labeling)된 복수의 병충해 이미지를 통해 신경망 모델을 학습시킴과 동시에 병충해 관련 정보를 기반으로 한 추론 모델을 구성하는 학습부; 및
    상기 신경망 모델과 상기 추론 모델을 융합 이용하여 상기 농작물 관련 정보에 대응되는 병해충 감지 결과를 획득 및 제공하는 감지부를 포함하는 것을 특징으로 하는 농작물 병충해 자동 감지 시스템.
  5. 제4항에 있어서, 상기 신경망 모델은
    질병 영역을 식별하는 초기 진단 단계와 질병 영역에 대한 정밀 감지 동작을 수행하는 정밀 감지 단계를 가지는 2 단계 캐스케이드 탐지 모델로 구현되는 것을 특징으로 하는 농작물 병충해 자동 감지 시스템.
  6. 제4항에 있어서, 상기 추론 모델은
    통계적 추론 모델 및 사례기반 추론 모델 중 하나인 것을 특징으로 하는 농작물 병충해 자동 감지 시스템.
  7. 제4항에 있어서, 상기 감지부는
    병충해 감지 결과를 기반으로 수치 및 텍스트 정보를 분류 수집한 후 분석함으로써, 병충해 유발 원인 판단 근거를 산출 및 제공하는 기능을 더 포함하는 것을 특징으로 하는 농작물 병충해 자동 감지 시스템.
PCT/KR2021/010923 2021-04-06 2021-08-18 농작물 병충해 자동 감지 시스템 WO2022215811A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210044579 2021-04-06
KR10-2021-0044579 2021-04-06

Publications (1)

Publication Number Publication Date
WO2022215811A1 true WO2022215811A1 (ko) 2022-10-13

Family

ID=83545415

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/010923 WO2022215811A1 (ko) 2021-04-06 2021-08-18 농작물 병충해 자동 감지 시스템

Country Status (1)

Country Link
WO (1) WO2022215811A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180117758A (ko) * 2017-04-19 2018-10-30 한국생산기술연구원 무인운송장치, 이를 이용한 환경제어 시스템 및 방법
KR20200031884A (ko) * 2018-09-17 2020-03-25 전북대학교산학협력단 병충해 감지 장치 및 방법
KR20200044216A (ko) * 2018-10-11 2020-04-29 순천대학교 산학협력단 빅데이터를 이용한 병해충 발생 예측 시스템 및 방법
KR20210003967A (ko) * 2019-07-02 2021-01-13 한국전자기술연구원 시설원예 모니터링을 위한 장치 및 이를 위한 방법
KR20210028966A (ko) * 2019-09-05 2021-03-15 강원대학교산학협력단 작물 이미지의 병해충 검출 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180117758A (ko) * 2017-04-19 2018-10-30 한국생산기술연구원 무인운송장치, 이를 이용한 환경제어 시스템 및 방법
KR20200031884A (ko) * 2018-09-17 2020-03-25 전북대학교산학협력단 병충해 감지 장치 및 방법
KR20200044216A (ko) * 2018-10-11 2020-04-29 순천대학교 산학협력단 빅데이터를 이용한 병해충 발생 예측 시스템 및 방법
KR20210003967A (ko) * 2019-07-02 2021-01-13 한국전자기술연구원 시설원예 모니터링을 위한 장치 및 이를 위한 방법
KR20210028966A (ko) * 2019-09-05 2021-03-15 강원대학교산학협력단 작물 이미지의 병해충 검출 방법 및 장치

Similar Documents

Publication Publication Date Title
US11729347B2 (en) Video surveillance system, video processing apparatus, video processing method, and video processing program
WO2022145614A1 (ko) 축사 영상을 이용한 가축 체중 추정 시스템 및 방법
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2021221249A1 (ko) 스마트 가축 관리 시스템 및 그 방법
US20220167142A1 (en) Digital twin disaster management system customized for underground public areas
CN110826538A (zh) 一种用于电力营业厅的异常离岗识别系统
WO2015008936A1 (ko) 습관을 이용한 진단 장치 및 진단 관리 장치와 그를 이용한 진단 방법
WO2022114895A1 (ko) 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법
WO2019088519A1 (ko) 이미지 분석을 통한 해충 동정과 정보 모니터링 시스템 및 이를 이용한 모니터링 방법
WO2022158674A1 (ko) 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템 및 그 방법
CN106709424A (zh) 一种优化的监控视频存储系统及设备
WO2022030685A1 (ko) 휴대용 단말기를 이용한 피부질환 측정 시스템 및 피부질환 관리방법
WO2019045385A1 (ko) 영상 얼라인먼트 방법 및 그 장치
JP2021108149A (ja) 人物検出システム
WO2021100919A1 (ko) 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
CN212208379U (zh) 一种自动考勤测温系统
WO2021002722A1 (ko) 이벤트 태깅 기반 상황인지 방법 및 그 시스템
WO2021194008A1 (ko) 모돈 이상징후 포착 및 관리 클라우드 서비스 방법 및 장치
KR20130118512A (ko) 얼굴 인식을 통한 환자 상태 모니터링 시스템 및 이를 이용한 환자 상태 모니터링 서비스 제공 방법
KR20200105558A (ko) 컴퓨터 비전을 이용한 가축 질병 예측 시스템 및 그 방법
WO2022215811A1 (ko) 농작물 병충해 자동 감지 시스템
CN116246424A (zh) 一种老年人行为安全监控系统
WO2021080073A1 (ko) 고령자 생활 패턴 인지 시스템 및 방법
WO2024034923A1 (ko) 인공지능을 이용한 영상 감시 기반 개체 인식 및 행동패턴 분석 방법 및 시스템
CN117423049A (zh) 一种实时视频追踪异常事件的方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21936149

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21936149

Country of ref document: EP

Kind code of ref document: A1