JP6307680B1 - Plant health diagnosis system - Google Patents

Plant health diagnosis system Download PDF

Info

Publication number
JP6307680B1
JP6307680B1 JP2017103129A JP2017103129A JP6307680B1 JP 6307680 B1 JP6307680 B1 JP 6307680B1 JP 2017103129 A JP2017103129 A JP 2017103129A JP 2017103129 A JP2017103129 A JP 2017103129A JP 6307680 B1 JP6307680 B1 JP 6307680B1
Authority
JP
Japan
Prior art keywords
image
plant
learning
diagnosis
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017103129A
Other languages
Japanese (ja)
Other versions
JP2018196363A (en
Inventor
節三 田中
節三 田中
Original Assignee
節三 田中
節三 田中
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 節三 田中, 節三 田中 filed Critical 節三 田中
Priority to JP2017103129A priority Critical patent/JP6307680B1/en
Application granted granted Critical
Publication of JP6307680B1 publication Critical patent/JP6307680B1/en
Priority to CN201810483899.5A priority patent/CN109511406A/en
Publication of JP2018196363A publication Critical patent/JP2018196363A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Botany (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Environmental Sciences (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】植物の様々な健康状態を簡単かつ適切に把握することのできる、植物の健康診断システムを提供すること。【解決手段】植物を撮影した画像から健康状態の診断を行う、植物の健康診断システムであって、学習対象とする植物の画像である学習対象画像と、学習対象画像の撮影時点での学習対象の健康状態と、を参照し、診断対象とする植物の画像から当該植物の健康状態の診断方法を学習する学習手段105と、診断対象である植物を撮影した診断対象画像の入力を受け付け、診断方法に基づいた診断対象の健康状態の診断結果を出力する診断手段107と、を備えることを特徴とする。【選択図】図2The present invention provides a plant health diagnosis system capable of easily and appropriately grasping various health states of plants. A plant health diagnosis system for diagnosing a health condition from an image of a plant, the learning target image being a plant image to be learned, and the learning target at the time of shooting the learning target image A learning means 105 for learning a method for diagnosing the health state of the plant from an image of the plant to be diagnosed, and receiving an input of a diagnostic object image obtained by photographing the plant to be diagnosed. And a diagnosis unit 107 that outputs a diagnosis result of a health condition of a diagnosis target based on the method. [Selection] Figure 2

Description

本発明は、植物の健康状態の診断を行うシステム、より詳細には、診断対象とする植物を撮影した画像より、植物の健康状態の診断を行うシステムに関する。   The present invention relates to a system for diagnosing a health condition of a plant, and more particularly to a system for diagnosing a health condition of a plant from an image obtained by photographing a plant to be diagnosed.

農作物などをはじめとする植物の栽培にあたっては、植物の健康状態などの判断と、それを踏まえた適切な対処が必要とされる。例えば、植物体内の水分量に過不足があるような状態であれば、与える水の量の増減を行うという対処を、植物体内に特定の栄養素が不足しているような状態であれば、それを補うための肥料を与えるといった対処を、植物の一部が病気にかかっている状態であれば、当該部位の切除などの対処を行う、といったような、状態の判断と対処が必要である。しかし、植物の状態をその外観などから判断する場合においては、その植物の栽培を長年行い、熟練した者でなければ、適切な判断を下すのは難しい。   When cultivating plants such as crops, it is necessary to judge the health of the plant and take appropriate measures based on it. For example, if there is an excess or deficiency in the amount of water in the plant body, the countermeasure of increasing or decreasing the amount of water to be given is taken. It is necessary to determine and deal with the situation such as providing fertilizer to compensate for the situation, such as removing the part if the plant is in a diseased state. However, when judging the state of a plant from its appearance or the like, it is difficult to make an appropriate judgment unless the plant is cultivated for many years and is skilled.

これに対し、そのような熟練した者でなくとも植物の状態を判断できるよう補助するシステム等が提案されている。例えば、特許文献1には、植物の栽培を行うユーザが画像読取装置によって植物の画像をセンタの植物画像解析装置へと送信し、植物画像解析装置により、葉面の色などに基づいた障害の診断を行い、その結果や対処法をユーザの画像読取装置へと送信する、植物の自動診断システムが記載されている。   On the other hand, a system that assists the judgment of the state of the plant without being a skilled person has been proposed. For example, in Patent Document 1, a user who cultivates a plant transmits an image of a plant to the plant image analysis device at the center by the image reading device, and the plant image analysis device uses the color of the leaf surface or the like. An automatic plant diagnosis system is described that performs diagnosis and transmits the results and countermeasures to a user's image reader.

また、特許文献2には、植物の葉茎や土壌からサンプルを採取し、試験紙やLED反射光時計を用いて、植物の樹液や土壌に含まれる成分の分析を行う、植物体栄養のリアルタイム診断法が記載されている。   Patent Document 2 discloses real-time plant nutrition, in which a sample is taken from the leaf stem and soil of a plant, and components contained in the sap and soil of the plant are analyzed using a test paper and an LED reflected light clock. Diagnostic methods are described.

特開平9−262027号公報Japanese Patent Laid-Open No. 9-262027 特開平11−289870号公報JP-A-11-289870

特許文献1に記載のシステムによれば、ユーザは植物の画像を送信することで、その植物の状態やそれに対する対処を知ることができる。しかし、植物の画像から当該植物の状態を適切に判断するためには、外観上にどのような特徴が表れているか、それが経時的にどのような変化をしていっているか、といった情報と、そのような特徴や変化が、植物がどのような状態となっていることを示すものであるか、といった情報を予め登録する必要がある。植物の様々な状態を想定し、それに際して現出する外観的特徴を網羅的に入力するためには大変な労力を要することが想定される。また、多種の植物に対して利用することも想定すれば、植物ごとに異なる外観的特徴や、それぞれの植物に特有の病気など、すべての情報を事前に登録することは現実的ではない。   According to the system described in Patent Document 1, the user can know the state of the plant and how to deal with it by transmitting an image of the plant. However, in order to properly determine the state of the plant from the image of the plant, information such as what features appear on the appearance and how it changes over time It is necessary to register in advance information such as such characteristics and changes indicating what state the plant is in. Assuming various states of plants, it is assumed that a great deal of labor is required to comprehensively input the appearance features that appear. Also, assuming that it is used for various types of plants, it is not realistic to register all information in advance such as appearance characteristics that differ from plant to plant and diseases specific to each plant.

特許文献2に記載されるような、植物の樹液や土壌に含まれる成分の直接的な解析を行えば、上述したような多大な情報の蓄積を事前に行なわずとも、植物の状態の判定を行うことができる。しかし、そのためには、解析のための器具や煩雑な手順などが必要となり、手軽に行うことは難しくなる。また、特許文献2に示されるような解析はあくまで簡易的なものであり、より詳細、確実な解析結果を得るためには、植物や土壌からサンプルを採取し、それを専門の機関へと送付して解析を依頼し、結果が出るのを待つ、といった手順が必要となる。このような専門の機関での詳細な解析は、費用や手間の面、解析結果が出るまでの期間などの面から、植物の状態を随時判定し、それに対して適切な対処を行う、といった向きでの利用は難しい。   If the direct analysis of the components contained in the sap or soil of the plant as described in Patent Document 2 is performed, the state of the plant can be determined without performing a large amount of information accumulation in advance as described above. It can be carried out. However, for that purpose, an instrument for analysis and complicated procedures are required, and it is difficult to carry out easily. In addition, the analysis as shown in Patent Document 2 is simple, and in order to obtain more detailed and reliable analysis results, samples are taken from plants and soil and sent to specialized institutions. Then, the procedure of requesting the analysis and waiting for the result is necessary. Such detailed analysis at specialized institutions is recommended to determine the state of the plant as needed from the viewpoints of cost, labor, and the period until the analysis results are obtained, and take appropriate measures against it. Use in is difficult.

そこで、本発明では、植物の様々な健康状態を簡単かつ適切に把握することのできる、植物の健康診断システムを提供することを課題とする。   Therefore, an object of the present invention is to provide a plant health diagnosis system that can easily and appropriately grasp various health states of plants.

上記課題を解決するために、本発明に係る植物の健康診断システムは、
植物を撮影した画像から健康状態の診断を行う、植物の健康診断システムであって、
学習対象とする植物の画像である学習対象画像と、前記学習対象画像の撮影時点での前記学習対象の健康状態と、を参照し、診断対象とする植物の画像から当該植物の健康状態の診断方法を学習する学習手段と、
診断対象である植物を撮影した診断対象画像の入力を受け付け、前記診断方法に基づいた前記診断対象の健康状態の診断結果を出力する診断手段と、を備えることを特徴とする。
In order to solve the above problems, a plant health diagnosis system according to the present invention comprises:
A plant health diagnosis system for diagnosing a health condition from an image of a plant,
With reference to the learning target image that is an image of the plant to be learned and the health state of the learning target at the time of shooting the learning target image, the health state of the plant from the image of the plant to be diagnosed Learning means for learning diagnostic methods;
Diagnostic means for receiving an input of a diagnostic target image obtained by photographing a plant that is a diagnostic target, and outputting a diagnosis result of a health condition of the diagnostic target based on the diagnostic method.

このように、撮影された植物の画像とその時点での健康状態から健康状態の診断方法を学習し、それに基づいた健康診断を行うことで、診断のための基準の大量な入力作業などを事前に行わずとも、診断対象である植物の画像からの健康状態の診断を行うことができる。   In this way, by learning the diagnosis method of the health condition from the photographed plant image and the health condition at that time, and performing a health check based on it, it is possible to perform a large amount of input work of the reference for diagnosis in advance Even if not performed, the health condition can be diagnosed from the image of the plant to be diagnosed.

本発明の好ましい形態では、前記学習対象画像が少なくとも前記学習対象の葉脈を撮影した画像を含み、
前記学習手段が、前記学習対象の葉脈の形態に基づいた前記診断方法の学習を行い、
前記診断対象画像が少なくとも前記診断対象の葉脈を撮影した画像を含み、
前記診断手段が、前記診断対象の葉脈の形態に基づいた前記診断結果を出力し、
前記学習対象の葉脈の形態及び前記診断対象の葉脈の形態が、少なくとも、葉脈の太さと、葉脈の連続性の内の1つ以上を含むことを特徴とする。
このように、診断方法の学習、及び学習結果に基づいた健康診断に際して、植物の葉脈の形態に着目することによって、高い精度での健康状態の診断を行うことができる。
In a preferred embodiment of the present invention, the learning target image includes at least an image obtained by photographing the learning target veins,
The learning means learns the diagnostic method based on the form of the veins to be learned,
The diagnostic target image includes at least an image of the diagnostic target vein image;
The diagnosis means outputs the diagnosis result based on the form of the vein of the diagnosis object ;
The form of the vein of the learning object and the form of the vein of the diagnosis object include at least one of the thickness of the vein and the continuity of the vein .
Thus, in learning of the diagnostic method and in the health examination based on the learning result, the health condition can be diagnosed with high accuracy by paying attention to the leaf vein form of the plant.

本発明の好ましい形態では、前記学習対象の健康状態が、少なくとも前記学習対象の樹液の解析結果を含むことを特徴とする。
このように、学習対象として樹液の解析結果を含めることで、学習対象のより正確な健康状態を把握し、それを用いた診断方法の学習を行うことができる。
In a preferred aspect of the present invention, the health condition of the learning target includes at least an analysis result of the sap of the learning target.
Thus, by including the analysis result of sap as a learning target, a more accurate health state of the learning target can be grasped, and a diagnostic method using the health condition can be learned.

本発明の好ましい形態では、前記学習手段が、前記学習対象画像の撮影時点での前記学習対象の生育環境に関する情報を更に参照することを特徴とする。
このように、学習対象の生育環境についての情報を診断方法の学習に用いることで、より高精度な診断方法の学習を行うことができる。
In a preferred embodiment of the present invention, the learning means further refers to information related to the growth environment of the learning target at the time of shooting the learning target image.
As described above, by using the information about the growth environment to be learned for the learning of the diagnosis method, it is possible to learn the diagnosis method with higher accuracy.

本発明の好ましい形態では、前記学習手段が、前記学習対象の健康状態に応じた対処を決定する方法を更に学習し、
前記診断結果が、前記診断対象の健康状態に基づいた前記対処を含むことを特徴とする。
このように、診断結果に基づいた対処方法を出力する構成とすることにより、植物の健康状態が悪い場合や病気である場合などに、適切な対処を行うための情報を提供することができる。
In a preferred embodiment of the present invention, the learning means further learns a method of determining a countermeasure according to the health condition of the learning target,
The diagnosis result includes the countermeasure based on a health condition of the diagnosis target.
In this way, by adopting a configuration that outputs a coping method based on the diagnosis result, it is possible to provide information for performing an appropriate coping when the health condition of the plant is poor or when the plant is sick.

本発明の好ましい形態では、前記学習手段が、機械学習を行うことを特徴とする。
このように、診断方法の学習に機械学習を用いることで、診断方法の学習を効果的に行うことができる。
In a preferred aspect of the present invention, the learning means performs machine learning.
Thus, by using machine learning for learning of the diagnostic method, learning of the diagnostic method can be performed effectively.

本発明に係る植物の健康診断プログラムは、
植物を撮影した画像から健康状態の診断を行う、植物の健康診断プログラムであって、コンピュータ装置を、
学習対象とする植物の画像である学習対象画像と、前記学習対象画像の撮影時点での前記学習対象の健康状態と、を参照し、診断対象とする植物の画像から当該植物の健康状態の診断方法を学習する学習手段と、
診断対象である植物を撮影した診断対象画像の入力を受け付け、前記診断方法に基づいた前記診断対象の健康状態の診断結果を出力する診断手段と、として動作させ
前記学習対象画像が少なくとも前記学習対象の葉脈を撮影した画像を含み、
前記学習手段が、前記学習対象の葉脈の形態に基づいた前記診断方法の学習を行い、
前記診断対象画像が少なくとも前記診断対象の葉脈を撮影した画像を含み、
前記診断手段が、前記診断対象の葉脈の形態に基づいた前記診断結果を出力し、
前記学習対象の葉脈の形態及び前記診断対象の葉脈の形態が、少なくとも、葉脈の太さと、葉脈の連続性の内の1つ以上を含むことを特徴とする。
The plant health check program according to the present invention includes:
A plant health diagnosis program for diagnosing a health condition from an image of a plant, comprising a computer device,
With reference to the learning target image that is an image of the plant to be learned and the health state of the learning target at the time of shooting the learning target image, the health state of the plant from the image of the plant to be diagnosed Learning means for learning diagnostic methods;
Receiving an input of a diagnostic object image obtained by photographing a plant that is a diagnostic object, and operating as a diagnostic means for outputting a diagnosis result of a health condition of the diagnostic object based on the diagnostic method ;
The learning target image includes at least an image of the learning target vein image;
The learning means learns the diagnostic method based on the form of the veins to be learned,
The diagnostic target image includes at least an image of the diagnostic target vein image;
The diagnosis means outputs the diagnosis result based on the form of the vein of the diagnosis object;
The form of the vein of the learning object and the form of the vein of the diagnosis object include at least one of the thickness of the vein and the continuity of the vein .

本発明に係る植物の健康診断方法は、
植物を撮影した画像から健康状態の診断を行う、コンピュータ装置を用いた植物の健康診断方法であって、
前記コンピュータ装置が、学習対象とする植物の画像である学習対象画像と、前記学習対象画像の撮影時点での前記学習対象の健康状態と、を参照し、診断対象とする植物の画像から当該植物の健康状態の診断方法を学習するステップと、
前記コンピュータ装置が、診断対象である植物を撮影した診断対象画像の入力を受け付け、前記診断方法に基づいた前記診断対象の健康状態の診断結果を出力するステップと、を備え
前記学習対象画像が少なくとも前記学習対象の葉脈を撮影した画像を含み、
前記診断方法を学習するステップにおいて、前記学習対象の葉脈の形態に基づいた前記診断方法の学習を行い、
前記診断対象画像が少なくとも前記診断対象の葉脈を撮影した画像を含み、
前記診断結果を出力するステップにおいて、前記診断対象の葉脈の形態に基づいた前記診断結果を出力し、
前記学習対象の葉脈の形態及び前記診断対象の葉脈の形態が、少なくとも、葉脈の太さと、葉脈の連続性の内の1つ以上を含むことを特徴とする。
The plant health diagnosis method according to the present invention comprises:
A plant health diagnosis method using a computer device that diagnoses a health condition from an image of a plant,
The computer device refers to a learning target image that is an image of a plant that is a learning target and a health state of the learning target at the time of shooting the learning target image, and the image from the plant image that is a diagnosis target Learning how to diagnose plant health,
The computer device receives an input of a diagnostic target image obtained by photographing a plant that is a diagnostic target, and outputs a diagnosis result of a health condition of the diagnostic target based on the diagnostic method ,
The learning target image includes at least an image of the learning target vein image;
In the step of learning the diagnostic method, the diagnostic method is learned based on the morphology of the veins to be learned,
The diagnostic target image includes at least an image of the diagnostic target vein image;
In the step of outputting the diagnosis result, the diagnosis result based on a form of a vein of the diagnosis target is output,
The form of the vein of the learning object and the form of the vein of the diagnosis object include at least one of the thickness of the vein and the continuity of the vein .

健康状態の判断基準などの網羅的な入力を事前に行なわずとも植物の様々な健康状態を診断し、出力することのできる、植物の健康診断システムを提供することができる。   It is possible to provide a plant health diagnosis system capable of diagnosing and outputting various health states of a plant without carrying out exhaustive input such as criteria for judging the health state in advance.

本発明の一実施形態に係る植物の健康診断システムの構成図である。1 is a configuration diagram of a plant health diagnosis system according to an embodiment of the present invention. 本発明の一実施形態に係る健康診断サーバ装置の機能ブロック図である。It is a functional block diagram of the medical examination server device concerning one embodiment of the present invention. 本発明の一実施形態における学習対象とするデータの記録処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the recording process of the data made into learning object in one Embodiment of this invention. 本発明の一実施形態における診断処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the diagnostic process in one Embodiment of this invention.

以下、本発明の一実施形態について、図面を参照して詳細に説明する。図1は、本実施形態に係る植物の健康診断システムの構成図である。ここに示すように、本実施形態に係る植物の健康診断システムは、診断方法の学習対象とするデータの蓄積やそれを用いた診断方法の学習、診断対象とする情報の入力の受付とそれに対する診断結果の出力等を行う健康診断サーバ装置1と、診断対象とする植物の生育に関する知識が豊富であるような有識者が用いる有識者端末装置2と、健康診断サーバ装置1に対して診断対象である植物の画像を送信し、その健康状態の診断の依頼と結果の受信、表示などを行う3a〜3dのユーザ端末装置3(以下、特に区別の必要がない場合、単にユーザ端末装置3と呼称する)と、がインターネットなどのネットワークNWを介して通信可能に構成される。   Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 is a configuration diagram of a plant health diagnosis system according to the present embodiment. As shown here, the plant health diagnosis system according to the present embodiment stores data to be learned by a diagnostic method, learns a diagnostic method using the data, accepts input of information to be diagnosed, and responds thereto It is a diagnosis target for the health diagnosis server device 1 that performs output of diagnosis results, the expert terminal device 2 that is used by experts who have a wealth of knowledge about the growth of plants to be diagnosed, and the health diagnosis server device 1. User terminal device 3a to 3d that transmits an image of a plant, receives a request for diagnosis of its health condition, and receives and displays the result (hereinafter simply referred to as user terminal device 3 unless there is a need for distinction). Are configured to be communicable via a network NW such as the Internet.

図2は、本実施形態に係る健康診断サーバ装置1の機能ブロック図である。ここに示すように、本実施形態に係る健康診断サーバ装置1は、有識者端末装置2より学習対象である植物の画像やその健康状態、生育している環境情報を受信する学習対象受信手段101と、学習対象の画像を記憶する画像記憶部102と、学習対象の健康状態を記憶する健康状態記憶部103と、学習対象の生育している環境情報を記憶する環境情報記憶部104と、画像記憶部102、健康状態記憶部103、環境情報記憶部104を参照して、植物の画像と健康状態、環境情報に基づいて、画像からの植物の健康状態の判定や、それに基づいた適切な対処を決定するための診断方法を学習する学習手段105と、学習手段105によって学習した診断方法を記憶する診断方法記憶部106と、ユーザ端末装置3より診断対象とする植物の画像を受信し、診断方法記憶部106に記録された診断方法に基づいた診断を行い、診断対象の健康状態やそれに対しての適切な対処などを、診断結果としてユーザ端末装置3へと送信する、診断手段107と、を備える。   FIG. 2 is a functional block diagram of the medical examination server device 1 according to the present embodiment. As shown here, the health diagnosis server device 1 according to the present embodiment includes a learning target receiving unit 101 that receives an image of a plant that is a learning target, its health state, and growing environment information from the expert terminal device 2. An image storage unit 102 that stores the learning target image, a health state storage unit 103 that stores the health state of the learning target, an environment information storage unit 104 that stores the environment information on which the learning target is growing, and an image storage Unit 102, health state storage unit 103, and environment information storage unit 104, based on the image of the plant, the health state, and the environment information, the determination of the health state of the plant from the image and appropriate measures based on it A learning means 105 for learning a diagnosis method for determination, a diagnosis method storage unit 106 for storing the diagnosis method learned by the learning means 105, and a plant to be diagnosed by the user terminal device 3 Is received, a diagnosis based on the diagnosis method recorded in the diagnosis method storage unit 106 is performed, and the health condition of the diagnosis target and appropriate measures for the diagnosis target are transmitted to the user terminal device 3 as a diagnosis result. Diagnostic means 107.

画像記憶部102は、学習対象とする植物の葉面や葉脈を撮影した画像を記憶する葉面/葉脈画像記憶部1021と、葉以外の部分も含むような全体像を撮影した画像を記憶する全体画像記憶部1022と、を有する。また、健康状態記憶部103は、有識者によって有識者端末装置2を用いて入力された、撮影時点での学習対象の樹勢情報を記憶する樹勢情報記憶部1031と、撮影時点で採取した樹液の解析結果を記憶する樹液解析結果記憶部1032と、を有する。環境情報記憶部104は、学習対象とする植物の画像の撮影時点における生育環境などについての情報を含むものであり、当該植物の生育する土壌の解析結果を記憶する土壌解析結果記憶部1041と、大気や天候に関する情報を記憶する大気/天候情報記憶部1042と、与えた水分量や肥料の種類や量といった学習対象とする植物に対して行われた処置に関する情報を記憶する処置情報記憶部1043と、を有する。   The image storage unit 102 stores a leaf surface / leaf vein image storage unit 1021 that stores an image of a leaf surface or vein of a plant to be learned, and an image of a whole image that includes parts other than leaves. And an entire image storage unit 1022. In addition, the health state storage unit 103 is input by an expert using the expert terminal device 2 and stores a tree force information storage unit 1031 that stores information on a tree to be learned at the time of shooting, and an analysis result of the sap collected at the time of shooting. And a sap analysis result storage unit 1032. The environment information storage unit 104 includes information on the growth environment at the time of taking an image of a plant image to be learned, a soil analysis result storage unit 1041 that stores an analysis result of the soil on which the plant grows, Atmosphere / weather information storage unit 1042 that stores information on the atmosphere and weather, and a treatment information storage unit 1043 that stores information on treatments performed on plants to be learned, such as the amount of moisture and the type and amount of fertilizer applied. And having.

健康診断サーバ装置1としては、CPUなどの演算装置、RAM(Random Access Memory)などの主記憶装置、HDD(Hard Disk Drive)やSSD(Solid State Drive)、フラッシュメモリなどの補助記憶装置、ネットワークNWへの接続手段を含む種々の入出力装置等を備えた、サーバ機器などの一般的なコンピュータ装置を利用することができる。より詳細には、補助記憶装置に予め、あるいは健康診断サーバ装置1の管理者の操作などによって、上述したような各手段として健康診断サーバ装置1を動作させるためのプログラムを格納しておき、それらのプログラムを主記憶装置上に展開して演算装置による演算を行い、入出力手段の制御などを行うことで、コンピュータ装置を本実施形態に係る電子証明システムにおける健康診断サーバ装置1として利用することができる。なお、本実施形態においては、単一のコンピュータ装置によって健康診断サーバ装置1を実現する構成を示したが、本発明はこれに限るものではない。例えば、画像記憶部102や健康状態記憶部103、環境情報記憶部104などの記憶部を他のコンピュータ装置に備え、それを参照するような構成、学習手段105を他のコンピュータ装置に備える構成など、複数のコンピュータ装置によって健康診断サーバ装置1を実現するような構成としてもよい。また、後述するように、学習手段105において機械学習を行うような構成とする場合においては、GPU(Graphics Processing Unit)を利用したGPGPU(General−Purpose computing on Graphics Processing Units)を実施可能な構成などとすることが好ましい。   The medical examination server device 1 includes an arithmetic device such as a CPU, a main storage device such as a RAM (Random Access Memory), an HDD (Hard Disk Drive), an SSD (Solid State Drive), an auxiliary storage device such as a flash memory, and a network NW. A general computer device such as a server device provided with various input / output devices including a connection means to the server can be used. More specifically, programs for operating the health diagnosis server device 1 as each means as described above are stored in the auxiliary storage device in advance or by the operation of the administrator of the health diagnosis server device 1. The computer program is used as the health diagnosis server device 1 in the electronic certification system according to the present embodiment by performing the above-described program on the main storage device, performing calculations by the calculation device, and controlling the input / output means. Can do. In addition, in this embodiment, although the structure which implement | achieves the medical examination server apparatus 1 by a single computer apparatus was shown, this invention is not limited to this. For example, a storage unit such as the image storage unit 102, the health state storage unit 103, and the environment information storage unit 104 is provided in another computer device, and a configuration for referring to it, a configuration in which the learning unit 105 is provided in another computer device, etc. The health diagnosis server device 1 may be realized by a plurality of computer devices. Further, as will be described later, when the learning means 105 is configured to perform machine learning, a configuration capable of implementing General-Purpose computing on Graphics Processing Units (GPGPU) using GPU (Graphics Processing Unit), etc. It is preferable that

有識者端末装置2としては、演算装置、主記憶装置、補助記憶装置、ネットワークNWへの接続手段を含む種々の入出力装置等を備えた、一般的なコンピュータ装置を利用することができる。ここでは、後に説明するように、学習対象とする植物の画像の撮影や、樹勢に関する情報の入力などを行うため、カメラ機能を備え、植物の生育場所への持ち込みなども容易である、スマートフォン端末やタブレット型端末などを好適に用いることができる。なお、図1においては、1台の有識者端末装置2のみを示したが、本発明はこれに限るものではなく、同種の植物、あるいは、別種の植物に対して深い知識を持つような、複数の有識者がそれぞれ用いる複数の有識者端末装置2を備えるような構成としてもよい。また、有識者端末装置2に加えて、あるいは有識者端末装置2に代えて、健康診断サーバ装置1が直接的に学習対象についての画像や健康状態、環境情報の入力を受け付けるような構成としてもよい。   As the expert terminal device 2, a general computer device including various arithmetic devices, a main storage device, an auxiliary storage device, various input / output devices including means for connecting to the network NW, and the like can be used. Here, as will be described later, in order to capture an image of a plant to be learned, input information about the tree vigor, etc., it is equipped with a camera function and can be easily brought into a plant growing place. And a tablet-type terminal can be suitably used. In FIG. 1, only one expert terminal device 2 is shown, but the present invention is not limited to this, and there are a plurality of knowledgeable plants having the same knowledge or different kinds of plants. It is good also as a structure provided with the some expert terminal device 2 which each expert knows. Further, in addition to the expert terminal device 2 or instead of the expert terminal device 2, the health diagnosis server device 1 may directly receive an input of an image, a health condition, and environmental information about a learning target.

ユーザ端末装置3としても、演算装置、主記憶装置、補助記憶装置、ネットワークNWへの接続手段を含む種々の入出力装置等を備えた、一般的なコンピュータ装置を利用することができる。図1においては、一例として、スマートフォン3a、タブレット型端末3b、ノートパソコン3c、農業用ロボット3dを示したが、本発明はこれに限るものでなく、他の種々のコンピュータ装置についても、ユーザ端末装置3として用いることができる。なお、ここでスマートフォン3a、タブレット型端末3b、ノートパソコン3cは、植物の栽培を行うユーザが、自身が栽培する植物の画像の撮影やデジタルカメラなどからの取り込みを行い、それを健康診断サーバ装置1に送信、健康状態やそれに基づいた対処などの診断結果を受信して表示することで、ユーザが栽培する植物への適切な処置などを行うことができるものである。また、農業用ロボット3dについては、その管理者による操作やあるいは定期的な自動処理などによって植物の画像の撮影や他の撮影機器からの取り込みを行い、それを健康診断サーバ装置1に送信して診断結果を受信し、植物の健康状態に基づいた対処までを自動で行うことができるものである。   As the user terminal device 3, a general computer device including various arithmetic devices, a main storage device, an auxiliary storage device, various input / output devices including means for connecting to the network NW, and the like can be used. In FIG. 1, as an example, a smartphone 3a, a tablet-type terminal 3b, a notebook computer 3c, and an agricultural robot 3d are shown. However, the present invention is not limited to this, and other various computer devices can also be used as user terminals. It can be used as the device 3. Here, the smartphone 3a, the tablet terminal 3b, and the notebook computer 3c are such that a user who cultivates a plant captures an image of a plant cultivated by himself or captures it from a digital camera, etc. 1, by receiving and displaying diagnosis results such as health status and countermeasures based on it, it is possible to perform appropriate treatments on plants cultivated by the user. Further, the agricultural robot 3d is photographed by taking an image of a plant or taking it from another photographing device by an operation by the administrator or a periodic automatic process, and transmitting it to the medical examination server device 1 The diagnosis result is received, and the countermeasures based on the health condition of the plant can be automatically performed.

<学習対象データの蓄積>
続いて、本実施形態に係る植物の健康診断システムへの、学習対象とするデータの記録、蓄積を行う処理の流れについて、図3を参照して説明する。なお、この処理は、健康診断サーバ装置1がWebサーバプログラムを、有識者端末装置2がウェブブラウザプログラムをそれぞれ有し、両プログラム間でのHTTP(Hyper Text Transfer Protocol)などを用いた通信によって行うような構成としてもよいし、あるいは、有識者端末装置2が学習対象とするデータの入力を行うための専用のプログラムを備え、それを用いて、健康診断サーバ装置1との任意の通信プロトコルによる情報の送受信を行うような構成としてもよい。
<Accumulation of learning target data>
Next, a flow of processing for recording and storing data to be learned in the plant health diagnosis system according to the present embodiment will be described with reference to FIG. This process is performed by communication using HTTP (Hyper Text Transfer Protocol) between the two programs, the health check server device 1 having a Web server program and the expert terminal device 2 having a Web browser program. Alternatively, the expert terminal device 2 may be provided with a dedicated program for inputting data to be learned, and by using the program, the information of the information using an arbitrary communication protocol with the health diagnosis server device 1 may be used. It is good also as a structure which transmits / receives.

この処理においては、まず、ステップS101において、有識者端末装置2より、学習対象とする植物の葉脈や葉面を撮影した画像の入力を受け付ける。ここでの画像は、有識者端末装置2がカメラを備える場合には、ユーザに対して画像の撮影と送信を促すような構成としてもよいし、予め撮影され、有識者端末装置2の有する補助記憶装置などに記憶された画像の選択と送信を促すような構成としてもよい。   In this process, first, in step S101, an input of an image obtained by photographing the veins and leaf surfaces of a plant to be learned is received from the expert terminal device 2. In the case where the expert terminal device 2 includes a camera, the image here may be configured to prompt the user to capture and transmit an image, or may be captured in advance and the auxiliary storage device included in the expert terminal device 2. It may be configured to prompt selection and transmission of images stored in the

次にステップS102において、ステップS101で葉脈や葉面の画像を送信した植物の全体像の画像を受信する。ここでも、ステップS101と同様、有識者端末装置2によって撮影された画像や、有識者端末装置2の補助記憶装置に記憶された画像などの送信を促す構成とすればよい。なお、ここでは説明の簡単のために便宜上全体像の画像とするが、必ずしも植物の全体が含まれる画像でなくともよく、すなわち、複数の葉や茎なども含むような、ステップS101において受信した葉脈や葉面が含まれる画像よりも広範囲が含まれる画像であればよい。また、植物の上部を含む画像と、根本の画像など、複数の画像を受信するような構成としてもよい。   Next, in step S102, an image of the whole plant image to which the image of leaf veins and leaf surfaces was transmitted in step S101 is received. Here, similarly to step S101, the configuration may be such that transmission of an image taken by the expert terminal device 2 or an image stored in the auxiliary storage device of the expert terminal device 2 is urged. Here, for the sake of simplicity, an image of the whole image is used for convenience. However, the image is not necessarily an image including the whole plant, that is, received in step S101 including a plurality of leaves and stems. Any image that includes a wider area than an image that includes a leaf vein or leaf surface may be used. Moreover, it is good also as a structure which receives several images, such as an image including the upper part of a plant, and a root image.

ステップS103では、学習対象とする植物の、ステップS101、S102で受信した画像の撮影時の樹勢情報の入力を受け付ける。ここでの樹勢情報としては、例えば、葉面の色つやが悪いように見えるといったような植物の外観に関する情報や、葉面の張り具合のような触覚的な情報などが挙げられる。   In step S103, an input of tree vigor information at the time of photographing the image received in steps S101 and S102 of the plant to be learned is accepted. Examples of the tree vigor information include information on the appearance of the plant such that the color of the leaf surface looks bad, and tactile information such as the degree of leaf surface tension.

ステップS104においては、学習対象とする植物の、ステップS101、S102で受信した画像の撮影時に採取された樹液の解析結果の入力を受け付ける。ここでの樹液の解析結果としては、例えば、樹液中の水分率や、各種栄養成分の含有量などが挙げられる。なお、樹液の解析は、専門機関へと依頼し、ある程度の期間を要する場合がある。そのため、樹液の解析結果については、後日に別途入力を受け付けるような構成としてもよい。   In step S104, the input of the analysis result of the sap collected at the time of imaging | photography of the image received by step S101, S102 of the plant made into learning object is received. Examples of the analysis result of the sap here include the moisture content in the sap and the contents of various nutrient components. The analysis of sap may be requested from a specialized institution and may take a certain period of time. Therefore, it is good also as a structure which receives an input separately about the analysis result of a sap at a later date.

ステップS105においては、学習対象とする植物の、ステップS101、S102で受信した画像の撮影時の土壌の解析結果の入力を受け付ける。ここでの土壌の解析結果としては、例えば、土壌の温度や湿度、ミネラル値、肥料成分、PH値の変化、バクテリア群の分析結果などが挙げられる。なお、土壌の解析結果については、樹液の解析結果と同様、専門機関への依頼や結果が出るまでの期間を要する場合もあるため、その一部、又は全部について、後日に別途入力を受け付けるような構成としてもよい。   In step S105, the input of the analysis result of the soil at the time of imaging | photography of the image received in step S101, S102 of the plant made into learning object is received. Examples of soil analysis results include soil temperature and humidity, mineral values, fertilizer components, changes in PH values, and bacterial group analysis results. As for the analysis result of soil, as with the analysis result of sap, it may take a period of time until a request or result is obtained from a specialized organization. It is good also as a simple structure.

ステップS106においては、学習対象とする植物の、ステップS101、S102で受信した画像の撮影時の大気や天候に関する情報の入力を受け付ける。ここでの大気や天候に関する情報としては、例えば、気温や湿度、紫外線量、二酸化炭素濃度などが挙げられる。なお、大気や天候に関する情報は、有識者端末装置2による学習対象とする植物の生育地点の入力などを受け、図示しない外部のサーバ装置などから、当該生育地点の気象情報を取得する、といったような処理によって取得してもよい。   In step S106, the input of the information regarding the air | atmosphere and the weather at the time of imaging | photography of the image received in step S101, S102 of the plant made into learning object is received. Examples of the information on the atmosphere and weather here include temperature, humidity, ultraviolet light amount, and carbon dioxide concentration. In addition, the information regarding the atmosphere and the weather receives the input of the growing point of the plant to be learned by the expert terminal device 2, and acquires the weather information of the growing point from an external server device (not shown). You may acquire by a process.

ステップS107においては、学習対象とする植物に対して行われた処置に関する情報の入力を受け付ける。ここでの処置に関する情報としては、例えば、植物に与えた水分の量や、与えた肥料の種類、量といった情報などが挙げられる。なお、植物に与えた水分の量や肥料についての情報は、先にステップS105において入力を受け付けた土壌の解析結果からも推測が可能である。そのため、ここで別途の入力を受け付けることを省略するような構成としてもよい。また、入力を受け付ける情報は、後述するように学習対象とする植物について経時的な複数の時点の情報の入力を受ける場合、前回の情報の入力の後に行なわれた処置に関する情報の入力を受け付けるような構成とすればよい。加えて、学習対象とする植物が花を咲かせる植物なのであれば、開花についての情報や、農作物であれば、収穫についての情報などといったような追加の情報の入力を受け付けるような構成としてもよい。   In step S107, the input of the information regarding the treatment performed with respect to the plant made into learning object is received. Examples of the information relating to the treatment here include information such as the amount of moisture given to the plant, the type and amount of fertilizer given, and the like. Information about the amount of water given to the plant and fertilizer can also be inferred from the analysis result of the soil that was previously input in step S105. Therefore, it may be configured to omit receiving a separate input here. In addition, when receiving input of information at a plurality of points in time with respect to a plant to be learned as will be described later, the information for receiving input is to receive input of information regarding treatment performed after the previous input of information. What is necessary is just to make it a structure. In addition, if the plant to be learned is a plant that blooms flowers, it may be configured to accept input of additional information such as information about flowering, or information about harvesting if it is a crop.

以上のようにして学習対象である植物の画像の受信や情報の入力の受け付けが完了した後、ステップS108において、画像記憶部102、健康状態記憶部103、環境情報記憶部104への、それぞれの画像や情報の記録を行い、処理は終了する。   After the reception of the image of the plant to be learned and the reception of the input of information are completed as described above, in step S108, each of the image storage unit 102, the health state storage unit 103, and the environment information storage unit 104 is set. Images and information are recorded, and the process ends.

なお、ここでは説明の簡単のために、学習対象とする植物の画像の受信や、健康状態、環境情報の入力の受け付けを順次行う処理を示したが、これはあくまで一例であり、本発明はこれに限るものではない。画像の受信や情報の入力の順番を図3に例示した処理から入れ替える、あるいは、一括しての入力を受け付けるような構成など、他の方法によって情報の入力を受け付けてもよい。また、後の学習手段105による学習に支障の出ない範囲において、一部の情報の入力を省略するような構成としてもよい。   Here, for the sake of simplicity of explanation, a process of sequentially receiving an image of a plant to be learned and receiving an input of health status and environmental information is shown, but this is merely an example, and the present invention is This is not a limitation. The order of image reception and information input may be changed from the processing illustrated in FIG. 3, or information input may be received by other methods such as a configuration that receives batch input. Further, a configuration may be adopted in which input of some information is omitted within a range that does not hinder learning by the later learning unit 105.

また、ここでは、学習対象とする植物のある時点における画像や健康状態、環境情報の入力を受け付ける構成を示したが、経時的な複数の情報の入力を受けることがより好ましい。このためには、すなわち、複数の日時における植物の画像と、そのそれぞれの時点における健康状態や環境情報の入力をまとめて受け付けるような構成や、植物の個体を識別するための情報と共に日々の画像や健康状態、環境情報の入力を受け付けることにより、情報を蓄積していくような構成とすればよい。   In addition, here, a configuration is shown in which an input of an image, a health state, and environmental information at a certain point in time for a plant to be learned is received. However, it is more preferable to receive input of a plurality of information over time. For this purpose, that is, a daily image together with an image of a plant at a plurality of dates and times, a configuration that collectively accepts input of health status and environmental information at each time point, and information for identifying an individual plant It may be configured to accumulate information by accepting input of health information and environmental information.

本実施形態に係る植物の健康診断システムにおいて、複数の品種の植物を対象とした健康状態の診断を行うためには、上述した学習対象とする情報の入力に際して、対象とする植物の品種の入力を受け付け、共に蓄積することが好ましい。   In the plant health diagnosis system according to the present embodiment, in order to diagnose a health condition for a plurality of varieties of plants, when inputting the information to be learned as described above, inputting the target plant varieties Are preferably received and accumulated together.

<診断方法、対処決定方法の学習>
このようにして、画像記憶部102、健康状態記憶部103、環境情報記憶部104に蓄積された学習対象としての情報を用いて、学習手段105は、植物の健康状態の診断方法の学習を行う。この学習は、深層学習や強化学習といった、機械学習によって行うことが好ましい。すなわち、ある時点での学習対象とする植物の葉脈、葉面の画像や、植物全体の画像を入力データ、それぞれの画像の撮影時点における健康状態を出力データとして、入力データから出力データを推定するためのモデルを生成させる、といった処理を行うことで、このモデルを用いて、後に診断手段107によって診断対象の植物の画像から健康状態の診断を行うことができる。
<Learn how to diagnose and decide how to cope>
In this way, the learning means 105 learns the method for diagnosing the health state of the plant using the information as the learning target accumulated in the image storage unit 102, the health state storage unit 103, and the environment information storage unit 104. . This learning is preferably performed by machine learning such as deep learning or reinforcement learning. In other words, the output data is estimated from the input data using the veins and leaves of the plant to be learned at a certain point in time or the whole plant image as input data, and the health state at the time of capturing each image as the output data. By performing a process such as generating a model for the purpose, a health condition can be diagnosed later from the image of the plant to be diagnosed by the diagnosis unit 107 using this model.

学習のより詳細な処理は、画像記憶部102の記憶する学習対象の画像のそれぞれから特徴量の算出を行い、それと健康状態記憶部103や環境情報記憶部104の記憶する情報との対応関係のモデルを生成するものになる。ここで、特徴量として、少なくとも、葉面/葉脈画像記憶部1021の記憶する画像から学習対象の葉脈の形態に関する値を算出し、それを用いることが好ましい。葉脈は、その中を樹液が流れるものであって、その太さや、切断されている個所の有無(連続性)は、植物の健康状態との関連性が非常に高いものである。そのため、そのような葉脈の形態から算出した値を含む特徴量を用いることで、より高精度な診断を行うための診断方法を学習することができる。   More detailed processing of learning is performed by calculating the feature amount from each of the learning target images stored in the image storage unit 102 and the correspondence relationship between the calculation and the information stored in the health state storage unit 103 and the environment information storage unit 104. A model is generated. Here, as a feature amount, it is preferable to calculate a value related to the form of a vein to be learned from at least an image stored in the leaf surface / leaf vein image storage unit 1021 and use it. A leaf vein is one in which sap flows, and its thickness and the presence or absence (continuity) of a cut portion are very relevant to the health of the plant. Therefore, a diagnostic method for performing a more accurate diagnosis can be learned by using a feature amount including a value calculated from the form of such a vein.

なお、ここで、画像記憶部102に記憶される植物の画像の他に、環境情報記憶部104に記憶される学習対象である植物の生育環境に関する情報を加味することによって、より詳細な診断方法や、その結果に対して推奨する対処を決定する方法の学習を行うことができる。例えば、植物の健康状態に問題がある場合に、土壌解析結果や大気や天候に関する情報、植物に対して行われた処置に対して、問題の原因がどこにあるのか、そして、それに対してどのような対応を行うべきか、といった、より詳細な診断を行う方法を学習することができる。また、学習対象とする植物の収穫に関する情報や開花情報が記録されている場合には、それに基づいて、収穫に最適な時期や開花時期の予測方法についても学習することができる。   Here, in addition to the plant image stored in the image storage unit 102, a more detailed diagnosis method can be performed by adding information on the growth environment of the plant to be learned stored in the environment information storage unit 104. In addition, it is possible to learn how to determine a recommended action for the result. For example, if there is a problem with the health condition of the plant, where is the cause of the problem with respect to soil analysis results, information about the atmosphere and weather, actions taken on the plant, and how to deal with it? It is possible to learn a method for performing a more detailed diagnosis, such as whether or not to take appropriate measures. In addition, when information related to the harvest of a plant to be learned and flowering information are recorded, it is possible to learn the optimal time for harvesting and a method for predicting the flowering time based on the information.

また、学習対象とする植物についての経時的な情報を利用することで、それぞれの時点における画像情報や健康状態、土壌や大気の情報と、その間に行なわれた処置に基づいた統合的な学習を行うことができる。   In addition, by using time-lapse information about the plants to be learned, it is possible to conduct integrated learning based on image information, health status, soil and air information at each point in time, and treatments performed between them. It can be carried out.

このようにして学習した植物の健康状態と、健康状態や環境情報に応じて推奨する対処を決定するための診断方法を、診断方法記憶部106に記憶する。なお、診断方法の学習に際して、画像記憶部102、健康状態記憶部103、環境情報記憶部104の記憶する情報の他に、図示しない他の記憶部や、外部のサーバ装置なども参照するような構成としてもよい。例えば、植物の病気の症状や対処に関する情報を記憶する記憶部や外部のサーバ装置を参照することで、植物の健康状態やそれに対するより適切な対処の診断方法を導き出すことが期待できる。また、市販される肥料製品のそれぞれの成分などに関する情報を記憶する記憶部や外部のサーバ装置を参照する構成とすれば、植物に特定の栄養分が不足している場合などにおいて、どういった肥料をどの程度の量与えるとよい、といった、より具体的な対処を提示することができる。   The diagnostic method for determining the health state of the plant learned in this way and the recommended countermeasure according to the health state and environmental information is stored in the diagnostic method storage unit 106. When learning the diagnosis method, in addition to the information stored in the image storage unit 102, the health state storage unit 103, and the environment information storage unit 104, other storage units (not shown), external server devices, and the like are referred to. It is good also as a structure. For example, by referring to a storage unit that stores information on the symptoms and countermeasures of plant diseases and an external server device, it can be expected to derive a health condition of the plant and a diagnosis method for dealing with it more appropriately. In addition, if it is configured to refer to a storage unit that stores information on each component of a commercially available fertilizer product or an external server device, what kind of fertilizer is used when the plant lacks specific nutrients, etc. It is possible to present more specific countermeasures such as how much should be given.

<診断の実施>
以上のようにして学習手段105による診断方法記憶部106への診断方法の記録を行った後には、それらの情報を利用して、診断手段107による植物の健康状態の判定や、それに基づいた対処の提案を行うことができる。図4は、診断手段107による健康診断処理の流れを示すフローチャートである。なお、この処理は、健康診断サーバ装置1がWebサーバプログラムを、ユーザ端末装置3がウェブブラウザプログラムをそれぞれ有し、両プログラム間でのHTTP(Hyper Text Transfer Protocol)などを用いた通信によって行うような構成としてもよいし、あるいは、ユーザ端末装置3が診断対象とする植物の画像の送信や診断結果の表示を行うための専用のプログラムを備え、それを用いて、健康診断サーバ装置1との任意の通信プロトコルによる情報の送受信を行うような構成としてもよい。
<Diagnosis>
After the diagnostic method is recorded in the diagnostic method storage unit 106 by the learning unit 105 as described above, the information is used to determine the health state of the plant by the diagnostic unit 107 and a countermeasure based on the determination. Can make suggestions. FIG. 4 is a flowchart showing the flow of the health check process by the diagnosis unit 107. Note that this process is performed by communication using the HTTP (Hyper Text Transfer Protocol) between the programs, in which the medical examination server device 1 has a Web server program and the user terminal device 3 has a Web browser program. It is good also as a structure, or the user terminal device 3 is equipped with the program for exclusive use for performing the transmission of the image of the plant made into a diagnosis object, and the display of a diagnostic result, and is used with the health diagnostic server apparatus 1 using it A configuration may be adopted in which information is transmitted and received by an arbitrary communication protocol.

健康診断処理においては、まず、ステップS201において、診断対象とする植物の葉脈や葉面の画像を、ユーザ端末装置3より受信する。ここでの画像は、ユーザ端末装置3がカメラを備える場合には、ユーザに対して画像の撮影と送信を促すような構成としてもよいし、予め撮影され、ユーザ端末装置3の有する補助記憶装置などに記憶された画像の選択と送信を促すような構成としてもよい。   In the health check process, first, in step S201, an image of a leaf vein or leaf surface of a plant to be diagnosed is received from the user terminal device 3. When the user terminal device 3 includes a camera, the image here may be configured to prompt the user to capture and transmit an image, or may be captured in advance and the auxiliary storage device included in the user terminal device 3. It may be configured to prompt selection and transmission of images stored in the

続くステップS202において、ステップS201で葉脈や葉面の画像を送信した植物の全体像の画像を受信する。ここでも、ステップS201と同様、ユーザ端末装置3によって撮影された画像や、ユーザ端末装置3の補助記憶装置に記憶された画像などの送信を促す構成とすればよい。なお、ここでは説明の簡単のために全体像の画像とするが、必ずしも植物の全体が含まれる画像でなくともよく、すなわち、複数の葉や茎なども含むような、ステップS201において受信した葉脈や葉面が含まれる画像よりも広範囲が含まれる画像であればよい。また、植物の上部を含む画像と、根本の画像など、複数の画像を受信するような構成としてもよい。   In subsequent step S202, an image of the whole plant image that has received the leaf vein and leaf surface images in step S201 is received. Here, similarly to step S201, it may be configured to prompt transmission of an image photographed by the user terminal device 3 or an image stored in the auxiliary storage device of the user terminal device 3. Here, for the sake of simplicity of explanation, an image of the whole image is used. However, the image may not necessarily include the entire plant, that is, the veins received in step S201 that include a plurality of leaves, stems, and the like. As long as the image includes a wider area than an image including a leaf surface. Moreover, it is good also as a structure which receives several images, such as an image including the upper part of a plant, and a root image.

なお、ステップS201で受信する診断対象の葉脈や葉面の画像、ステップS202で受信する診断対象の全体像の画像は、それぞれ、ステップS101、S102で受信した、学習対象の画像と対応するような条件で撮影されたものであることが好ましい。そうすることで、学習手段105によって学習した診断方法による診断を、より効果的に行うことができる。   Note that the images of the veins and leaves of the diagnosis target received in step S201 and the whole image of the diagnosis target received in step S202 correspond to the learning target images received in steps S101 and S102, respectively. It is preferable that the image is taken under conditions. By doing so, the diagnosis by the diagnosis method learned by the learning means 105 can be performed more effectively.

以上のようにして診断対象とする植物の画像を受信した後、ステップS203において、診断手段107による健康状態の判定を行う。ここでの処理は、例えば、診断方法記憶部106を参照して診断対象の画像について注目すべき特徴量を特定し、ステップS201、S202で受信した画像の解析によってその特徴量を算出、それに基づいて、診断方法記憶部106に記録される特徴量と健康状態の関係から、診断対象の植物の健康状態を導き出す、といった処理によって行うことができる。なお、ここで用いる特徴量は、先に説明したように学習手段105が画像記憶部102の記憶する画像から算出する特徴量に対応するものである。すなわち、特に、診断対象とする植物の葉脈の形態に関する値を含む特徴量を用いることが好適である。   After receiving the image of the plant to be diagnosed as described above, the health condition is determined by the diagnostic means 107 in step S203. In this process, for example, the feature value to be noted about the diagnosis target image is identified with reference to the diagnosis method storage unit 106, and the feature value is calculated by analyzing the image received in steps S201 and S202. Thus, it can be performed by a process of deriving the health state of the plant to be diagnosed from the relationship between the feature amount recorded in the diagnosis method storage unit 106 and the health state. Note that the feature amount used here corresponds to the feature amount calculated from the image stored in the image storage unit 102 by the learning unit 105 as described above. That is, in particular, it is preferable to use a feature amount including a value related to a leaf vein form of a plant to be diagnosed.

続くステップS204では、ステップS203で得られた結果について、診断対象の植物の健康状態に問題があるか否かの判定を行う。なお、ここでの問題とは、例えば、水分量の過不足や特定の栄養素の過不足、病気にかかっている恐れがある、といったものが挙げられる。   In subsequent step S204, it is determined whether or not there is a problem in the health condition of the plant to be diagnosed with respect to the result obtained in step S203. Examples of the problem here include an excess or deficiency of water content, an excess or deficiency of specific nutrients, and a possibility of suffering from a disease.

ステップS204で健康状態に問題があると判定された場合には、ステップS205へと進み、診断方法記憶部106を参照して問題に対する対処の確認を行う。ここでは例えば、水分量が多すぎるのであれば、与える水分量を減らすといった対処や、何らかの栄養素が不足しているのであれば、それを補うための肥料を与えるといった対処などが挙げられる。   If it is determined in step S204 that there is a problem with the health condition, the process proceeds to step S205, and the diagnosis method storage unit 106 is referred to confirm the countermeasure against the problem. Here, for example, there are measures such as reducing the amount of water to be supplied if the amount of water is too much, and measures such as providing fertilizer to supplement it if any nutrients are insufficient.

以上のようにして、ユーザ端末装置3より画像を受信した診断対象に関する診断が完了した後には、ステップS206において診断結果をユーザ端末装置3へと送信し、処理は終了する。ユーザは、ユーザ端末装置3に表示される診断結果を参照して、診断対象とした植物の健康状態に問題がないことや、問題がある場合には、どのような対処が推奨されるか、といった情報を得ることができる。   As described above, after the diagnosis related to the diagnosis target that has received the image from the user terminal device 3 is completed, the diagnosis result is transmitted to the user terminal device 3 in step S206, and the process ends. The user refers to the diagnosis result displayed on the user terminal device 3 and if there is no problem in the health condition of the plant to be diagnosed, and what kind of countermeasure is recommended when there is a problem, Can be obtained.

なお、ここでは、植物の健康状態に問題があった場合にそれに対する対処を提示する処理を示したが、それ以外の場合についても対処などの情報を提示するような構成としてもよい。例えば、診断対象とする植物の果実や葉の収穫に最適な時期の予測や、開花時期の予測といった情報について、診断手段107によって求め、出力するような構成としてもよい。   In addition, although the process which shows the countermeasure with respect to when there exists a problem in the health state of a plant was shown here, it is good also as a structure which presents information, such as a countermeasure, other than that. For example, the diagnosis unit 107 may obtain and output information such as prediction of the optimal time for harvesting the fruits and leaves of the plant to be diagnosed and prediction of flowering time.

また、本実施形態に係る植物の健康診断システムを、複数の品種の植物を対象とした健康状態の診断を行うことが可能な構成とする場合には、健康状態の診断に際し、対象とする植物の品種の入力を受けることが好ましい。   In addition, when the health check system for plants according to the present embodiment is configured to be able to make a diagnosis of health conditions for a plurality of varieties of plants, It is preferable to receive input of varieties.

以上のように、学習対象とする植物の画像と、その撮影時における健康状態などの入力を受け、それらに基づいた健康状態の診断方法の学習を行うことによって、植物の健康状態の適切な判断を行うことができ、ユーザは診断対象とする植物の画像を送信することで、植物の健康状態やそれに対する適切な対処の提示を受けることができる。また、学習対象とする植物の健康状態と併せて環境情報の入力を受け付けることで、健康状態の診断をより高精度に行なう方法を学習することが期待できる。   As described above, it is possible to appropriately determine the health state of a plant by receiving an input of an image of a plant to be learned and a health state at the time of shooting and learning a health condition diagnosis method based on the input. By transmitting an image of the plant to be diagnosed, the user can receive an indication of the health state of the plant and appropriate countermeasures against it. In addition, by receiving input of environmental information together with the health state of the plant to be learned, it can be expected to learn a method for diagnosing the health state with higher accuracy.

特に、診断方法の学習において、太さや連続性といった植物の葉脈の形態に関する特徴量を使用することによって、効果的な診断方法の学習、そして、その学習結果を用いた高精度な診断を行うことができる。   In particular, in the learning of diagnostic methods, by using features related to leaf vein morphology such as thickness and continuity, learning of effective diagnostic methods, and performing highly accurate diagnosis using the learning results Can do.

1 健康診断サーバ装置
101 学習対象受信手段
102 画像記憶部
1021 葉面/葉脈画像記憶部
1022 全体画像記憶部
103 健康状態記憶部
1031 樹勢情報記憶部
1032 樹液解析結果記憶部
104 環境情報記憶部
1041 土壌解析結果記憶部
1042 大気/天候情報記憶部
1043 処置情報記憶部
105 学習手段
106 診断方法記憶部
107 診断手段
2 有識者端末装置
3 ユーザ端末装置
NW ネットワーク
DESCRIPTION OF SYMBOLS 1 Health diagnostic server apparatus 101 Learning object receiving means 102 Image storage part 1021 Leaf / leaf image storage part 1022 Whole image storage part 103 Health state storage part 1031 Tree vigor information storage part 1032 Sap analysis result storage part 104 Environmental information storage part 1041 Soil Analysis result storage unit 1042 Atmosphere / weather information storage unit 1043 Treatment information storage unit 105 Learning unit 106 Diagnostic method storage unit 107 Diagnosis unit 2 Expert terminal device 3 User terminal device NW network

Claims (7)

植物を撮影した画像から健康状態の診断を行う、植物の健康診断システムであって、
学習対象とする植物の画像である学習対象画像と、前記学習対象画像の撮影時点での前記学習対象の健康状態と、を参照し、診断対象とする植物の画像から当該植物の健康状態の診断方法を学習する学習手段と、
診断対象である植物を撮影した診断対象画像の入力を受け付け、前記診断方法に基づいた前記診断対象の健康状態の診断結果を出力する診断手段と、を備え
前記学習対象画像が少なくとも前記学習対象の葉脈を撮影した画像を含み、
前記学習手段が、前記学習対象の葉脈の形態に基づいた前記診断方法の学習を行い、
前記診断対象画像が少なくとも前記診断対象の葉脈を撮影した画像を含み、
前記診断手段が、前記診断対象の葉脈の形態に基づいた前記診断結果を出力し、
前記学習対象の葉脈の形態及び前記診断対象の葉脈の形態が、少なくとも、葉脈の太さと、葉脈の連続性の内の1つ以上を含むことを特徴とする、植物の健康診断システム。
A plant health diagnosis system for diagnosing a health condition from an image of a plant,
With reference to the learning target image that is an image of the plant to be learned and the health state of the learning target at the time of shooting the learning target image, the health state of the plant from the image of the plant to be diagnosed Learning means for learning diagnostic methods;
Diagnostic means for receiving an input of a diagnostic target image obtained by photographing a plant that is a diagnostic target, and outputting a diagnosis result of a health condition of the diagnostic target based on the diagnostic method ,
The learning target image includes at least an image of the learning target vein image;
The learning means learns the diagnostic method based on the form of the veins to be learned,
The diagnostic target image includes at least an image of the diagnostic target vein image;
The diagnosis means outputs the diagnosis result based on the form of the vein of the diagnosis object;
The plant health diagnosis system, wherein the learning object vein form and the diagnosis object leaf form include at least one of the thickness of the vein and the continuity of the vein .
前記学習対象の健康状態が、少なくとも前記学習対象の樹液の解析結果を含むことを特徴とする、請求項1に記載の植物の健康診断システム。 The plant health diagnosis system according to claim 1, wherein the health condition of the learning target includes at least an analysis result of the sap of the learning target. 前記学習手段が、前記学習対象画像の撮影時点での前記学習対象の生育環境に関する情報を更に参照することを特徴とする、請求項1又は請求項2の何れかに記載の植物の健康診断システム。 The plant health diagnosis system according to claim 1 , wherein the learning unit further refers to information related to a growth environment of the learning target at the time of photographing the learning target image. . 前記学習手段が、前記学習対象の健康状態に応じた対処を決定する方法を更に学習し、
前記診断結果が、前記診断対象の健康状態に基づいた前記対処を含むことを特徴とする、請求項1から請求項3の何れかに記載の植物の健康診断システム。
The learning means further learns a method of determining a countermeasure according to the health condition of the learning target,
The plant health diagnosis system according to any one of claims 1 to 3 , wherein the diagnosis result includes the countermeasure based on a health condition of the diagnosis target.
前記学習手段が、機械学習を行うことを特徴とする、請求項1から請求項4の何れかに記載の植物の健康診断システム。 The plant health diagnosis system according to any one of claims 1 to 4 , wherein the learning means performs machine learning. 植物を撮影した画像から健康状態の診断を行う、植物の健康診断プログラムであって、コンピュータ装置を、
学習対象とする植物の画像である学習対象画像と、前記学習対象画像の撮影時点での前記学習対象の健康状態と、を参照し、診断対象とする植物の画像から当該植物の健康状態の診断方法を学習する学習手段と、
診断対象である植物を撮影した診断対象画像の入力を受け付け、前記診断方法に基づいた前記診断対象の健康状態の診断結果を出力する診断手段と、として動作させ
前記学習対象画像が少なくとも前記学習対象の葉脈を撮影した画像を含み、
前記学習手段が、前記学習対象の葉脈の形態に基づいた前記診断方法の学習を行い、
前記診断対象画像が少なくとも前記診断対象の葉脈を撮影した画像を含み、
前記診断手段が、前記診断対象の葉脈の形態に基づいた前記診断結果を出力し、
前記学習対象の葉脈の形態及び前記診断対象の葉脈の形態が、少なくとも、葉脈の太さと、葉脈の連続性の内の1つ以上を含むことを特徴とする、植物の健康診断プログラム。
A plant health diagnosis program for diagnosing a health condition from an image of a plant, comprising a computer device,
With reference to the learning target image that is an image of the plant to be learned and the health state of the learning target at the time of shooting the learning target image, the health state of the plant from the image of the plant to be diagnosed Learning means for learning diagnostic methods;
Receiving an input of a diagnostic object image obtained by photographing a plant that is a diagnostic object, and operating as a diagnostic means for outputting a diagnosis result of a health condition of the diagnostic object based on the diagnostic method ;
The learning target image includes at least an image of the learning target vein image;
The learning means learns the diagnostic method based on the form of the veins to be learned,
The diagnostic target image includes at least an image of the diagnostic target vein image;
The diagnosis means outputs the diagnosis result based on the form of the vein of the diagnosis object;
The plant health diagnosis program characterized in that the form of the veins of the learning object and the form of the veins of the diagnosis object include at least one of the thickness of the veins and the continuity of the veins .
植物を撮影した画像から健康状態の診断を行う、コンピュータ装置を用いた植物の健康診断方法であって、
前記コンピュータ装置が、学習対象とする植物の画像である学習対象画像と、前記学習対象画像の撮影時点での前記学習対象の健康状態と、を参照し、診断対象とする植物の画像から当該植物の健康状態の診断方法を学習するステップと、
前記コンピュータ装置が、診断対象である植物を撮影した診断対象画像の入力を受け付け、前記診断方法に基づいた前記診断対象の健康状態の診断結果を出力するステップと、を備え
前記学習対象画像が少なくとも前記学習対象の葉脈を撮影した画像を含み、
前記診断方法を学習するステップにおいて、前記学習対象の葉脈の形態に基づいた前記診断方法の学習を行い、
前記診断対象画像が少なくとも前記診断対象の葉脈を撮影した画像を含み、
前記診断結果を出力するステップにおいて、前記診断対象の葉脈の形態に基づいた前記診断結果を出力し、
前記学習対象の葉脈の形態及び前記診断対象の葉脈の形態が、少なくとも、葉脈の太さと、葉脈の連続性の内の1つ以上を含むことを特徴とする、植物の健康診断方法。
A plant health diagnosis method using a computer device that diagnoses a health condition from an image of a plant,
The computer device refers to a learning target image that is an image of a plant that is a learning target and a health state of the learning target at the time of shooting the learning target image, and the image from the plant image that is a diagnosis target Learning how to diagnose plant health,
The computer device receives an input of a diagnostic target image obtained by photographing a plant that is a diagnostic target, and outputs a diagnosis result of a health condition of the diagnostic target based on the diagnostic method ,
The learning target image includes at least an image of the learning target vein image;
In the step of learning the diagnostic method, the diagnostic method is learned based on the morphology of the veins to be learned,
The diagnostic target image includes at least an image of the diagnostic target vein image;
In the step of outputting the diagnosis result, the diagnosis result based on a form of a vein of the diagnosis target is output,
The plant health diagnosis method, wherein the learning object vein form and the diagnosis object leaf form include at least one of the thickness of the vein and the continuity of the vein .
JP2017103129A 2017-05-24 2017-05-24 Plant health diagnosis system Active JP6307680B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017103129A JP6307680B1 (en) 2017-05-24 2017-05-24 Plant health diagnosis system
CN201810483899.5A CN109511406A (en) 2017-05-24 2018-05-19 The health diagnosis system of plant

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017103129A JP6307680B1 (en) 2017-05-24 2017-05-24 Plant health diagnosis system

Publications (2)

Publication Number Publication Date
JP6307680B1 true JP6307680B1 (en) 2018-04-11
JP2018196363A JP2018196363A (en) 2018-12-13

Family

ID=61901849

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017103129A Active JP6307680B1 (en) 2017-05-24 2017-05-24 Plant health diagnosis system

Country Status (2)

Country Link
JP (1) JP6307680B1 (en)
CN (1) CN109511406A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298180A (en) * 2021-06-15 2021-08-24 杭州睿胜软件有限公司 Method and computer system for plant identification
US11907341B2 (en) 2018-10-09 2024-02-20 Skymatix, Inc. Diagnostic assistance system and method therefor

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020134990A (en) * 2019-02-13 2020-08-31 カシオ計算機株式会社 Database generation method, database generation device, and database generation program
JP7075127B2 (en) * 2019-02-22 2022-05-25 株式会社ナイルワークス Field analysis method, field analysis program, field analysis device, drone system and drone

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09262027A (en) * 1996-03-28 1997-10-07 Yazaki Corp Automatically diagnostic system for plant
JPH11289870A (en) * 1998-04-16 1999-10-26 Tochigi Prefecture Real time diagnosis of nutrient condition of plant during growth and measuring equipment therefor
JP2016168046A (en) * 2015-03-09 2016-09-23 学校法人法政大学 Plant disease diagnostic system, plant disease diagnostic method, and program
JP2017055745A (en) * 2015-09-18 2017-03-23 Psソリューションズ株式会社 Image determination method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105359909B (en) * 2015-10-20 2018-10-26 西南大学柑桔研究所 A method of for magnesium deficiency induction Niu Heer navel orange veins explosion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09262027A (en) * 1996-03-28 1997-10-07 Yazaki Corp Automatically diagnostic system for plant
JPH11289870A (en) * 1998-04-16 1999-10-26 Tochigi Prefecture Real time diagnosis of nutrient condition of plant during growth and measuring equipment therefor
JP2016168046A (en) * 2015-03-09 2016-09-23 学校法人法政大学 Plant disease diagnostic system, plant disease diagnostic method, and program
JP2017055745A (en) * 2015-09-18 2017-03-23 Psソリューションズ株式会社 Image determination method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11907341B2 (en) 2018-10-09 2024-02-20 Skymatix, Inc. Diagnostic assistance system and method therefor
CN113298180A (en) * 2021-06-15 2021-08-24 杭州睿胜软件有限公司 Method and computer system for plant identification

Also Published As

Publication number Publication date
JP2018196363A (en) 2018-12-13
CN109511406A (en) 2019-03-26

Similar Documents

Publication Publication Date Title
JP6307680B1 (en) Plant health diagnosis system
Michels et al. Understanding the adoption of smartphone apps in dairy herd management
TWI570653B (en) The treatment of plant symptoms is recommended by systems, methods and recording media
JP6638121B1 (en) Server device of crop growth stage determination system, growth stage determination method and program
JP2010281826A5 (en)
JP2012532588A (en) System for diagnosing plant abnormalities
JP2015503153A5 (en)
CN113948220B (en) Anthrax pathogen infection stage detection method with pre-analysis capability
EP3654272A1 (en) Crop injury diagnosis system and method
CN116110577B (en) Health monitoring analysis method and system based on big data
KR102466438B1 (en) Cognitive function assessment system and method of assessing cognitive funtion
US20220270252A1 (en) Automated System And Method For Detecting Plant Disease And Providing Disease Treatment Solution
CN114399664A (en) Intelligent monitoring and control method and system for growth state of plant seedlings
CN204813807U (en) Box -like traditional chinese medical science electron equipment of diagnosing of multiunit
CN102298666A (en) Vaginoscope network system and method for image quality estimation
WO2019163249A1 (en) Color index value calculation system and color index value calculation method
JP2019138831A (en) Color index value acquisition system, and color index value acquisition method
CN114862611A (en) Agricultural planting cloud diagnosis method and system based on edge computing
CN111274953B (en) Method and system for judging pain according to expression
Essah et al. Assessment on Crop testing based on IOT and Machine Learning
Schmidtke Developing a phone-based imaging tool to inform on fruit volume and potential optimal harvest time
CN110910980A (en) Sepsis early warning device, equipment and storage medium
Lee et al. The Application of Image Recognition and Machine Learning to Capture Readings of Traditional Blood Pressure Devices: A Platform to Promote Population Health Management to Prevent Cardiovascular Diseases
JP2022111051A (en) apple quality estimation system
Senadheera et al. Empowering Bell Pepper Farmers with Smart Polytunnel Technology for Powdery Mildew Disease Detection and Management

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171212

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180219

R150 Certificate of patent or registration of utility model

Ref document number: 6307680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350