JP6560833B2 - コンピュータシステム、植物の診断方法及びプログラム - Google Patents

コンピュータシステム、植物の診断方法及びプログラム Download PDF

Info

Publication number
JP6560833B2
JP6560833B2 JP2018546076A JP2018546076A JP6560833B2 JP 6560833 B2 JP6560833 B2 JP 6560833B2 JP 2018546076 A JP2018546076 A JP 2018546076A JP 2018546076 A JP2018546076 A JP 2018546076A JP 6560833 B2 JP6560833 B2 JP 6560833B2
Authority
JP
Japan
Prior art keywords
plant
visible light
light image
region
diagnosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018546076A
Other languages
English (en)
Other versions
JPWO2018073899A1 (ja
Inventor
俊二 菅谷
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Application granted granted Critical
Publication of JP6560833B2 publication Critical patent/JP6560833B2/ja
Publication of JPWO2018073899A1 publication Critical patent/JPWO2018073899A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0098Plants or trees
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00Investigating or analyzing materials by the use of thermal means
    • G01N25/72Investigating presence of flaws
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02Agriculture; Fishing; Forestry; Mining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Botany (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Wood Science & Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Business, Economics & Management (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Environmental Sciences (AREA)
  • Agronomy & Crop Science (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Animal Husbandry (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Description

本発明は、植物を撮像して診断を行うコンピュータシステム、植物の診断方法及びプログラムに関する。
近年、植物の画像を撮像することにより、植物の病害診断を行うことが可能なコンピュータシステムが提案されている。
このようなコンピュータシステムにおいて、スペクトロメータや赤外線サーモグラフィを利用して、植物の温度や色の変化を測定することにより、病害診断を行う構成が開示されている(非特許文献1参照)。
http://www.bridgestone.co.jp/corporate/news/2012071001.html
しかしながら、非特許文献1の構成では、植物の部位毎に温度差が存在し、病害状態を正確に把握するためには、温度を測定すべき対象の各部位の温度を正確に測定することが求められている。しかしながら、サーモグラフィ画像から植物の輪郭やおおよその部位を特定することが可能であるが、カメラから被写体までの距離やその他の要因によって、各部位の正確な位置を特定することは困難であった。結果的に、各部位について測定した温度の精度を向上させることに限界があった。
本発明は、対象の各部位の温度の測定精度を向上させたコンピュータシステム、植物の診断方法及びプログラムを提供することを目的とする。
本発明では、以下のような解決手段を提供する。
本発明は、カメラにて撮像された、可視光画像及び赤外線画像を取得する第1取得手段と、
前記可視光画像において、前記カメラにて撮像された植物の所定の部位に対応する領域を特定する第1画像処理手段と、
特定された前記可視光画像における領域に対応する、前記赤外線画像における領域を特定する第2画像処理手段と、
特定された前記赤外線画像における領域の温度に基づいて、前記植物を診断する診断手段と、
を備えることを特徴とするコンピュータシステムを提供する。
本発明によれば、カメラにて撮像された、可視光画像及び赤外線画像を取得し、前記可視光画像において、前記カメラにて撮像された植物の所定の部位に対応する領域を特定し、特定された前記可視光画像における領域に対応する、前記赤外線画像における領域を特定し、特定された前記赤外線画像における領域の温度に基づいて、前記植物を診断する。
本発明は、コンピュータシステムのカテゴリであるが、植物の診断方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
本発明によれば、対象の各部位の温度の測定精度を向上させたコンピュータシステム、植物の診断方法及びプログラムを提供することが可能となる。
図1は、植物診断システム1の概要を示す図である。 図2は、植物診断システム1の全体構成図である。 図3は、コンピュータ10の機能ブロック図である。 図4は、コンピュータ10が実行する植物診断処理を示すフローチャートである。 図5は、コンピュータ10が実行する植物診断処理を示すフローチャートである。 図6は、コンピュータ10が取得した可視光画像データを模式的に示した一例を示す図である。 図7は、コンピュータ10が取得した赤外線画像データを模式的に示した一例を示す図である。 図8は、コンピュータ10が、可視光画像における所定の部位を特定した状態を模式的に示した一例を示す図である。 図9は、コンピュータ10が、赤外線画像における領域を特定した状態を模式的に示した一例を示す図である。 図10は、コンピュータ10が記憶する基準温度データベースの一例を示す図である。
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
[植物診断システム1の概要]
本発明の概要について、図1に基づいて説明する。図1は、本発明の好適な実施形態である植物診断システム1の概要を説明するための図である。植物診断システム1は、コンピュータ10から構成され、植物を撮像した画像を取得し、この植物の診断を行う。
コンピュータ10は、図示していない可視光カメラ、赤外線カメラ、センサ、環境調整装置等に通信可能に接続された計算装置である。植物診断システム1は、可視光カメラから可視光画像を取得し、赤外線カメラから赤外線画像を取得し、センサから照度・風向・風速・温度・気温・湿度・気圧等の植物の生活環境についての環境情報を取得し、各種ライト等の照明装置・送風機等の空調装置・散水装置等の環境調整装置に、上述した生活環境を調整する指示を送信する。
はじめに、コンピュータ10は、図示していないカメラにて撮像された可視光画像及び赤外線画像を取得する(ステップS01)。コンピュータ10は、可視光カメラが撮像する植物の動画や静止画等の可視光画像を取得する。また、コンピュータ10は、赤外線カメラが撮像する植物の動画や静止画等の赤外線画像を取得する。可視光カメラ及び赤外線カメラは並置又は近傍に設置されており、可視光カメラと赤外線カメラとは同一の対象を撮像する。すなわち、可視光カメラと赤外線カメラとは、同一の対象を、略同一の撮像地点から撮像する。
コンピュータ10は、可視光画像において、カメラにて撮像された植物の所定の部位に対応する領域である可視光画像領域を特定する(ステップS02)。コンピュータ10は、植物の所定の部位として、例えば、花、枝、葉等の構造の一部や、予め設定された部位等を特定する。例えば、コンピュータ10は、可視光画像において、この所定の部位に対応する領域を、画像解析により特定する。コンピュータ10は、可視光画像に存在する特徴量を抽出し、この特徴量に基づいて、所定の部位を特定する。また、コンピュータ10は、可視光画像の色を抽出し、この色に基づいて、所定の部位を特定する。
コンピュータ10は、赤外線画像において、上述した可視光画像における領域に対応する赤外線画像における領域である赤外線画像領域を特定する(ステップS03)。コンピュータ10は、可視光画像と赤外線画像とを比較することにより、赤外線画像における可視光画像領域と一致する領域を赤外線画像領域として特定する。コンピュータ10は、可視光画像領域の位置と同じ位置にある赤外線画像の領域を赤外線画像領域として特定する。
コンピュータ10は、赤外線画像領域の温度に基づいて、植物を診断する(ステップS04)。コンピュータ10は、例えば、赤外線画像領域の温度と、植物の病害時の温度とを比較することにより、植物に病害が発生しているか否かを診断する。
以上が、植物診断システム1の概要である。
[植物診断システム1のシステム構成]
図2に基づいて、植物診断システム1のシステム構成について説明する。図2は、本発明の好適な実施形態である植物診断システム1のシステム構成を示す図である。植物診断システム1は、コンピュータ10、公衆回線網(インターネット網や、第3、第4世代通信網等)5から構成され、植物を撮像した画像を取得し、この植物の診断を行う。
植物診断システム1は、植物の可視光画像を撮像する可視光カメラ及び植物の赤外線画像を撮像する赤外線カメラ等のカメラ、照度・風光・風速・温度・気温・湿度・気圧等の植物の生活環境を示す環境情報を検知する各種センサ、各種ライト等の照明装置・送風機等の空調装置・散水装置・薬剤散布装置等の植物の生活環境を調整する環境調整装置とデータ通信可能に接続される。コンピュータ10は、これらから各種情報を取得するとともに、様々な指示を送信する。
コンピュータ10は、後述の機能を備えた上述した計算装置である。
[各機能の説明]
図3に基づいて、植物診断システム1の機能について説明する。図3は、コンピュータ10の機能ブロック図を示す図である。
コンピュータ10は、制御部11として、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、通信部12として、他の機器(カメラ・各種センサ・環境調整装置等)と通信可能にするためのデバイス、例えば、IEEE802.11に準拠したWiFi(Wireless Fidelity)対応デバイスを備える。また、コンピュータ10は、記憶部13として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、コンピュータ10は、処理部14として、画像処理、病害診断等の各種処理を実行するためのデバイス等を備える。
コンピュータ10において、制御部11が所定のプログラムを読み込むことにより、通信部12と協働して、画像データ取得モジュール20、環境情報取得モジュール21、調整指示送信モジュール22を実現する。また、コンピュータ10において、制御部11が所定のプログラムを読み込むことにより、記憶部13と協働して、記憶モジュール30を実現する。また、コンピュータ10において、制御部11が所定のプログラムを読み込むことにより、処理部14と協働して、可視光画像解析モジュール40、赤外線画像解析モジュール41、温度解析モジュール42、診断モジュール43、環境調整モジュール44を実現する。
[植物診断処理]
図4及び図5に基づいて、植物診断システム1が実行する植物診断処理について説明する。図4及び図5は、コンピュータ10が実行する植物診断処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。
はじめに、画像データ取得モジュール20は、植物の可視光画像及び赤外線画像の画像データを取得する(ステップS10)。ステップS10において、画像データ取得モジュール20は、可視光カメラが撮像した可視光画像である可視光画像データ及び赤外線カメラが撮像した赤外線画像である赤外線画像データを取得する。画像データ取得モジュール20は、所定の時間間隔毎や、予め設定された時刻等の複数の時点における可視光画像データ及び赤外線画像データを取得する。画像データ取得モジュール20が取得する可視光画像データ及び赤外線画像データは、同一の撮像視点により撮像されており、同一の対象のデータである。なお、後述の説明において、所定の時点における可視光画像データ及び赤外線画像データに基づいて、コンピュータ10が植物の診断を実行するものとして説明する。
図6に基づいて、画像データ取得モジュール20が取得する植物の可視光画像データについて説明する。図6は、画像データ取得モジュール20が取得した可視光画像データを模式的に示した一例を示す図である。画像データ取得モジュール20は、可視光画像データが示す可視光画像100を取得する。この可視光画像100には、植物110が写っている。また、可視光画像100には、植物110以外の風景、自然物、人工物等が写っていてもよいが、説明の簡略化のために、省略している。また、可視光画像100に複数の植物110や、植物110とは異なる植物が存在してもよい。
図7に基づいて、画像データ取得モジュール20が取得する植物の赤外線画像データについて説明する。図7は、画像データ取得モジュール20が取得した赤外線画像データを模式的に示した一例を示す図である。画像データ取得モジュール20は、赤外線画像データが示す赤外線画像200を取得する。赤外線画像200には、植物210が写っている。また、赤外線画像200には、植物210以外の風景、自然物、人工物等が写っていてもよいが、説明の簡略化のために、省略している。赤外線画像200において、各温度を、便宜的にハッチングにより示している。また、赤外線画像200に複数の植物210や、植物210とは異なる植物が存在してもよい。
環境情報取得モジュール21は、植物の生活環境を示す環境情報を取得する(ステップS11)。ステップS11において、環境情報取得モジュール21は、環境情報として、照度・風光・風速・温度・気温・湿度・気圧等を取得する。環境情報取得モジュール21は、図示していない照度センサ、風向風速センサ、温度センサ、湿度センサ、圧力センサ等の各種センサから、環境情報を取得する。環境情報取得モジュール21は、可視光画像データ及び赤外線画像データを取得したタイミングと同時に取得する。これらの各種センサは、植物の近傍又はこの植物が植えられている場所の近傍に設置されている。
なお、各種センサは、上述した例以外の環境情報を検知するセンサであってもよい。また、各種センサの設置位置は、上述した例に限らず、この植物の生活環境を検知することが可能な位置に適宜変更可能である。また、ステップS11の処理は、省略してもよい。この場合、上述したステップS10の処理を実行後に、後述するステップS12の処理を実行すればよい。
可視光画像解析モジュール40は、取得した可視光画像データを画像解析する(ステップS12)。ステップS12において、可視光画像解析モジュール40は、可視光画像データの特徴量や色を抽出し、可視光画像データに存在する植物を識別する。ステップS12において、例えば、可視光画像解析モジュール40は、可視光画像データから抽出した特徴量と、予め記憶モジュール30が記憶する植物の特徴量とを比較し、一致する特徴量を有する植物を抽出し、この抽出した植物が可視光画像データに存在すると識別する。また、例えば、可視光画像解析モジュール40は、可視光画像データから抽出したRGB値と、予め記憶モジュール30が記憶する植物のRGB値とを比較し、一致又は類似するRGB値を有する植物を抽出し、この抽出した植物が可視光画像データに存在すると識別する。
可視光画像解析モジュール40は、画像解析の結果、可視光画像データに複数の個体が存在するか否かを判断する(ステップS13)。ステップS13において、可視光画像解析モジュール40は、可視光画像データに、植物が複数存在するか否かを判断することにより、複数の個体が存在するか否かを判断する。可視光画像解析モジュール40は、一の植物の個体が複数存在するか否か、複数の種類の植物の個体が存在するか否か等を判断する。
ステップS13において、可視光画像解析モジュール40は、複数の個体が存在しないと判断した場合(ステップS13 NO)、すなわち、一の個体のみが可視光画像データに存在すると判断した場合、可視光画像解析モジュール40は、一の個体の複数の所定の部位に対応する領域を特定する(ステップS14)。ステップS14において、所定の部位とは、例えば、花、枝、葉等の構造の一部や、予め設定された部位等である。可視光画像解析モジュール40は、例えば、花、枝、葉に対応する領域を特定する。可視光画像解析モジュール40は、可視光画像データに存在する花、枝、葉を特徴量から抽出し、この抽出した場所を、所定の部位に対応する領域として特定する。このとき、可視光画像解析モジュール40は、複数の所定の部位の各々に対応する複数の領域を特定する。また、可視光画像解析モジュール40は、可視光画像データに存在する花、枝、葉をRGB値から抽出し、この抽出した場所を、所定の部位に対応する領域として特定する。
図8に基づいて、可視光画像解析モジュール40が特定する所定の部位に対応する領域について説明する。図8は、可視光画像解析モジュール40が所定の部位を特定した状態を模式的に示した一例を示す図である。図8において、可視光画像解析モジュール40は、特徴量や色に基づいて、花、枝、葉等の所定の部位が位置する可視光画像100における領域を特定する。すなわち、可視光画像解析モジュール40は、植物110の、花300〜302、枝310〜312、葉320〜322の部位に対応する領域を特定する。図8において、特定した領域を、便宜的にハッチングにより示している。この領域は、各部位の一部を指しているが、該当する部位全体を指してもよい。なお、特定する部位の数、種類及びその位置は適宜変更可能である。
一方、ステップS13において、可視光画像解析モジュール40は、複数の個体が存在すると判断した場合(ステップS13 YES)、すなわち、第1の個体、第2の個体、第3の個体等の複数の個体が可視光画像データに存在すると判断した場合、可視光画像解析モジュール40は、複数の個体をそれぞれ識別する(ステップS15)。なお、以下の説明において、可視光画像データに第1の個体と第2の個体とが存在するものとして説明する。
可視光画像解析モジュール40は、複数の個体のそれぞれの位置関係を特定する(ステップS16)。ステップS16において、可視光画像解析モジュール40は、可視光画像内の位置に基づいて、第1の個体と第2の個体との位置関係を特定する。可視光画像解析モジュール40は、第1の個体と第2の個体との相対的な位置又は絶対的な位置を特定する。位置関係とは、例えば、どちらが撮影地点に近いか、可視光画像における座標等である。なお、ステップS16の処理は、第1の個体と第2の個体との位置関係に限らず、その他の個体との位置関係であってもよい。
可視光画像解析モジュール40は、複数の個体のそれぞれに対して、所定の部位に対応する領域を特定する(ステップS17)。ステップS17の処理は、上述したステップS14の処理を、可視光画像データに存在する各植物に対して実行する。
赤外線画像解析モジュール41は、特定された可視光画像における領域に対応する赤外線画像における領域を特定する(ステップS18)。ステップS18において、赤外線画像解析モジュール41は、可視光画像データと、赤外線画像データとを比較することにより、特定した植物の部位の領域に対応する赤外線画像データの領域を特定する。赤外線画像解析モジュール41は、可視光画像における領域の位置を座標として取得し、この取得した座標に一致する位置を、特定された可視光画像における領域に対応する赤外線画像における領域として特定する。
図9に基づいて、赤外線画像解析モジュール41が特定する可視光画像における領域に対応する赤外線画像における領域について説明する。図9は、赤外線画像解析モジュール41が赤外線画像における領域を特定した状態を模式的に示した一例を示す図である。図9において、上述した可視光画像100において、特定した植物110の花300〜302、枝310〜312、葉320〜322の部位に対応する赤外線画像200における領域を特定する。これは、可視光画像100における位置と、赤外線画像200における位置とを比較することにより特定する。赤外線画像解析モジュール41は、可視光画像100における各部位の位置座標を取得し、この取得した位置座標に対応する赤外線画像における位置を、可視光画像における領域に対応する赤外線画像における領域として特定する。赤外線画像解析モジュール41は、植物210の花400〜402、枝410〜412、葉420〜422の部位を特定する。図9において、特定した領域を、便宜的にハッチングにより示している。この領域は、上述した可視光画像において特定した部位により、一部又は部位全体を指す。なお、特定する部位の数及びその位置は、可視光画像に併せて適宜変更可能である。
温度解析モジュール42は、特定した赤外線画像データにおける領域の温度を解析する(ステップS19)。ステップS19において、温度解析モジュール42は、赤外線画像データに基づいて、各領域の温度を取得する。
温度解析モジュール42は、植物の複数の部位の各々に対応する複数の基準温度を、記憶モジュール30が記憶する基準温度データベースから取得する(ステップS20)。ステップS20において、記憶モジュール30は、予め各部位に対応する基準温度を複数記憶しておき、温度解析モジュール42は、この記憶された基準温度を取得する。このとき、特定された赤外線画像データにおける領域に対応する部位の基準温度を取得する。
[基準温度データベース]
図10に基づいて、記憶モジュール30が記憶する基準温度データベースについて説明する。図10は、記憶モジュール30が記憶する基準温度データベースの一例を示す図である。図10において、記憶モジュール30は、部位の名称と、この部位の基準温度とを対応付けて記憶する。すなわち、記憶モジュール30は、「幹」と「18」とを対応付け、「枝」と「17」とを対応付け、「葉」と「20」とを対応付けて記憶する。記憶モジュール30は、この基準温度データベースを、植物の種類毎に記憶する。なお、記憶モジュール30は、植物の種類毎ではなく、植物の個体毎に、基準温度データベースを記憶してもよい。この場合、記憶モジュール30は、予め各個体の部位毎に基準温度を取得しておき、部位と基準温度とを対応付けて記憶しておけばよい。
診断モジュール43は、特定された赤外線画像における領域の温度に基づいて、植物を診断する(ステップS21)。ステップS21において、診断モジュール43は、植物の診断を、取得した温度、基準温度、一の個体とは異なる他の個体の温度、第1の個体と第2の個体との位置関係、環境情報のいずれか又は複数の組み合わせにより実行する。
診断モジュール43が、植物の診断を、取得した温度により実行する場合について説明する。診断モジュール43は、特定された赤外線画像における領域の温度が、異常な値であるか否かを判断し、異常な値でなかった場合、健康であると判断する。一方、診断モジュール43は、異常な値であると判断した場合、病害が発生していると判断する。
診断モジュール43が、植物の診断を、基準温度により実行する場合について説明する。診断モジュール43は、特定された赤外線画像における領域の温度と、取得した記憶モジュール30が記憶する基準温度とを比較し、領域の温度と基準温度との間の温度差を算出する。診断モジュール43は、算出した温度差が所定の範囲内(例えば、0.5℃以内、1℃以内、2℃以内等)であるか否かを判断し、所定の範囲内である場合、健康であると判断する。一方、診断モジュール43は、算出した温度差が所定の範囲内でない場合、病害が発生していると判断する。
診断モジュール43が、植物の診断を、一の個体と、この一の個体とは異なる他の個体の温度とに基づいて実行する場合について説明する。診断モジュール43は、取得した一の個体における赤外線画像における領域の温度と、この一の個体とは異なる他の個体における赤外線画像における対応する同一部位の領域の温度とを比較し、これらの温度の温度差を算出する。診断モジュール43は、算出した温度差が所定の範囲内(例えば、0.5℃以内、1℃以内、2℃以内等)であるか否かを判断し、所定の範囲内である場合、健康であると判断する。一方、診断モジュール43は、算出した温度差が所定の範囲内ではない場合、病害が発生していると判断する。なお、この場合において、診断モジュール43は、一の個体又は他の個体と、上述した基準温度とを比較するとともに、一の個体と他の個体との間の温度差を算出することにより、病害が発生しているか否かを判断してもよい。すなわち、診断モジュール43は、一の個体又は他の個体のいずれか又は双方に病害が発生しているか否かを、基準温度と、温度差とに基づいて判断してもよい。
診断モジュール43が、植物の診断を、第1の個体と第2の個体との位置関係に基づいて実行する場合について説明する。診断モジュール43は、取得した複数の個体のうち、第1の個体の位置と、第1の個体とは異なる第2の個体との間の位置関係を比較し、いずれかが日光や照明等の影響をよりうけているかを判断する。これは、第1の個体と第2の個体とのいずれかが日光や照明等の影響により、より温度が高くなっているかを特定するものである。診断モジュール43は、この日光や照明等の影響を、気温や照度等の環境情報を取得することにより、第1の個体と第2の個体との温度を補正する。診断モジュール43は、補正後の第1の個体と第2の個体との温度と、上述した基準温度とを比較し、これらの温度差を算出する。診断モジュール43は、この温度差が所定の範囲内(例えば、0.5℃以内、1℃以内、2℃以内等)であるか否かを判断し、所定の範囲内である場合、健康であると判断する。一方、診断モジュール43は、算出した温度差が所定の範囲内ではないと判断した場合、病害が発生していると判断する。なお、診断モジュール43は、基準温度を用いずに、健康であるか否かを判断してもよい。例えば、補正した第1の個体と第2の個体との温度が所定の温度であるか否かに基づいて、健康であるか否かを判断すればよい。
診断モジュール43が、植物の診断を、センサから取得した環境情報に基づいて実行する場合について説明する。診断モジュール43は、取得した個体の温度を、環境情報に基づいて補正する。例えば、診断モジュール43は、環境情報として、湿度、気温、気圧等を取得し、取得した環境情報により、取得した個体の温度を補正する。診断モジュール43は、補正後の個体の温度に基づいて、植物を診断する。なお、診断モジュール43は、補正後の個体の温度と、基準温度とに基づいて、植物が健康であるか否かを判断してもよい。
診断モジュール43は、診断結果を出力する(ステップS22)。ステップS22において、診断モジュール43は、診断結果として、病害の内容(例えば、病害の名称、対策方法等)を出力する。診断モジュール43は、可視光画像データ及び赤外線画像データに、一の個体のみが存在する場合、この一の個体の診断結果を出力する。また、診断モジュール43は、可視光画像データ及び赤外線画像データに、複数の個体が存在する場合、各個体毎に、診断結果を出力する。このとき、診断モジュール43は、各個体の名称、識別子、位置情報等の個体を一意に特定することが可能な各種情報とともに、診断結果を出力する。
なお、上述した説明において、診断モジュール43は、一の可視光画像データ及び一の赤外線画像データにより、植物の診断を実施しているが、所定の期間内に取得された複数の可視光画像データ及び赤外線画像データに基づいて、植物の診断を実行してもよい。この場合、各赤外線画像データから取得した個体の温度の、変化量や変化幅や変化そのものに基づいて、植物の診断を実行すればよい。また、診断モジュール43は、複数の赤外線画像データから取得した個体の温度の平均値により、この植物の診断を実行すればよい。例えば、診断モジュール43は、この個体の温度の平均値と、基準温度とを比較することにより、この温度の平均値と、基準温度との間の温度差を算出し、この温度差が所定の範囲内であるか否かに基づいて、植物の診断を実行すればよい。
診断モジュール43は、出力した診断結果に基づいて、個体に病害が発生しているか否かを判断する(ステップS23)。
ステップS23において、診断モジュール43は、個体に病害が発生していないと判断した場合(ステップS23 NO)、本処理を終了する。なお、このとき、診断モジュール43は、図示していない外部端末装置に対して、個体に病害が発生していない旨の通知を送信してもよい。
ステップS23において、診断モジュール43は、個体に病害が発生していると判断した場合(ステップS23 YES)、環境調整モジュール44は、この診断の結果を表す情報に基づいて、生活環境を調整する調整指示を作成する(ステップS24)。ステップS24において、環境調整モジュール44は、診断した病害の内容に基づいて、必要な処理を、病害の内容と処理とを関連づけて記憶する調整データベース等に基づいて取得する。環境調整モジュール44は、この取得した処理を実行する調整指示を作成する。この調整指示には、必要な処理及びこの処理を実行する環境調整装置の識別子や装置ID等の環境調整装置を一意に特定することが可能な情報等が含まれる。
調整指示送信モジュール22は、上述したステップS24において環境調整モジュール44が作成した調整指示を、環境調整装置に送信する(ステップS25)。調整指示送信モジュール22は、調整指示に含まれる環境調整装置を一意に特定することが可能な情報に基づいて、対象となる環境調整装置に送信する。
環境調整装置は、この調整指示を受信し、この調整指示に含まれる必要な処理を実行する。例えば、環境調整装置は、照明のオンオフの実行、湿度や温度制御の実行、散水の実行、薬剤の散布等を実行する。
以上が、植物診断処理である。
なお、上述の実施形態では、コンピュータ10は、植物の病害を判断する処理を実行しているが、本発明は、それ以外の植物の診断にも適用可能である。例えば、コンピュータ10は、上述した植物の温度に基づいて、散水の必要性を判断する処理を実行してもよいし、植物の温度と環境情報とに基づいて、照度の調整の必要性を判断する処理を実行してもよいし、その他の処理を実行してもよい。
上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される(SaaS:ソフトウェア・アズ・ア・サービス)形態で提供される。また、プログラムは、例えば、フレキシブルディスク、CD(CD−ROMなど)、DVD(DVD−ROM、DVD−RAMなど)等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置(記録媒体)に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
1 植物診断システム、10 コンピュータ

Claims (10)

  1. 植物の特徴量又はRGB値が予め記憶された記憶手段と、
    カメラにて撮像された、可視光画像及び赤外線画像を取得する第1取得手段と、
    前記可視光画像のデータから抽出した特徴量又はRGB値と、前記記憶手段に記憶された植物の特徴量又はRGB値を比較して、前記可視光画像データに存在する植物を識別し、識別した植物の所定の部位に対応する領域を、前記特徴量又はRGB値から特定する第1画像処理手段と、
    特定された前記可視光画像における領域に対応する、前記赤外線画像における領域を特定する第2画像処理手段と、
    特定された前記赤外線画像における領域の温度に基づいて、前記植物を診断する診断手段と、
    を備えることを特徴とするコンピュータシステム。
  2. 前記植物の複数の部位の各々に対応する複数の基準温度を記憶した記憶手段と、
    をさらに備え、
    前記第1画像処理手段は、複数の所定の部位の各々に対応する複数の領域を特定し、
    前記診断手段は、前記第2画像処理手段にて特定された複数の領域における温度と各基準温度とを比較する、
    ことを特徴とする請求項1に記載のコンピュータシステム。
  3. 前記第1画像処理手段は、前記カメラにて撮像された複数の個体をそれぞれ識別し、
    前記診断手段は、前記個体毎に診断結果を出力する、
    ことを特徴とする請求項1に記載のコンピュータシステム。
  4. 前記診断手段は、前記複数の個体のうち一の個体について診断を行うに際し、他の個体の温度を用いる、
    ことを特徴とする請求項3に記載のコンピュータシステム。
  5. 前記第1画像処理手段は、第1の個体と第2の個体との位置関係を特定し、
    前記診断手段は、前記位置関係を用いる、
    ことを特徴とする請求項3に記載のコンピュータシステム。
  6. 前記植物の生活環境を示す環境情報を取得する第2取得手段と、
    をさらに備え、
    前記診断手段は、前記環境情報を用いる、
    ことを特徴とする請求項1に記載のコンピュータシステム。
  7. 前記第1取得手段は、前記可視光画像及び前記赤外線画像を、それぞれ複数の時点において取得し、
    前記診断手段は、所定の期間内に取得された複数の前記可視光画像及び複数の前記赤外線画像を用いる、
    ことを特徴とする請求項1に記載のコンピュータシステム。
  8. 前記診断手段にて出力された診断の結果を表す情報に基づいて生活環境を調整する調整手段と、
    をさらに備えることを特徴とする請求項1に記載のコンピュータシステム。
  9. コンピュータシステムが実行する植物の診断方法であって、
    植物の特徴量又はRGB値を予め記憶手段に記憶するステップと、
    カメラにて撮像された、可視光画像及び赤外線画像を取得するステップと、
    前記可視光画像のデータから抽出した特徴量又はRGB値と、前記記憶手段に記憶された植物の特徴量又はRGB値を比較して、前記可視光画像データに存在する植物を識別し、識別した植物の所定の部位に対応する領域を、前記特徴量又はRGB値から特定するステップと、
    特定された前記可視光画像における領域に対応する、前記赤外線画像における領域を特定するステップと、
    特定された前記赤外線画像における領域の温度に基づいて、前記植物を診断するステップと、
    を備えることを特徴とする植物の診断方法。
  10. コンピュータシステムに、
    植物の特徴量又はRGB値を予め記憶手段に記憶するステップ、
    カメラにて撮像された、可視光画像及び赤外線画像を取得するステップ、
    前記可視光画像のデータから抽出した特徴量又はRGB値と、前記記憶手段に記憶された植物の特徴量又はRGB値を比較して、前記可視光画像データに存在する植物を識別し、識別した植物の所定の部位に対応する領域を、前記特徴量又はRGB値から特定するステップ、
    特定された前記可視光画像における領域に対応する、前記赤外線画像における領域を特定するステップ、
    を実行させるためのコンピュータ読み取り可能なプログラム。
JP2018546076A 2016-10-18 2016-10-18 コンピュータシステム、植物の診断方法及びプログラム Active JP6560833B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/080871 WO2018073899A1 (ja) 2016-10-18 2016-10-18 コンピュータシステム、植物の診断方法及びプログラム

Publications (2)

Publication Number Publication Date
JP6560833B2 true JP6560833B2 (ja) 2019-08-14
JPWO2018073899A1 JPWO2018073899A1 (ja) 2019-08-22

Family

ID=62018380

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018546076A Active JP6560833B2 (ja) 2016-10-18 2016-10-18 コンピュータシステム、植物の診断方法及びプログラム

Country Status (3)

Country Link
US (1) US10690644B2 (ja)
JP (1) JP6560833B2 (ja)
WO (1) WO2018073899A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3990913A4 (en) * 2019-07-05 2022-10-12 Arugga A.I Farming Ltd SYSTEMS AND METHODS FOR AUTOMATED PLANT MONITORING
JP7387195B2 (ja) * 2019-12-23 2023-11-28 株式会社ナイルワークス 圃場管理システム、圃場管理方法およびドローン
CN111127445A (zh) * 2019-12-26 2020-05-08 智洋创新科技股份有限公司 基于深度学习的配网线路高温区域检测方法与系统
WO2021152741A1 (ja) * 2020-01-29 2021-08-05 株式会社ナイルワークス 農作物育成システム
US20220259947A1 (en) * 2021-02-18 2022-08-18 Yantai Jereh Petroleum Equipment & Technologies Co., Ltd. Monitoring system and method for wellsite equipment

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03182185A (ja) * 1989-12-11 1991-08-08 Fujitsu Ltd 赤外線監視システム
JPH11120458A (ja) 1997-10-14 1999-04-30 Hitachi Eng & Service Co Ltd 火災検知装置
JP2002022652A (ja) 2000-07-10 2002-01-23 Horiba Ltd 波長分析型赤外画像および可視画像解析装置
JP2002132341A (ja) * 2000-10-26 2002-05-10 Toshiba Corp 現場点検装置
JP2003310055A (ja) 2002-04-26 2003-11-05 Matsushita Electric Ind Co Ltd 植物育成装置および植物育成方法、並びにその方法を記録した記録媒体
CN200996939Y (zh) * 2006-11-24 2007-12-26 浙江大学 一种植物叶片与冠层灰霉病害早期诊断装置
CN104797913A (zh) * 2012-09-21 2015-07-22 杭州美盛红外光电技术有限公司 热像诊断装置和热像诊断方法
US10234439B2 (en) * 2012-11-07 2019-03-19 Airscout Inc. Methods and systems for analyzing a field
US9922242B2 (en) * 2012-12-02 2018-03-20 Agricam Ab Systems and methods for predicting the outcome of a state of a subject
US10585210B2 (en) * 2015-10-06 2020-03-10 Arable Labs, Inc. Apparatus for radiometric correction and orthorectification of aerial imagery
US10028452B2 (en) * 2016-04-04 2018-07-24 Beesprout, Llc Horticultural monitoring system
CN106067169A (zh) * 2016-05-24 2016-11-02 北京农业信息技术研究中心 植物水分胁迫状态自动监控方法及系统
JP6101878B1 (ja) * 2016-08-05 2017-03-22 株式会社オプティム 診断装置
US10339380B2 (en) * 2016-09-21 2019-07-02 Iunu, Inc. Hi-fidelity computer object recognition based horticultural feedback loop
WO2018078868A1 (ja) * 2016-10-31 2018-05-03 株式会社オプティム コンピュータシステム、物体の診断方法及びプログラム
US10852236B2 (en) * 2017-09-12 2020-12-01 Curadel, LLC Method of measuring plant nutrient transport using near-infrared imaging

Also Published As

Publication number Publication date
WO2018073899A1 (ja) 2018-04-26
US20200041475A1 (en) 2020-02-06
JPWO2018073899A1 (ja) 2019-08-22
US10690644B2 (en) 2020-06-23

Similar Documents

Publication Publication Date Title
JP6560833B2 (ja) コンピュータシステム、植物の診断方法及びプログラム
JP6101878B1 (ja) 診断装置
US10685231B2 (en) Computer system, and method and program for diagnosing plants
US10643328B2 (en) Computer system, and method and program for diagnosing objects
KR20180027778A (ko) 식물 생육 모니터링 시스템 및 그 방법
US11594060B2 (en) Animal information management system and animal information management method
WO2019106733A1 (ja) 生育状況または病害虫発生状況の予測システム、方法およびプログラム
CA3058955C (en) A system for measuring deformations and a method for measuring deformations
US11100642B2 (en) Computer system, and method and program for diagnosing animals
JP6697672B2 (ja) 異常判定システム、異常判定装置、及び、異常判定方法
WO2023172080A1 (ko) 식생 지수 획득 유닛 및 이를 포함하는 식물 모니터링 장치
CN113273178A (zh) 畜舍监视方法和畜舍监视系统
CN112985615A (zh) 一种体温监测方法及装置
JP2023010952A (ja) 農作物の成長監視システム、及び成長監視方法
JP2017042136A (ja) 植物栽培支援装置、植物栽培支援方法、プログラム、記憶媒体
KR20160145319A (ko) 다중 영상을 이용한 엽온 측정 방법
JP6768203B2 (ja) 検査装置および検査方法、並びにプログラム
WO2018073900A1 (ja) コンピュータシステム、物体の診断方法及びプログラム
JP2003050996A (ja) 遺伝子機能解析のための画像取得装置
KR20220125968A (ko) 안면 인식 체온 측정 장치 및 방법
TWI666982B (zh) 智能環控管控系統
US20230304865A1 (en) Non-contact body temperature measurement device
CN112304430B (zh) 一种照明现场实时智能监测方法及装置
KR20210085384A (ko) IoT센서와 영상정보를 이용한 농작물상태분석시스템
JP2024080208A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190529

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190529

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190529

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190719

R150 Certificate of patent or registration of utility model

Ref document number: 6560833

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250