JPWO2018179220A1 - コンピュータシステム、植物診断方法及びプログラム - Google Patents

Abstract

【課題】画像解析と複数のデータリソースとから、起こりえる予測結果の相関関係を解析し、単体の画像の解析よりも高度な精度の予測を行うコンピュータシステム、植物診断方法及びプログラムを提供することを目的とする。
【解決手段】植物を診断するコンピュータシステムは、前記植物の植物画像を取得し、取得した前記植物画像を画像解析し、前記植物の画像外情報を取得し、取得した前記画像外情報を分析し、前記画像解析した結果と、前記分析した結果との相関関係を分析し、分析した前記相関関係の結果に基づいて、前記植物を診断する。
【選択図】図１

Description

本発明は、植物を診断するコンピュータシステム、植物診断方法及びプログラムに関する。

近年、画像診断により、植物、特に藻類を診断する方法が知られている。例えば、海苔は、赤ぐされ病という、海苔の表面が赤さびのような斑点が現れる病気が知られている。一方、植物や藻類の環境データ（温度（水温）データ、日光照度データ、塩分濃度データ、水流データ等）等の画像とは異なる外部リソースとなる環境データで、植物や藻類は、生育や品質が変わってくる（非特許文献１参照）。

ｈｔｔｐ：／／ｗｗｗ．ｆｉｓｈ−ｊｆｒｃａ．ｊｐ／０２／ｐｄｆ／ｐａｍｐｈｌｅｔ／０７５．ｐｄｆ

しかしながら、非特許文献１の構成では、取得できた画像データ又は環境データのみで病気や品質等を判定するものであり、複数のデータリソースを解析して、予測を行うものではなかった。

本発明は、画像解析と複数のデータリソースとから、起こりえる予測結果（例えば、病気や品質）の相関関係を解析し、単体の画像の解析よりも高度な精度の予測を行うコンピュータシステム、植物診断方法及びプログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

本発明は、植物を診断するコンピュータシステムであって、
前記植物の植物画像を取得する植物画像取得手段と、
取得した前記植物画像を画像解析する植物画像解析手段と、
前記植物の画像外情報を取得する画像外情報取得手段と、
取得した前記画像外情報を分析する画像外情報分析手段と、
前記画像解析した結果と、前記分析した結果との相関関係を分析する相関関係分析手段と、
分析した前記相関関係の結果に基づいて、前記植物を診断する植物診断手段と、
を備えることを特徴とするコンピュータシステムを提供する。

本発明によれば、植物を診断するコンピュータシステムは、前記植物の植物画像を取得し、取得した前記植物画像を画像解析し、前記植物の画像外情報を取得し、取得した前記画像外情報を分析し、前記画像解析した結果と、前記分析した結果との相関関係を分析し、分析した前記相関関係の結果に基づいて、前記植物を診断する。

本発明は、コンピュータシステムのカテゴリであるが、植物診断方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

本発明によれば、画像解析と複数のデータリソースとから、起こりえる予測結果の相関関係を解析し、単体の画像の解析よりも高度な精度の予測を行うコンピュータシステム、植物診断方法及びプログラムを提供することが可能となる。

図１は、植物診断システム１の概要を示す図である。 図２は、植物診断システム１の全体構成図である。 図３は、コンピュータ１０の機能ブロック図である。 図４は、コンピュータ１０が実行する画像解析用学習処理を示すフローチャートである。 図５は、コンピュータ１０が実行する画像外情報分析用学習処理を示すフローチャートである。 図６は、コンピュータ１０が実行する植物診断処理を示すフローチャートである。である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

［植物診断システム１の概要］
本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である植物診断システム１の概要を説明するための図である。植物診断システム１は、コンピュータ１０から構成され、植物を診断するコンピュータシステムである。

コンピュータ１０は、図示していない可視光カメラ、赤外線カメラ、紫外線カメラ、Ｘ線カメラ、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）、超音波カメラ等の各種撮像装置等や、温度（水温、気温等）データ、湿度データ、日光照度データ、水流データ、塩分濃度データ等を計測する各種センサ装置等に通信可能に接続された計算装置である。

はじめに、コンピュータ１０は、植物の植物画像を取得する（ステップＳ０１）。コンピュータ１０は、植物画像として、可視光画像、赤外線画像、紫外線画像、レントゲン画像、ＣＴスキャン画像又は超音波画像の少なくとも一つを取得する。以下の説明において、海苔の可視光画像を取得したものとして説明する。

コンピュータ１０は、取得した植物画像を画像解析する（ステップＳ０２）。コンピュータ１０は、植物画像の特徴量（輝度、色彩、粒子、形状等）を解析する。コンピュータ１０は、例えば、海苔の可視光画像から、斑点の有無、変色の有無、色抜けの有無、色落ちの有無等を分析し、赤ぐされ病、壺状菌病、芽いたみ病、白ぐされ病等について解析する。なお、コンピュータ１０は、予め記憶した植物画像と、この植物画像に対して行われた診断結果とを対応付けて学習し、学習した結果に基づいて、今回取得した植物画像を画像解析してもよい。

コンピュータ１０は、植物の画像外情報を取得する（ステップＳ０３）。コンピュータ１０は、画像外情報として、各種センサ装置が取得する温度データ、湿度データ、日光照度データ、水流データ又は塩分濃度データの少なくとも一つを取得する。以下の説明において、日光照度データを取得したものとして説明する。

コンピュータ１０は、取得した画像外情報を分析する（ステップＳ０４）。コンピュータ１０は、例えば、温度データ、湿度データ、日光照度データ、水流データ、塩分濃度データ等が生育に適当か否かを分析する。なお、コンピュータ１０は、予め記憶した画像外情報とこの画像外情報に対して行われた診断結果とを対応付けて学習し、学習した結果に基づいて、今回取得した画像外情報を分析してもよい。

コンピュータ１０は、画像解析した結果と、分析した結果との相関関係を分析する（ステップＳ０５）。コンピュータ１０は、例えば、画像解析の結果として、赤い斑点があるとの結果を取得し、分析した結果として、日光照度データが適当でないとの結果を取得した場合、これらの相関関係を分析する。

コンピュータ１０は、分析した相関関係の結果に基づいて、植物を診断する（ステップＳ０６）。コンピュータ１０は、例えば、分析した相関関係の結果に基づいて、植物の病名を赤ぐされ病であると決定する。

以上が、植物診断システム１の概要である。

［植物診断システム１のシステム構成］
図２に基づいて、本発明の好適な実施形態である植物診断システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である植物診断システム１のシステム構成を示す図である。植物診断システム１は、コンピュータ１０、公衆回線網（インターネット網や、第３、第４世代通信網等）５から構成され、植物を診断するコンピュータシステムである。本実施形態において、植物診断システム１は、海苔を診断するコンピュータシステムである。

コンピュータ１０は、後述の機能を備えた上述した計算装置である。

［各機能の説明］
図３に基づいて、本発明の好適な実施形態である植物診断システム１の機能について説明する。図３は、コンピュータ１０の機能ブロック図を示す図である。

コンピュータ１０は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部１２として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、コンピュータ１０は、記憶部１３として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、コンピュータ１０は、処理部１４として、画像処理、状態診断、学習処理等の各種処理を実行するためのデバイス等を備える。

コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、通信部１２と協働して、植物画像取得モジュール２０、診断結果取得モジュール２１、画像外情報取得モジュール２２を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、記憶部１３と協働して、記憶モジュール３０を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、処理部１４と協働して、学習モジュール４０、画像解析モジュール４１、画像外情報分析モジュール４２、相関関係分析モジュール４３、診断モジュール４４を実現する。

［画像解析用学習処理］
図４に基づいて、植物診断システム１が実行する画像解析用学習処理について説明する。図４は、コンピュータ１０が実行する画像解析用学習処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。

植物画像取得モジュール２０は、植物の植物画像を取得する（ステップＳ１０）。ステップＳ１０において、植物画像取得モジュール２０が取得する植物画像とは、例えば、可視光画像、赤外線画像、紫外線画像、レントゲン画像、ＣＴスキャン画像又は超音波画像の少なくとも一つである。植物画像取得モジュール２０は、これらの植物画像を、対応する撮像装置から取得してもよいし、図示していないコンピュータ等を介して取得してもよい。以下の説明において、植物画像取得モジュール２０は、植物画像として、海苔の可視光画像を取得するものとして説明する。

なお、植物画像取得モジュール２０は、図示していない外部コンピュータ等に記憶されたデータベース等から、植物画像を取得してもよい。

記憶モジュール３０は、植物画像を記憶する（ステップＳ１１）。ステップＳ１１において、記憶モジュール３０は、今回植物画像を取得した植物の識別子（植物の名称、管理番号、予め設定された整理番号、その他の植物を一意に特定可能な識別子等）と、植物画像とを対応付けて記憶する。なお、記憶モジュール３０は、植物画像のみを記憶してもよい。

診断結果取得モジュール２１は、今回取得した植物画像に該当する植物の診断結果を取得する（ステップＳ１２）。ステップＳ１２において、診断結果取得モジュール２１は、例えば、植物の病気に関するデータベース等を記憶する図示していない外部コンピュータや、生産者が保有する端末装置等から、診断結果を取得する。本実施形態における診断結果とは、例えば、病名の特定、症状の特定、必要な処置の特定等である。

学習モジュール４０は、記憶モジュール３０が記憶した植物画像と、診断結果取得モジュール２１が取得した診断結果とを対応付けて学習する（ステップＳ１３）。ステップＳ１３において、学習モジュール４０は、上述した可視光画像、赤外線画像、紫外線画像、レントゲン画像、ＣＴスキャン画像又は超音波画像の少なくとも一つを診断結果と対応付けて学習する。

記憶モジュール３０は、学習した結果を、記憶する（ステップＳ１４）。

植物診断システム１は、上述した画像解析用学習処理を、十分な回数実行し、学習した結果を記憶する。

以上が、画像解析用学習処理である。

［画像外情報分析用学習処理］
図５に基づいて、植物診断システム１が実行する画像外情報分析用学習処理について説明する。図５は、コンピュータ１０が実行する画像外情報分析用学習処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。

画像外情報取得モジュール２２は、植物の画像外情報を取得する（ステップＳ２０）。ステップＳ２０において、画像外情報取得モジュール２２が取得する画像外情報とは、例えば、各種センサが計測する温度データ、湿度データ、日光照度データ、水流データ又は塩分濃度データの少なくとも一つである。画像外情報取得モジュール２２は、これらの画像外情報を、対応する各種装置等から取得してもよいし、図示していないコンピュータ等を介して取得してもよい。以下の説明において、画像外情報取得モジュール２２は、画像外情報として、日光照度データを取得するものとして説明する。

記憶モジュール３０は、画像外情報を記憶する（ステップＳ２１）。記憶モジュール３０は、今回画像外情報を取得した植物の識別子（植物の名称、管理番号、予め設定された整理番号、その他の植物を一意に特定可能な識別子等）と、画像外情報とを対応付けて記憶する。なお、記憶モジュール３０は、画像外情報のみを記憶してもよい。

診断結果取得モジュール２１は、今回取得した画像外情報に該当する植物の診断結果を取得する（ステップＳ２２）。ステップＳ２２において、診断結果取得モジュール２１は、例えば、植物の病気に関するデータベース等を記憶する図示していない外部コンピュータや、生産者が保有する端末装置等から、診断結果を取得する。本実施形態における診断結果とは、例えば、病名の特定、症状の特定、必要な処置の特定等である。

なお、診断結果取得モジュール２１は、図示していない外部コンピュータ等に記憶された診断結果から、診断結果を取得してもよい。

学習モジュール４０は、記憶モジュール３０が記憶した画像外情報と、診断結果取得モジュール２１が取得した診断結果とを対応付けて学習する（ステップＳ２３）。ステップＳ２３において、学習モジュール４０は、上述した温度データ、湿度データ、日光照度データ、水流データ又は塩分濃度データの少なくとも一つを診断結果と対応付けて学習する。

記憶モジュール３０は、学習した結果を、記憶する（ステップＳ２４）。

植物診断システム１は、上述した画像外情報分析用学習処理を、十分な回数実行し、学習した結果を記憶する。

以上が、画像外情報分析用学習処理である。

［植物診断処理］
図６に基づいて、植物診断システム１が実行する植物診断処理について説明する。図６は、コンピュータ１０が実行する植物診断処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。なお、以下の説明において、植物診断システム１は、可視光画像及び日光照度データに基づいて植物を診断するものとして説明する。

植物画像取得モジュール２０は、植物の植物画像を取得する（ステップＳ３０）。ステップＳ３０において、植物画像取得モジュール２０が取得する植物画像とは、例えば、可視光画像、赤外線画像、紫外線画像、レントゲン画像、ＣＴスキャン画像又は超音波画像の少なくとも一つを取得する。植物画像取得モジュール２０は、これらの植物画像を、対応する撮像装置から取得してもよいし、図示していないコンピュータ等を介して取得してもよい。

画像解析モジュール４１は、取得した植物画像を画像解析する（ステップＳ３１）。ステップＳ３１において、学習モジュール４０が学習した結果に基づいて、植物画像を画像解析する。画像解析モジュール４１は、今回取得した植物画像の特徴量（輝度、色彩、粒子、形状等）を解析する。画像解析モジュール４１は、学習した結果から、診断を下すために必要な画像の部位や特徴等の複数の候補を解析する。画像解析モジュール４１は、例えば、植物画像のＲＧＢ値を解析する。また、画像解析モジュール４１は、エッジ抽出等を実行することにより、形状を解析する。画像解析モジュール４１は、例えば、海苔の可視光画像から、斑点の有無、変色の有無、色抜けの有無、色落ちの有無等を分析し、赤ぐされ病、壺状菌病、芽いたみ病、白ぐされ病等について解析する。画像解析モジュール４１は、画像解析の結果として、必ずしも病名や症状の特定を行うものに限らず、後述する診断のための情報を得ることのみであってもよい。例えば、画像解析モジュール４１は、診断のための予備情報を画像解析の結果から得てもよい。

画像外情報取得モジュール２２は、植物の画像外情報を取得する（ステップＳ３２）。ステップＳ３２において、画像外情報取得モジュール２２は、画像外情報として、各種センサ装置が計測した、温度データ、湿度データ、日光照度データ、水流データ又は塩分濃度データの少なくとも一つを取得する。画像外情報取得モジュール２２は、これらの画像外情報を、対応する各種装置等から取得してもよいし、図示していないコンピュータ等を介して取得してもよい。

画像外情報分析モジュール４２は、取得した画像外情報を分析する（ステップＳ３３）。ステップＳ３３において、画像外情報分析モジュール４２は、学習モジュール４０が学習した結果に基づいて、画像外情報を分析する。画像外情報分析モジュール４２は、学習した結果から、診断を下すために必要な画像外情報の複数の候補を分析する。画像外情報分析モジュール４２は、例えば、画像外情報が、植物の生育に適当か否かを分析する。画像外情報分析モジュール４２は、例えば、画像外情報として、日光照度データを取得し、この日光照度データが適当でない場合、何らかの病気が発生している可能性があると分析する。画像外情報分析モジュール４２は、分析の結果として、必ずしも、病名や症状の特定を行うものに限らず、後述する診断のための情報を得ることのみであってもよい。例えば、画像外情報分析モジュール４２は、診断のための予備情報を分析の結果から得てもよい。

相関関係分析モジュール４３は、画像解析モジュール４１が画像解析した結果と、画像外情報分析モジュール４２が分析した結果との相関関係を分析する（ステップＳ３４）。ステップＳ３４において、例えば、相関関係分析モジュール４３は、画像解析モジュール４１が画像解析した結果として、赤い斑点がついているとの解析結果と、画像外情報分析モジュール４２が分析した結果として、日光照度データが適当でなく、何らかの病気が発生している疑いがあるとの分析結果との相関関係を分析する。ここで、相関関係分析モジュール４３は、相関関係をスコアとして分析する。すなわち、相関関係分析モジュール４３は、解析結果から得られた診断と、分析結果から得られた診断とがどの程度相関があるかをスコアとして評価する。相関関係分析モジュール４３は、上述した画像解析の結果得られた各項目の診断結果の其々に対して、分析の結果得られた各項目の診断結果との相関の程度を評価する。相関関係分析モジュール４３は、相関関係が高いものを高スコアとして評価し、相関関係が低いものを低スコアとして評価する。

診断モジュール４４は、分析した相関関係の結果に基づいて、植物を診断する（ステップＳ３５）。ステップＳ３５において、診断モジュール４４は、分析した相関関係の結果として、スコアが最も高い評価の診断結果の組み合わせに基づいて、植物の病名を特定する。例えば、診断モジュール４４は、上述した画像解析の結果と、上述した画像外情報の分析の結果と、その相関関係の分析の結果とに基づいて、今回の植物は、赤ぐされ病であると病名を特定する。

学習モジュール４０は、今回の診断結果を植物画像と画像外情報とに対応付けて学習する（ステップＳ３６）。

記憶モジュール３０は、学習した結果を記憶する（ステップＳ３７）。コンピュータ１０は、次以降の診断の際に、今回学習した結果も加味した診断を行う。

なお、コンピュータ１０は、診断結果を、図示してない生産者が保有する端末装置等に送信してもよい。この場合、予め登録された端末装置からの要求や診断の結果、異常が発見された場合等において、この端末装置に対して、診断結果を送信すればよい。このとき、診断結果とともに、具体的な処置の方法、危険度等の各種情報を合わせて送信してもよい。この各種情報を受信した端末装置は、各種情報を表示又は音声等により通知してもよい。

以上が、植物診断処理である。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１ 植物診断システム１０ コンピュータ

本発明は、植物を診断するコンピュータシステムであって、
前記植物の植物画像を取得する植物画像取得手段と、
予め記憶した植物画像と、過去の診断結果とを対応付けて学習する植物画像診断結果学習手段と、
取得した前記植物画像に対して、前記学習した結果に基づいて、診断を下すために必要な複数の候補を画像解析し、診断に必要な候補を特定し、当該診断のための予備情報を取得する植物画像解析手段と、
前記植物の画像外情報を取得する画像外情報取得手段と、
予め記憶した画像外情報と、過去の診断結果とを対応付けて学習する画像外情報診断結果学習手段と、
取得した前記画像外情報に対して、前記学習した結果に基づいて、診断を下すために必要な複数の候補を分析し、診断に必要な候補を特定し、当該診断のための予備情報を取得する画像外情報分析手段と、
前記画像解析した結果と、前記分析した結果との相関関係を分析する相関関係分析手段と、
分析した前記相関関係の結果に基づいて、前記植物を診断する植物診断手段と、
を備えることを特徴とするコンピュータシステムを提供する。

本発明によれば、植物を診断するコンピュータシステムは、前記植物の植物画像を取得し、予め記憶した植物画像と、過去の診断結果とを対応付けて学習し、取得した前記植物画像に対して、前記学習した結果に基づいて、診断を下すために必要な複数の候補を画像解析し、診断に必要な候補を特定し、当該診断のための予備情報を取得し、前記植物の画像外情報を取得し、予め記憶した画像外情報と、過去の診断結果とを対応付けて学習し、取得した前記画像外情報に対して、前記学習した結果に基づいて、診断を下すために必要な複数の候補を分析し、診断に必要な候補を特定し、当該診断のための予備情報を取得し、前記画像解析した結果と、前記分析した結果との相関関係を分析し、分析した前記相関関係の結果に基づいて、前記植物を診断する。

Claims (6)

1. 植物を診断するコンピュータシステムであって、
   前記植物の植物画像を取得する植物画像取得手段と、
   取得した前記植物画像を画像解析する植物画像解析手段と、
   前記植物の画像外情報を取得する画像外情報取得手段と、
   取得した前記画像外情報を分析する画像外情報分析手段と、
   前記画像解析した結果と、前記分析した結果との相関関係を分析する相関関係分析手段と、
   分析した前記相関関係の結果に基づいて、前記植物を診断する植物診断手段と、
   を備えることを特徴とするコンピュータシステム。
2. 前記植物画像解析手段は、予め記憶した植物画像と診断結果とを対応付けて学習し、学習した結果に基づいて、前記植物画像を画像解析する、
   ことを特徴とする請求項１に記載のコンピュータシステム。
3. 前記画像外情報分析手段は、予め記憶した画像外情報と診断結果とを対応付けて学習し、学習した結果に基づいて、前記画像外情報を分析する、
   ことを特徴とする請求項１に記載のコンピュータシステム。
4. 前記植物画像解析手段は、予め記憶した可視光画像を診断結果と対応付けて学習し、
   前記画像外情報分析手段は、予め記憶した日光照度データ、水流データ又は塩分濃度データの少なくとも一つを診断結果と対応付けて学習する、
   ことを特徴とする請求項１に記載のコンピュータシステム。
5. 植物を診断する植物診断方法であって、
   前記植物の植物画像を取得するステップと、
   取得した前記植物画像を画像解析するステップと、
   前記植物の画像外情報を取得するステップと、
   取得した前記画像外情報を分析するステップと、
   前記画像解析した結果と、前記分析した結果との相関関係を分析するステップと、
   分析した前記相関関係の結果に基づいて、前記植物を診断するステップと、
   を備えることを特徴とする植物診断方法。
6. 植物を診断するコンピュータシステムに、
   前記植物の植物画像を取得するステップ、
   取得した前記植物画像を画像解析するステップ、
   前記植物の画像外情報を取得するステップ、
   取得した前記画像外情報を分析するステップ、
   前記画像解析した結果と、前記分析した結果との相関関係を分析するステップ、
   分析した前記相関関係の結果に基づいて、前記植物を診断するステップ、
   を実行させるためのプログラム。

Images