JP6539901B2 - 植物病診断システム、植物病診断方法、及びプログラム - Google Patents

Description

本発明は、植物病診断システム、植物病診断方法、及びプログラムに係り、詳細には、植物（野菜、果物等）の診断に好適な画像解析及び機械学習技術に関する。

従来より、画像から特徴量を抽出し、事前にデータベース等に登録されている情報と比較照合することで対象物を識別する画像解析技術が用いられている。例えば、特許文献１には、植物病の識別方法として、植物の病気の名称及びそれに対応する病状の画像情報を保存する植物病状データベースを用いる方法が記載されている。具体的には、特許文献１の方法では、撮影により得た栽培植物画像を２段階に色調処理して病気疑い区域の画像を取得し、病気疑い区域の画像の面積を計算し、面積が予め設けられた区域面積より大きい場合、病気疑い区域の画像を病気特徴区域の画像とし、病気特徴区域の画像情報を病状の画像情報と比較し、病気特徴区域の画像がいずれかの特定の病気特徴の画像情報と一致する場合、それに対応する特定の植物の病気の名称を取得する。

また、画像解析による植物病診断の研究段階のものとしては、非特許文献１、非特許文献２等がある。非特許文献１には、蘭の葉の色特徴や病斑の形状を特徴量としてニューラルネットワークを用いて病気の種類の識別を行ったことが記載されている。非特許文献２には、キュウリの葉の病変部の色や形を特徴量とし、放射基底関数を用いたサポートベクターマシンにおいて、葉に出現した病気の種類を識別したことが記載されている。しかし、いずれの方法も特徴量の選択方法如何によって識別精度が大きく変動する虞があり、実用化が困難である。こうした問題の原因として考えられることは、（１）画像から葉の領域や花弁の領域を抽出し、特徴を抽出する必要があるが、植物の成長状況によって変動が大きく、植物病の特徴量を抽出するための多数のサンプルの収集が困難である。（２）撮影角度、カメラと対象との距離等を合わせる必要があり、かつ多くのデータを学習する必要があるため、システムの構築に非常に時間がかかる。（３）画像解析の前処理として、画像から葉等の注目領域を抽出したり、適切なコントラスト、明暗、位置、角度、画像サイズ等を合わせる必要があり、画像特徴量の抽出までのプロセスも大変煩雑である。
このような様々な要因により、植物病の自動診断の実用化は困難であった。

ところで、近年、ＣＮＮ（Convolutional Neural Network；畳込みニューラルネットワーク）と呼ばれる深層学習器が開発され、注目されている（非特許文献３）。ＣＮＮは機械学習器の一種であり、画像の特徴をシステムが自動抽出して学習し、対象が何であるかを判定する仕組みである。図１８は、非特許文献１に記載されるＣＮＮの構造を示す図である。図１８に示す学習器は、５つの畳込み層ｃｏｎｖ１０１〜ｃｏｎｖ１０５と３つの全結合層ｆｃ１０１〜ｆｃ１０３から構成される。なお、最後段の全結合層ｆｃ１０３は出力層と呼ぶこともある。ｐｉｃ１０１は入力画像（入力層）であり、１１×１１［pixel］の探索窓１５１Ａ、１５１Ｂが設定されることを意味する。

特開２０１３−１１１０７８号公報

K.Y.Huang, "Application of artifical neural network fordetecting Phalaenopsis seeding diseases using color and texture features",Computer Electron Agric 57:3-11, 2007 J.Zhang, W.Zhang, "Support vector machine for recognition ofcucumber leaf diseases", Advanced Computer Control(ICACC), 2010 2ndInternational Conference on, vol.5, pp.264-266,27-29 March 2010 Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton, "ImageNetClassification with Deep Convolutional Neural Networks", Advances InNeural Information Processing Systems, Vol.25, pp.1106 - 1114, 2012.

しかしながら、上述の非特許文献３に記載されるＣＮＮは、一般対象物の識別に利用されるものであるため、層構造が複雑でパラメータ数も膨大である。またＣＮＮの学習のために膨大なデータが用意されたことを前提とした構造になっている。よって、この構造をそのまま植物病の診断に適用すると、過学習によって良好な結果が得られないことがある。

本発明は、このような問題に鑑みてなされたもので、画像から植物病の画像特徴データを人的に抽出する手間を省き、容易に植物病の診断を行うことが可能な植物病診断システム、植物病診断方法、及びプログラムを提供することを目的とする。

前述した課題を解決するため第１の発明は、植物病の画像と対応する診断結果とを学習データとして複数取り込み、植物病に関する画像特徴データを作成し、保持する深層学習器と、診断対象とする画像を入力する入力部と、前記深層学習器を用いて、入力された画像がどの診断結果に分類されるかを識別する解析部と、前記解析部により出力された診断結果を表示する表示部と、を備え、前記入力部は、診断対象とする植物が含まれる広域画像を撮影するカメラにより撮影された広域画像を取得し、複数の局所領域の画像に分割する分割部と、分割された各局所領域について前記解析部における識別の対象とするか否かを判定する判定部と、を備え、前記解析部は、前記判定部により識別の対象と判定された局所領域の画像を診断対象として前記識別を行うことを特徴とする植物病診断システムである。

第１の発明によれば、深層学習器を用いることで、画像そのものを入力すれば従来困難であった画像特徴データの抽出（学習）を解析部（コンピュータ）が行う。よって画像から植物病の画像特徴データを人的に抽出する手間が省かれ、システム設計者の作業負担が飛躍的に軽減される。特に、植物を対象とする場合は、従来行っていた画像から葉や茎等の領域を抽出するという大変手間のかかる画像処理作業を回避できる。また深層学習器を用いることで診断対象とする画像の撮影条件を緩和でき、実用性が向上する。例えば、診断対象とする植物の葉とカメラとの距離や明暗等の撮影条件は特に緩和される。

前記表示部は、前記診断結果として、各局所領域の診断結果に基づいて算出される広域画像全体の植物病の分布を表示することが望ましい。

また、前記深層学習器として畳込みニューラルネットワークを利用することが望ましい。畳込みニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）を用いることで画像特徴データを人的に抽出する必要がなく、設計者の作業負担が減少する。画像の撮影条件が極めて緩くてよいため、実用性に優れ、かつ精度のよい診断結果を得ることが可能となる。

また、前記学習データとして取り込まれた画像に対し、回転、移動、拡大縮小、色変化、ノイズ付加、ぼかし、高周波成分強調、及び歪みのうち少なくともいずれか１つまたは複数の画像処理を施し、取り込み画像数を増加させる前処理部を更に備え、前記深層学習器は増加された画像を学習データとして利用することが望ましい。
これにより、診断対象物（植物病画像）の向き（回転ずれ）や位置ずれ、拡大ずれ、傾き等に対する画像の撮影条件がより柔軟となり、更に実用性が向上する。

前記学習データとして取り込まれた画像の色空間の次元を変換し、または次元数を削減する色空間変換部を更に備え、前記深層学習器は、前記色空間変換部により変換されたデータを前記学習データに用いることが望ましい。これにより、多重共線性による識別率低下を防ぐことが期待できる。

また、前記解析部は、入力された画像がどの診断結果に分類されるかを事後確率として出力することが望ましい。

また、当該植物病診断システムは、カメラ機能付き携帯端末に搭載されることが望ましい。
或いは、前記入力部は、ネットワークを介して通信接続されたカメラ機能付き携帯端末により撮影され送信された画像を前記診断対象として入力し、前記解析部は前記診断結果を前記カメラ機能付き携帯端末に送信することが望ましい。
これにより、カメラ機能付き携帯端末を用いて撮影した画像から手軽に診断結果を得ることが可能となる。
また、学習データの量が膨大となった場合等も、ネットワークを介して植物病診断システム（のサーバ）にアクセスすれば、容易に診断結果を得ることが可能となる。

また、前記学習データに応じて前記深層学習器の素子間の結合のドロップアウト処理を適用することが望ましい。これにより、学習していない未知のデータへの識別性能を高めることが可能となる。

前記深層学習器の層間にバイパスおよび／またはフィードバックの経路を設けることが望ましい。これにより奥の層に単純な特徴を直接入力したり、得られた複雑な特徴を単純な特徴に加えて入力することが可能となり、多様な深層学習器を実現できる。

第２の発明は、コンピュータが、植物の画像と対応する診断結果とを学習データとして複数取り込み、植物病に関する画像特徴データを深層学習器を用いて作成し、保持するステップと、診断対象とする画像を入力するステップと、前記深層学習器を用いて、入力された画像がどの診断結果に分類されるかを識別するステップと、前記診断結果を表示するステップと、を含み、前記入力するステップは、診断対象とする植物が含まれる広域画像を撮影するカメラにより撮影された広域画像を取得し、複数の局所領域の画像に分割するステップと、分割された各局所領域について識別の対象とするか否かを判定するステップと、を含み、前記識別するステップは、識別の対象と判定された局所領域の画像を診断対象として前記識別を行うことを特徴とする植物病診断方法である。前記深層学習器の層間にバイパスおよび／またはフィードバックの経路を設けてもよい。

第２の発明により、深層学習器を用いることで、画像そのものを入力すれば従来困難であった画像特徴データの抽出（学習）を解析部（コンピュータ）が行う。よって画像から植物病の画像特徴データを人的に抽出する手間が省かれ、システム設計者の作業負担が飛躍的に軽減される。特に、植物を対象とする場合は、従来行っていた画像から葉や茎等の領域を抽出するという大変手間のかかる画像処理作業を回避できる。また深層学習器を用いることで診断対象とする画像の撮影条件を緩和でき、実用性が向上する。例えば、診断対象とする植物の葉とカメラとの距離や明暗等の撮影条件は特に緩和される。

第３の発明は、コンピュータにより読み取り可能な形式で記述されたプログラムであって、植物の画像と対応する診断結果とを学習データとして複数取り込み、植物病に関する画像特徴データを深層学習器を用いて作成し、保持するステップと、診断対象とする画像を入力するステップと、前記深層学習器を用いて、入力された画像がどの診断結果に分類されるかを識別するステップと、前記診断結果を表示するステップと、を含む処理をコンピュータに実行させるためのプログラムである。前記深層学習器の層間にバイパスおよび／またはフィードバックの経路を設けてもよい。

第３の発明により、コンピュータを第１の発明の植物病診断システムとして機能させることが可能となる。

本発明によれば、画像から植物病の画像特徴データを人的に抽出する手間を省き、容易に植物病の診断を行うことが可能な植物病診断システム及び植物病診断方法等を提供できる。

植物病診断システム１の構成を示すブロック図 深層学習器２における学習機能を説明するためのブロック図 本発明のために最適化された畳込みニューラルネットワーク型深層学習器の層構造の一例を示す図 植物病診断システム１を搭載するコンピュータ１０の内部構成を示す図 学習処理の流れを説明するフローチャート 識別処理の流れを説明するフローチャート カメラ機能付き携帯端末に植物病診断システム１を搭載する場合の、画像入力例と、診断結果表示例を示す図 通信ネットワーク１２を利用した植物病診断システム１Ａの全体構成図 定点観測設置カメラ３０を用いる場合に好適な植物病診断システム１Ｂの構成図 定点観測設置カメラを用いて撮影した広域画像から植物病の診断を行う例について説明する図 図９の例の処理手順を説明するフローチャート 色の成分を２次元で表した例 ドロップアウト（dropout）処理を説明する図 第４の実施の形態の解析部４Ａの構成図 学習データに連動したドロップアウト（dropout）処理を説明する図 （ａ）層間のバイパス結合、（ｂ）フィードバック結合について説明する図 様々な前処理を行った場合の実験結果を示す図 従来の畳込みニューラルネットワーク（ＣＮＮ）の層構造を示す図

以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。

［第１の実施の形態］
まず図１〜図３を参照して、植物病診断システム１の構成を説明する。
なお、本発明において、「植物病」とは植物病にかかった状態の他、生理障害が生じた状態も含むものとする。生理障害とは、尻腐症、鉄欠乏、葉焼け、生育不良、窒素過多等の症状であり、病原菌や害虫が原因ではないが一見病気のように変化した状態であり、「健常」とは異なる状態である。
図１に示すように、本発明に係る植物病診断システム１は、植物病の画像を入力する入力部３、入力された画像がどの診断結果に分類されるかを識別する解析部４、診断結果を表示する表示部５を備える。

解析部４は、深層学習器２を有する。解析部４は深層学習器２を用いて学習処理を行うことにより植物病に関する画像特徴データ２１を作成し、保持する。また解析部４は、入力された画像がどの診断結果に分類されるかを識別する識別処理を行う。学習処理及び識別処理の詳細については後述する（図５、図６参照）。

深層学習器２は、畳込みニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）を利用することが好適である。また、深層学習器２は植物病の識別のために最適化されている。本実施形態の深層学習器２の詳細については後述する（図３参照）。ＣＮＮを用いることで画像特徴データを人的に抽出する必要がなく、設計者の作業負担が減少する。画像の撮影条件が極めて緩くてよいため、実用性に優れ、かつ精度のよい診断結果を得ることが可能となっている。

図２は、深層学習器２における学習機能を説明する図である。図２に示すように、学習データとして植物病の画像と対応する診断結果が解析部４（深層学習器２）に入力される。なお、入力される植物病の画像には病気にかかった状態のものの他、生理障害が生じた状態のものや健常なものも含まれる。診断結果とは、病気の有無または病名、症状の情報等であり、病気の可能性や疑わしさを示す数値等の情報や、病気の進行の度合いを示す情報等を含めてもよい。

図２に示すように、解析部４は、学習データとして取り込まれた画像に対し、前処理を行う前処理部６を備えることが望ましい。前処理部６は、回転、移動、拡大縮小、反転、色変化、ノイズ付加、ぼかし、高周波成分強調、及び歪みのうち少なくともいずれか１つまたは複数の画像処理を入力された画像に対して施す。これにより、深層学習器２へ入力する学習データ数を増加させることができる。

また、回転、移動、拡大、縮小、歪み、反転、色変化、ノイズ付加、ぼかし、高周波成分強調等の画像処理を施した画像についても学習（画像特徴データの抽出）を行うため、回転ずれ、位置ずれ、拡大（縮小）ずれ、傾き、撮影条件の違いによる明度や彩度（色相）の違い等がある画像についても効率よく学習が行える。またこのような前処理を行ってから学習させることで、識別（診断）の際に、入力画像の状態に関する条件を著しく緩和できる。

反転処理とは、例えば上下、左右の鏡像反転処理である。上下、左右の鏡像反転処理を行うことにより学習画像を４倍に増加できる。

色変化処理とは、ＨＳＶ或いはＨＳＬ、Ｌａｂ表色系について明るさ要素（Ｖ成分、Ｌ成分）に対して線形もしくはガンマ補正等の非線形の変換処理を施すことで明るさ要素が異なる画像を複数生成する処理である。または、彩度（Saturation）やＬａｂのａ，ｂ要素についても同様に、線形もしくはガンマ補正等の非線形の変換処理を施すことで彩度の異なる画像を複数生成する。また、色相（Ｈｕｅ）については、色を角度方向で表すため、不連続点となる０度方向を一般的な葉が持たない色（水色等）になるように注意した上で変換処理を行い、複数の学習画像を生成する。

ノイズ付加処理において付加するノイズとしては、例えば、ごま塩雑音（salt & paper noise）、一様雑音（uniform noise）、ガウシアンノイズ(Gaussian noise)、レイリーノイズ(Rayleigh noise)、ポアソンノイズ(Poisson noise)等が挙げられる。

ぼかし処理の例としては、局所平滑化(均等化)処理(local
smoothing / normalization)、ガウシアン低域通過フィルタ（Gaussian low
pass filter）、バターワース低域通過フィルタ (Butterworth low pass
filter)等が考えられる。

また、高周波成分強調処理の例として、アンシャープマスク処理(unsharp masking)、ラプラシアン高域通過フィルタ（Laplacian
high pass filter）、ガウシアン高域通過フィルタ (Gaussian high pass
filter)、バターワース高域通過フィルタ（Laplacian high pass filter）等が挙げられる。
なお、ノイズ付加処理、ぼかし処理、高周波成分強調処理は上記のものに限定されず、その他の各種の処理を適用してもよい。

図３は、本発明に係る植物病診断システム１のために最適化された深層学習器２の一例を示す図である。上述したように、深層学習器２はＣＮＮを用いるが、従来ＣＮＮは一般対象物の識別に用いられ、その構造は、非特許文献（Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton,
"ImageNet Classification with Deep Convolutional Neural Networks",
Advances In Neural Information Processing Systems, Vol.25, pp.1106 - 1114,
2012.）に示すように、５つの畳込み層と３つの全結合層（出力層を含む）を有する。
一方、図３に示すように、本発明の深層学習器２は、畳込み層を４つ以下（図３の例では３つ）、全結合層（本明細書では、出力層も全結合層と呼ぶものとする）１つとし、従来ＣＮＮに比べ、層構造を簡素なものとしている。なお、畳込み層は３つに限定されず、判定対象とする病気の数やデータ数に応じて４つ或いは２つとしてもよい。また、全結合層（出力層を含む）も１つに限定されず、複数としてもよい。

図３に示すように、深層学習器２の各畳込み層ｃｏｎｖ１〜ｃｏｎｖ３は、前の層の画像（マップ）を重みを付けて畳込み（convolution）、プーリング（pooling）し、局所コントラスト標準化（local contrast normalization）等の処理を行うことで作成される。

具体的には、まず、入力層に入力された入力画像ｐｉｃ１に対し所定サイズの探索窓５１を設定する。入力画像ｐｉｃ１は低解像度（例えば２５６×２５６程度）でよい。図３の例では、入力画像ｐｉｃ１のサイズを２５６×２５６［pixel］とし、２２４×２２４［pixel］のサイズにトリミングして、ＲＧＢ（赤、緑、青）の各チャネル（３チャネル）用意する。実際には、２５６×２５６［pixel］の画像を２２４×２２４［pixel］に切り出し、４ピクセル程度ずつずらしながら入力する。つまり１枚の２５６×２５６［pixel］の教師画像から６４（（２５６−２２４）／４＝８、８×８＝６４）パターンの２２４×２２４［pixel］画像が入力される。６４の各パターンについて、赤成分、緑成分、青成分の画像がそれぞれ入力される。

深層学習器２は、トリミングされた各画像について探索窓５１を設定し、探索窓５１内の各画素の画素値を重みを付けて畳込み処理し、次層（第１畳込み層ｃｏｎｖ１）のマップの１画素の画素値とする。探索窓５１を所定刻みで移動しながら（移動幅は、例えば２画素刻みとする）、このような畳込み演算を行うことで第１畳込み層ｃｏｎｖ１に含まれる１枚のマップを作成する。

探索窓５１のサイズは例えば１２×１２［pixel］、第１畳込み層ｃｏｎｖ１のマップサイズは例えば１０７×１０７［pixel］とする。なお、探索窓サイズやマップサイズはこの例に限定されず、入力画像ｐｉｃ１のサイズ等に応じて変更してもよい。重みパターンを変えて第１畳込み層ｃｏｎｖ１に、例えば計４８枚のマップ（１０７×１０７［pixel］）が生成される。マップ数もこの例に限定されず、任意の数に変更してもよい。

より具体的には、第１畳込み層ｃｏｎｖ１上の任意の１ユニット（１０７×１０７［pixel］のうちの１つ）が担当する入力画像の部位は、ある探索窓内にある１２×１２［pixel］になる。この１２×１２［pixel］の画像はＲ、Ｇ、Ｂの３チャネルあるので、この１ユニットが持つ重みは１２×１２×３＝４３２個となる。第１畳込み層ｃｏｎｖ１のマップ数が４８枚であれば、同じ１２×１２［pixel］の領域を対象とするユニットが計４８個あり、４３２個１セットの重みパターンが４８ある。これが更に１０７×１０７ある。

これらのマップについてプーリング処理を行い、局所コントラスト標準化を行う。なお、プーリング処理には、周辺画素値の最大値をとるmax poolingや平均値をとるaverage pooling等の手法があるが、各層で用いる手法は同じものとしてもよいし、異なる手法としてもよい。どの手法を用いるかは、予め設計者により最適化されることが好ましい。或いは、病気の種類や解析対象とする植物の種類等により、探索窓のサイズや刻み幅、プーリング処理の手法等も変更してもよい。このような変更を行う設定部７を備えるようにしてもよい（図２の設定部７）。いずれのプーリング処理の手法（max-poolingまたはaverage-pooling）を用いるかは層により異なる。

次に、第１畳込み層ｃｏｎｖ１から第２畳込み層ｃｏｎｖ２を作成する。例えば、探索窓サイズを５×５［pixel］とし、重みをつけて畳込み５３×５３［pixel］のマップを９６枚作成する。更に、第１畳込み層の場合と同様にプーリング及び局所コントラスト標準化等の処理を行う。

更に、第２畳込み層ｃｏｎｖ２から第３畳込み層ｃｏｎｖ３を作成する。例えば、探索窓サイズを５×５［pixel］とし、畳込み、プーリング、及び局所コントラスト標準化等の処理を行って２４×２４［pixel］のマップを１９２枚作成する。なお、第２、第３畳込み層ｃｏｎｖ２、ｃｏｎｖ３についても第１畳込み層ｃｏｎｖ１と同様に、探索窓サイズ、マップサイズ、マップ数等はこの例に限定されず、任意の数に変更してもよい。

全結合層ｆｃ１は、前段の畳込み層ｃｏｎｖ３の全ユニットと結合しており、層の間に結合荷重を持つ。従来の誤差逆伝搬法と同様に、全結合層ｃｏｎｖ３の任意のユニットの出力値は、前段の出力値の重み付け和に出力関数を施したものとなる。
出力ｙは、ｙ＝ｆ（Σｗｘ）となる。
ここで、ｗは結合荷重のベクトル、ｘは畳込み層の各ニューロンの値のベクトル、Σｗｘは、要素毎の掛算の和（結果はスカラ値となる）を意味する。
ｆ（）は出力関数で、一般的には以下の式（１）に示すsigmoid関数が用いられる。
ｆ（ｘ）＝１／（１＋ｅｘｐ（−ｘ）） ・・・（１）
ただし、ＣＮＮでは、以下の式（２）に示すＲｅＬＵ（rectified linear unit；整流された線形素子）と呼ばれる関数が一般的に用いられる。
ｆ（ｘ）＝ｍａｘ（０，ｘ） ・・・（２）

以上の処理によって画像から画像特徴データ２１が抽出される。深層学習器２は画像特徴データ２１を診断結果と対応づけて保持する。

深層学習器２は、識別処理においても同様の手順で、入力画像に対して重み付け畳込み、プーリング、及び局所コントラスト標準化等の処理を行う。そして入力画像がどの診断結果に分類されるかを求め、出力する。診断結果は、例えば病気の種類とその病気に分類される事後確率が出力されることが望ましい。具体的には、図７（ｂ）に示すように、「べと病７０％、モザイク病２０％、その他１０％」等のように表示されることが望ましい。更に表示画面内に、入力画像や撮影情報（撮影日時、撮影場所の情報）とともに表示されることが望ましい。また、当該植物病診断システム１に入力する画像を撮影する装置がＧＰＳ（Global Positioning System）に対応している場合は、画像に撮影場所のＧＰＳ情報を付加し、画像から識別処理によって出力される出力値（診断結果）とともにＧＰＳ情報を記憶しておき、診断結果を表示する際に参照可能とすることが望ましい。

上述したように、深層学習器２は、従来のＣＮＮ（図１８）よりも簡素な層構造に調整されている。これにより植物病の診断に最適なものとなり、過学習を防ぎ、精度のよい診断結果を得ることが可能となる。

また図２に示すように、植物病診断システム１は、深層学習器２の各種パラメータの値を設定するためのユーザインターフェースである設定部７を備えることが望ましい。例えば、設定部７は、各種のパラメータの値を設定・調整するための設定画面を表示し、操作者による調整を受けつける。パラメータとは、例えば、入力画像のトリミングサイズ、深層学習器２の各層で取り扱う計算手法、畳込み処理における窓サイズ、マップサイズ、マップ枚数、探索時の刻み幅、重みパターン等を含むものとする。

本実施の形態において、植物病診断システム１は、一般的なパーソナルコンピュータや、携帯端末等に搭載される。特に、スマートフォン等のカメラ機能付き携帯端末に搭載した場合は、学習データとして用いる画像や診断対象とする画像の取得を手軽に行うことができる。

図４を参照して、植物病診断システム１を適用するコンピュータ１０（カメラ付き携帯端末を含む）等の構成について説明する。

図４に示すように、コンピュータ１０は、制御部１０１、記憶装置１０２、入力装置１０３、表示装置１０４、メディア入出力部１０５、通信Ｉ／Ｆ部１０６、周辺機器Ｉ／Ｆ部１０７等がバス１０９を介して接続されて構成される。更に、コンピュータ１０は画像処理用の演算装置であるＧＰＵ（Graphical Processing Unit）１１０を設けてもよい。また、本発明に係る植物病診断システム１を搭載する機器としてカメラ機能付き携帯端末を利用する場合には、ＣＣＤカメラ等が更に設けられ、バス１０９を介して制御部１０１に接続される。また、カメラ機能付き携帯端末には、撮影位置を取得するためのＧＰＳ受信機１０８を備えることが望ましい。

制御部１０１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only
Memory）、ＲＡＭ（Random Access Memory）等により構成される。制御部１０１は、記憶装置１０２、ＲＯＭ、記録媒体（メディア）等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１０９を介して接続された各部を駆動制御する。ＲＯＭは、コンピュータ１０のブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、ロードしたプログラムやデータを一時的に保持するとともに、制御部１０１が後述する各種処理を行うために使用するワークエリアを備える。

また、制御部１０１は、記憶装置１０２に記憶されている処理プログラムに従って、図５に示す学習処理や図６に示す識別処理等を実行する。深層学習器に係る処理プログラムや学習処理プログラムや識別処理プログラムは、予めコンピュータ１０の記憶装置１０２やＲＯＭ等に記憶されていてもよいし、ネットワーク等を介してダウンロードされ、記憶装置１０２等に記憶されたものでもよい。各処理プログラムの詳細については後述する。

ＧＰＵ１１０は、画像処理用の演算装置である。制御部１０１（ＣＰＵ）での演算負荷を考慮して、ＣＰＵとは別にＧＰＵ１１０を設け、並列処理を行うことが望ましい。すなわち、深層学習器２を用いた学習処理や識別処理は演算量が大きいため、ＧＰＵ１１０を用いた並列処理を行うことで演算負荷を低減することが望ましい。ＧＰＵ１１０は１つに限定されず複数設けられることが好ましい。ただし、装置構成の簡素化のためには、ＧＰＵ１１０を設けず、ＣＰＵ（制御部１０１）のみで上述の学習処理や識別処理を行うことも可能である。

記憶装置１０２は、ＨＤＤ（ハードディスクドライブ）等であり、制御部１０１が実行するプログラムや、プログラム実行に必要なデータ、ＯＳ（オペレーティング・システム）等が格納されている。これらのプログラムコードは、制御部１０１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。

入力装置１０３は、例えば、キーボード、マウス、タッチパネル、タブレット等のポインティング・デバイス、テンキー等の入力装置であり、入力されたデータを制御部１０１へ出力する。

表示部１０４は、例えば液晶パネル、ＣＲＴモニタ等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路（ビデオアダプタ等）で構成され、制御部１０１の制御により入力された表示情報をディスプレイ装置上に表示させる。
なお、入力装置１０３と表示装置１０４とが一体的に構成されたタッチパネル式の入出力部としてもよい。

メディア入出力装置１０５は、例えば、ＣＤ／ＤＶＤドライブ等の各種記録媒体（メディア）の入出力装置であり、データの入出力を行う。
通信Ｉ／Ｆ１０６は、通信制御装置、通信ポート等を有し、ネットワークを介して通信接続された外部装置との通信を媒介するインタフェースであり、通信制御を行う。

周辺機器Ｉ／Ｆ１０７は、コンピュータ１０に周辺機器を接続させるためのポートであり、コンピュータ１０は周辺機器Ｉ／Ｆ１０７を介して周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ１０７は、ＵＳＢやＩＥＥＥ１３９４等で構成されている。周辺機器との接続形態は有線、無線を問わない。

バス１０９は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

次に、植物病診断システム１における処理の流れを説明する。植物病診断システム１において、コンピュータ１０の制御部１０１は、植物を含む画像とその診断結果を複数取り込み、これを基に植物病の特徴を学習する学習処理（図５）をＧＰＵ１１０（及びＣＰＵ）に実行させる。また、制御部１０１は、学習処理により学習した特徴（画像特徴データ２１）に基づいて診断対象とする画像がどのクラスに属するか（どの診断結果に該当するか）を識別して出力する識別処理（図６）をＧＰＵ１１０（及びＣＰＵ）に実行させる。

図５を参照して、学習処理について説明する。スマートフォンやデジタルカメラ等の任意の撮影装置で撮影された植物病の画像が診断結果とともに、コンピュータ１０に入力される（ステップＳ１０１）。コンピュータ１０にカメラ機能がついていない場合は、画像は、撮影装置から通信媒体（通信ケーブルや近距離無線通信、或いはＬＡＮやインターネット等のネットワークを含む。）を介してコンピュータ１０に入力される。クラウドコンピューティング等の技術を利用してネットワークからコンピュータ１０にダウンロードした画像を入力してもよい。診断結果は、少なくとも健常か病気であるかの情報である。病気の進行度等を示す情報や病気の可能性や疑わしさを表す数値等も診断結果として入力してもよい。

コンピュータ１０のＧＰＵ１１０（及びＣＰＵ）は制御部１０１からの制御信号に従い、入力された画像に対して前処理を行う（ステップＳ１０２）。前処理は例えば、画像の回転、移動、拡大、縮小、歪みを持たせるといった画像処理である。これにより画像数を増加し、学習データ量を増やす。

次に、前処理された各画像について、コンピュータ１０のＧＰＵ１１０（及びＣＰＵ）が深層学習器２を用いて画像特徴データの抽出を行う（ステップＳ１０３）。具体的には図３の深層学習器２により３層の畳込み処理、プーリング処理、局所コントラスト標準化処理を行い、その後、接続処理を行う。これにより各画像の特徴データが画像（マップ）の形式で作成される。

コンピュータ１０のＧＰＵ１１０（及びＣＰＵ）は、ステップＳ１０３で作成した画像特徴データとステップＳ１０１で入力された識別結果とを対応づけて保存する（ステップＳ１０４）。入力画像１枚につき、前処理で増加された画像枚数分の特徴データが作成され、診断結果（「健全」／「キュウリ黄化えそ病（ＭＹＳＶ）」等の情報）とともに保存（登録）される。

コンピュータ１０の制御部１０１は、学習データが入力される都度、ステップＳ１０１〜ステップＳ１０４の処理を繰り返し行う。

次に、図６を参照して、識別処理について説明する。診断対象とする画像（植物を含む画像）がコンピュータ１０に入力されると（ステップＳ２０１）、コンピュータ１０の制御部１０１はＧＰＵ１１０（及びＣＰＵ）に対して画像特徴データの抽出を行うよう指示する。ＧＰＵ１１０（及びＣＰＵ）は制御信号に従って、深層学習器２を用いて画像特徴データの抽出を行う（ステップＳ２０２）。深層学習器２による画像特徴データの抽出処理は、図５の学習処理のステップＳ１０３と同様である。

コンピュータ１０のＧＰＵ１１０（及びＣＰＵ）は、学習処理により保存されている植物病の特徴データを参照して、取得した特徴データと、ステップＳ２０２において抽出した診断対象とする画像の特徴データがどの診断結果に該当するかを識別する（ステップＳ２０３）。ＧＰＵ１１０（及びＣＰＵ）はステップＳ２０３の処理により識別された診断結果をＲＡＭ等に記憶する。制御部１０１は診断結果をＲＡＭ等から取得して表示装置１０４に表示する（ステップＳ２０４）。

図７は、スマートフォン等のカメラ機能付き携帯端末８（以下、携帯端末８という）を用いた識別処理の例を示す図である。携帯端末８には、植物病の特徴データを学習した深層学習器２が搭載されているものとする。
図７（ａ）に示すように、ユーザが携帯端末８のカメラを用いて植物を撮影する。撮影は、診断対象とする部位（葉等）が写っていればよく、向きや大きさは厳密な条件を設けない。また解像度等も高解像度とする必要はなく、例えば２５６×２５６［pixel］等でよい。

携帯端末８により入力された画像に対して図６の識別処理が行われ、図７（ｂ）に示すように、携帯端末８のディスプレイ８４に結果が表示される。図７（ｂ）の例では、携帯端末８のディスプレイ８４に、入力画像と、撮影に関する情報（撮影日時、撮影場所等）と識別処理による植物病の診断結果が表示される。診断結果として複数の病気である事後確率が表示される場合、最も確率の高いもの（図７（ｂ）では「べと病（８０％）」）が赤色等で明示されることが望ましい。

以上説明したように、第１の実施の形態の植物病診断システム１によれば、植物病の画像と対応する診断結果とを学習データとして複数取り込み、植物病に関する画像特徴データを作成し、保持する深層学習器２と、診断対象とする画像を入力する入力部３と、深層学習器２を用いて、入力された画像がどの診断結果に分類されるかを識別する解析部４と、解析部４により出力された診断結果を表示する表示部５と、を備える。

深層学習器２を用いることで、画像そのものを入力すれば従来困難であった画像特徴データの抽出（学習）を人的に行う必要がなくコンピュータが自動的に行うことができる。そのため、システム設計者の作業負担が飛躍的に軽減される。また深層学習器２を用いることで、診断対象とする画像の撮影条件を緩和でき、実用性が向上する。特に、植物を対象とする場合は、従来行っていた画像から葉や茎等の領域を抽出するという大変手間のかかる画像処理作業を回避できる。例えば、診断対象として植物の葉を撮影する場合、葉とカメラとの距離や明暗等の撮影条件は厳密に一致させる必要はなく、葉が写った画像であれば診断に使用できる。

また深層学習器２が植物病の識別のために最適化されているため、一般対象物の識別に用いる深層学習器をそのまま用いる場合と比較して演算量を減らして効率よく診断を行うことが可能となる。また、層構造を簡素化することで過学習による識別精度の劣化を防ぎ、良好な識別率を確保できる。

［第２の実施の形態］
スマートフォン等のように通信機能を有する機器では、インターネット等の広域な通信ネットワークを介して植物病の診断を実行するサーバ（コンピュータ１０）にアクセスし、診断結果を得るようにしてもよい。

図８は、本発明の第２の実施の形態に係る植物病診断システム１Ａを示す図である。植物病診断システム１Ａは、カメラ機能付き携帯端末（以下、携帯端末という）１１とサーバ１３とが通信ネットワーク１２を介して通信接続されている。サーバ１３には、複数の携帯端末１１が接続可能である。

携帯端末１１は、カメラ機能及び通信機能を有する例えばスマートフォンやタブレット端末であり、内部構成は図４のコンピュータ１０に準ずる。サーバ１３は、通信機能及び本発明に係る植物病診断システムの解析部４（深層学習器２）の機能を有するコンピュータである。内部構成は図４に示すコンピュータ１０と同様である。通信ネットワーク１２は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、携帯電話の基地局及び回線網等を含み、有線、無線を問わない。

植物病診断システム１Ａでは、カメラ機能付き携帯端末１１により撮影され送信された画像が診断対象として、ネットワーク１２を介してサーバ１３に入力される。画像にはカメラ機能付き携帯端末１１のＧＰＳ機能によって撮影場所を示すＧＰＳ情報が付加されることが望ましい。サーバ１３は、深層学習器２を有する解析部４を備える。サーバ１３の解析部４は、携帯端末１１により撮影された画像を対象に植物病の特徴の学習処理（図５参照）及び植物病の識別処理（図６参照）を行う。

カメラ機能付き携帯端末１１は、診断対象とする画像とともに診断要求をサーバ１３へ送信する。サーバ１３は、画像及び診断要求を受信すると、受信した画像を対象として図６に示す識別処理を実行する。サーバ１３は、識別処理により植物病の診断結果を得ると、ネットワーク１２を介して診断要求元の携帯端末１１へ送信する。診断結果には、診断対象とする画像に付加された撮影場所の情報が対応づけられてサーバ１３の記憶装置に保持されることが望ましい。

携帯端末１１は、サーバ１３から送信された診断結果を受信すると、携帯端末１１のディスプレイに表示する。

以上説明したように、携帯端末１１からサーバ１３に画像を送信すると、サーバ１３側で識別処理を実行し、診断結果を返送する。これにより携帯端末１１の演算負荷を減らすことができる。植物病の種類や特徴データ量が膨大となり、携帯端末１１にとって演算や記憶容量の負荷が大きくなった場合等に好適である。

［第３の実施の形態］
第１または第２の実施の形態の植物病診断システム１、１Ａにおいて、農場等に設置された定点カメラにて撮影された広域画像を対象として、植物病の識別処理を行うようにしてもよい。

図９は、第３の実施の形態の植物病診断システム１Ｂの構成を示す図である。図９に示すように、第３の実施の形態に係る植物病診断システム１Ｂは、カメラ３０、入力部３Ｂ、解析部４Ｂ、及び表示部５を備える。

カメラ３０は、診断対象とする植物が含まれる広域画像６０（図１０（ａ）参照）を撮影するカメラ３０を備える。カメラ３０は例えば、農場等において定点に設置されることが望ましい。またカメラ３０は、ユーザが操作したタイミングで撮影を行うものとしてもよいし、定期的或いは常時撮影を行うものとしてもよい。カメラ３０はＧＰＳ受信機を備えることが望ましい。ＧＰＳ受信機を有する場合、画像の撮影場所の情報をＧＰＳを利用して取得し、画像とともに記憶する。定点に設定されたカメラ３０であれば、カメラ３０の識別情報と設置位置情報と対応づけて予めコンピュータ１０の記憶装置１０２等に登録しておいてもよい。これにより、診断対象とする画像がどの位置で撮影されたものかを参照可能となる。

入力部３Ｂは、カメラ３０により撮影された広域画像６０を取得して解析部４Ｂにおける診断（識別）の対象とする。更に、入力部３Ｂは取得した広域画像６０を複数の局所領域の画像６０ａ、６０ｂ、…（図１０（ｂ）参照）に分割する分割部３１と、分割された各局所領域について解析部４Ｂにおける診断（識別）の対象とするか否かを判定する判定部３２とを備える。

解析部４Ｂは、判定部３２により診断の対象と判定された局所領域の画像６０ａ、６０ｂ、…を対象として植物病の識別処理（図６）を行う。解析部４Ｂは、第１の実施の形態と同様に、深層学習器２を有する。深層学習器２は植物病に関する特徴データが保持され、図３に示すように植物病の診断に最適化されているものとする。深層学習器２は、各局所領域の画像について画像特徴データを抽出し、植物病のどの診断結果に該当するかを識別する。

解析部４Ｂは、植物病分布算出部２３を備え、各局所領域の画像の診断結果に基づいて、広域画像６０全体の植物病の分布を算出するようにしてもよい。
広域画像６０全体の植物病の分布とは、例えば、各局所領域の画像についての診断結果を元の広域画像６０上に示したもの等である。例えば、図１０（ｃ）に示すように識別結果に応じて各局所領域を色分け表示する。

表示部５は、解析部４Ｂにより得た診断結果または植物病の分布を表示する。

次に、図１１を参照して、第３の実施の形態の植物病診断システム１Ｂにおける識別処理の流れを説明する。なお、植物病診断システム１Ｂの入力部３Ｂ，解析部４Ｂ、表示部５は、第１の実施の形態と同様に、一般的なパーソナルコンピュータや、携帯端末等（以下、コンピュータ１０という）に搭載され、コンピュータ１０の制御部１０１により、図１１に示す識別処理が実行される。

まず、植物病診断システム１において、コンピュータ１０の制御部１０１は、カメラ３０から広域画像６０を取り込む（ステップＳ３０１）。制御部１０１は、取り込んだ広域画像６０を所定サイズの局所領域の画像に分割し（ステップＳ３０２）、分割された各領域について診断対象とするか否かを判定する（ステップＳ３０３）。ステップＳ３０２において、制御部１０１は分割した各局所領域の画像に対し、広域画像６０全体におけるどの部位であるかを識別可能な情報を付与しておく。

コンピュータ１０の制御部１０１は、ステップＳ３０３の判定の結果、診断対象とする画像について、深層学習器２を用いて画像特徴データを抽出する（ステップＳ３０４）。画像特徴データの抽出は図５の学習処理のステップＳ１０３と同様であるので、説明を省略する。

コンピュータ１０の制御部１０１は、学習処理により保存されている植物病の特徴データを参照して、取得した画像特徴データと、ステップＳ３０４において抽出した診断対象とする画像の画像特徴データがどの診断結果に該当するかを識別する（ステップＳ３０５）。また、識別した診断結果をＲＡＭ等に記憶する。

コンピュータ１０の制御部１０１は、全ての診断対象とする画像について識別処理を行ったか否かを判定し（ステップＳ３０６）、未処理の局所画像がある場合は（ステップＳ３０６；Ｎｏ）ステップＳ３０４〜ステップＳ３０５の特徴データ抽出及び診断結果の識別を繰り返す。全ての診断対象とする局所画像について識別処理を行った場合は（ステップＳ３０６；Ｙｅｓ）、ステップＳ３０７へ移行する。

ステップＳ３０７において、制御部１０１は全ての局所領域の診断結果を取得し、各領域の診断結果に基づき広域画像における植物病の分布６５を算出する（ステップＳ３０７）。

植物病の分布は６５、例えば、図１０（ｃ）に示すように、ステップＳ３０１で取得した広域画像６０内の各局所画像に対し、診断結果を示す色を付したり、マスクを重畳したりすることで作成される。この際、各局所領域に付与した識別情報が参照される。

制御部１０１は、ステップＳ２０３の処理により識別された診断結果に基づいて、表示装置１０４に表示する（ステップＳ３０８）。

なお、定点に設置されたカメラ３０から同一範囲の広域画像６０を定期的に取得して、図１１のフローチャートに示す識別処理を実行してもよい。この場合、植物病の分布の時間経過を観察できるようになる。

［第４の実施の形態］
前処理部６は、深層学習器２に入力する画像の色空間を主成分分析やカーネル主成分分析等の変換処理によって次元を変換したり、次元数を削減したりし、色空間が変換されたデータを学習データとして用い、元のデータと併せて深層学習器２に入力するようにしてもよい。

主成分分析とは、多次元の情報を直交する（相関のない）別の基底（次元の軸）に変換し、データの直交化を行うことである。直交化を行うことにより、多くの場合で元の次元より少ない次元で元の情報のほとんどを表すことが可能となる。これにより多重共線性による識別率低下を回避することが期待できるようになる。

図１２は、（ｘ，ｙ）で表される２次元データを主成分分析によって、直交する直交軸（ｚ_１，ｚ_２）で表現する例を示す図である。２次元データ（ｘ，ｙ）の直交軸（ｚ_１，ｚ_２）への変換行列Ａは以下の式（１）で表される。ｚ１、ｚ２の方向ベクトルは式（１）を構成する縦ベクトルである式（２）、式（３）で表される。

元の二次元データの次元を削減し、ｚ_１だけで表現した場合、約８３％（＝５／（５＋１）；固有値の比率）のデータが保持される。つまり、（ｘ，ｙ）の２次元データで表される情報は、次元を１つ減らしｚ_１のみで表現しても、８３％の情報が保持される。なお、ｚ_１、ｚ_２の両方を使用すれば元のデータを完全に復元できる。

次元の直交化や次元数の削減は、識別精度を高める重要な手法として知られている。本発明においても学習データに色空間の主成分分析等の変換処理を適用して次元を変換したり次元数を削減したりすることで、識別精度の向上を期待できる。

また、主成分分析に代えてカーネル主成分分析を行うものとしてもよい。カーネル主成分分析は、上述の主成分分析と同様にデータの直交化を行う手法であるが、上述の主成分分析よりも多様な直交化を実現できる。

一般の主成分分析では、主成分Ｚは、元のＤ次元の情報ｘを｛ｘ_１,ｘ_２,…,ｘ_Ｄ｝^Ｔとしたとき、以下の式（４）で表すことができる。

Ｚ＝ａ_１ｘ_１＋ａ_２ｘ_２＋ａ_３ｘ_３＋,…,＋ａ_Ｄｘ_Ｄ＋ａ_０ ・・・ （４）
ここで、ａ_１,ａ_２,…,ａ_Ｄ及びａ_０は自然数である。

つまり主成分の軸は元のデータの線形結合で表すことができる。逆にいえば、ａ_１,ａ_２,…,ａ_Ｄ及びａ_０との積でしかＺを認めないという制約がある。一方、カーネル主成分分析ではこの制約を取り払うため、写像φ：Ｒ^Ｄ→Ｒ^Ｐを用いて、Ｄ次元の情報ｘを元のＤ次元からより高いＰ次元の空間にデータを写像し、そこで直交基底Ｚで表現する。

Ｚ＝ａ_１φ（ｘ_１）＋ａ_２φ（ｘ_２）＋ａ_３φ（ｘ_３）＋,…,＋ａ_Ｄφ（ｘ_Ｄ）＋ａ_０ ・・・ （５）
カーネル主成分分析を行うことにより、通常の主成分分析よりも自由度の高い直交軸を求めることができる。

主成分分析またはカーネル主成分分析による色空間変換処理の具体例としては、例えば以下のような態様が考えられる。
（Ａ）ＲＧＢのデータをｚ_１,ｚ_２のように直交する別の２次元データで表現する。
（Ｂ）ＲＧＢのデータをＲ，Ｇ，Ｂ，ｚ_１,ｚ_２のように次元数を追加して５次元で表現する。
（Ｃ）ＲＧＢのデータをＲ＋αｚ_１、Ｇ＋βｚ_２、Ｂγｚ_３のように、３次元のままではあるが、次元の要素が各次元の要素の和のように表現する（α、β、γは定数）。

第４の実施の形態により、識別精度の向上を期待できるようになる。

［第５の実施の形態］
深層学習器２において、更に重みのドロップアウト（dropout）処理を行ってもよい。ドロップアウト（dropout）処理は素子間または層間の経路を繋ぐか、閉じるかを確率に基づいてランダムに決定するものである。図１３に、ドロップアウト（dropout）処理の概念を示している。図１３に示す「○」は素子（ニューロン；neuron）である。深層学習器２の各層の中に図１３に示すように素子が並んでいると仮定する。層を構成する素子間は全て結合がある。すなわち素子間は重み係数が配置されている。

ドロップアウト（dropout）処理は、ネットワークの学習の各時刻ｔごとに、事前に定めた確率ｐに従いランダムにニューロン（素子）間の重みを強制的に「０」にする処理である。これにより、学習していない未知のデータへの識別性能を高める効果が期待できる。例えば、確率ｐ＝０．５であれば、ドロップアウト（dropout）対象の全ての結合が、学習段階の各時刻において確率１／２で強制的に「０」にされる。

更に本発明では、確率ではなく学習データに応じて経路の開閉（繋ぐ、閉じる）を決定することが望ましい。

図１４に第５の実施の形態の解析部４Ａの構成を示す。
図１４に示すように、第５の実施の形態の解析部４Ａは第１の実施の形態の解析部４の構成に加え、学習データ判定部９を備える。また深層学習器２Ａはドロップアウト（dropout）処理部２２を有するものとする。更に設定部７には、ドロップアウト（dropout）処理に関するデータ（以下、設定データ７１という）を保持する。設定データ７１は、どのようなデータを入力した場合にどの結合をドロップアウトさせるかを定義したデータである。どの結合をドロップアウトさせるかは乱数で決定してもよいし、なんらかのアルゴリズムを用いて決めてもよい。

学習データ判定部９は、設定部７から設定データ７１を読み込むとともに前処理部６から入力された学習データを取得し、学習データの内容を判別して深層学習器２Ａでどのようにドロップアウト（dropout）させるかを決定する。

解析部４Ａは、学習データ判定部９により決定した内容で、事前に定めた確率に従って、深層学習器２Ａの各層の素子間の結合の重みを「０」（ドロップアウト（dropout））にし、学習処理及び識別処理を行う。

図１５に、ドロップアウト（dropout）処理の具体例を示す。
図１５（ａ）に示すように、学習する画像が１０枚（「１」から「１０」）で、画像「２」を学習する場合、画像「２」に対応したニューロン（図１５中で「２」と表記）の結合を確率ｐでドロップアウト（dropout）する。ドロップアウト（dropout）する結合を図１５（ｂ）に太線で示す。ただし、ニューロンの両方向（「２」のニューロンに接続された各線）に限定されるものではなく、前段方向（「２」のニューロンの左側の結合）のみや後段方向（「２」のニューロンの右側の結合）のみとしてもよい。

なお、図１５では、説明を簡潔にするため画像に対応したニューロンが１つだけ（「２」のニューロン）の例を示しているが、実際には複数存在する。また１つのニューロンが複数のドロップアウト（dropout）に対応していることも想定する。

このように、学習データにドロップアウト処理を連動させることで、植物病の診断に対して最適化され、より精度のよい結果を得ることが期待される。なお、確率に基づくドロップアウト処理の適用を妨げるものではない。

［第６の実施の形態］
第６の実施の形態では、深層学習器２の複数の層間において、層を跨ぐ結合であるバイパスの経路（結合）ｒ１または層を戻る結合であるフィードバックの経路（結合）ｒ２を設ける。

図１６（ａ）は、バイパス経路（結合）ｒ１を有する深層学習器２Ｂの一例を示す図であり、図１６（ｂ）は、フィードバック経路（結合）ｒ２を有する深層学習器２Ｃの一例を示す図である。

図１６（ａ）に示す例では、第１畳込み層ｃｏｎｖ１から第３畳込み層ｃｏｎｖ２をバイパス経路ｒ１により結合する。また図１６（ｂ）に示す例では、第３畳込み層ｃｏｎｖ１の出力を第１畳込み層ｃｏｎｖ１の入力へ繋ぐフィードバック経路ｒ２を設ける。

なお、バイパス経路ｒ１及びフィードバック経路ｒ２により結合する層は図１６の例に限定されず、例えば、第１畳込み層ｃｏｎｖ１、ｃｏｎｖ２と全結合層ｆｃ１へのバイパス経路ｒ１や第２畳込み層ｃｏｎｖ２から全結合層ｆｃ１へのバイパス経路等、様々な層を結合するバイパス経路ｒ１を設けてもよい。また、第２畳込み層ｃｏｎｖ２の出力を第１畳込み層ｃｏｎｖ１の入力へ繋ぐフィードバック経路ｒ２や、第３畳込み層ｃｏｎｖ３の出力を第１畳込み層ｃｏｎｖ１の入力へ繋ぐフィードバック経路ｒ２を設けてもよい。また、全結合層（全結合層は複数でもよい）に対してもバイパス経路ｒ１やフィードバック経路ｒ２を適用してもよい。また、バイパス経路ｒ１とフィードバック経路ｒ２とを組み合わせて設けてもよい。これらのバイパス結合ｒ１やフィードバック結合ｒ２は、通常の重みをもつ結合、或いは畳込み処理を持つ結合のどちらでもよいものとする。

更に、バイパス経路ｒ１やフィードバック経路ｒ２による層間の結合とドロップアウト処理（第５の実施の形態）とを組み合わせてもよい。

深層学習器２の畳込み層では、奥の層ほど複雑な（識別に重要と思われる画像上の）特徴が学習される。バイパス経路ｒ１は、奥の層に単純な特徴を直接入力することを意味し、フィードバック経路ｒ２は、奥の層で得られた複雑な特徴を単純な特徴に加えて入力することを意味する。このように、深層学習器２の層間に様々な経路を設けることにより、より多様な内部表現が可能となり、学習器としての多様性が生まれる。

＜実施例１＞
第１の実施の形態の植物病診断システム１のＣＮＮ（深層学習器２）を用い、複数の画像について条件を変えてウイルス（黄化えそウイルス；ＭＹＳＶ）に感染した葉の学習及び識別実験を行った。以下、各条件での実験結果を示す。

データセットは、キュウリの葉の健常画像７９７枚、黄化えそウイルスに感染し発症したキュウリの葉の画像２３５枚を４つのグループに分け、２２４×２２２４［pixel］にトリミングし、それぞれ４-fold cross-validationによって評価を行った。更に、学習データに対しては、画像を１０度刻みで３６０度回転する場合と、回転しない場合とを評価した。

なお、評価値として「識別率」、「感度」、「特異度」を用いるものとした。「感度」とは、病気を正確に「病気」とする割合であり、「特異度」とは、健常を正確に「健常」と識別する割合である。「感度」と「特異度」とは相反する関係となり、両立させることが重要である。「識別率」とは、全体のデータの中で正確な識別結果を得た割合である。元のデータ数に偏りがある場合には、識別率が高ければよいというわけではないため、評価値として「感度」、「特異度」も合わせて用いるものとする。

（１）条件Ａ：回転処理あり、ＣＮＮの層構造は、畳込み層×３＋全結合層×１（出力層）（図３の提案手法）
識別率：９３．０％
感度 ：８３．５％
特異度：９５．９％

（２）条件Ｂ：回転処理なし、ＣＮＮの層構造は、畳込み層×３＋全結合層×１（出力層）（図３の提案手法）
識別率： ８３．１％
感度 ： ５０．２％
特異度： ９２．９％

（３）条件Ｃ：回転処理あり、ＣＮＮの層構造は、畳込み層×４＋全結合層×１（出力層）
識別率： ９１．８％
感度 ： ７５．３％
特異度： ９６．６％

（４）比較例：ＣＮＮの層構造は、畳込み層×５＋全結合層×３（出力層を含む）（図１２の従来のＣＮＮ利用）
識別率： ７７．１％
感度 ： ０．０％
特異度： １００．０％

上述の処理結果を検討すると、本発明の手法では、回転処理をした場合は、しない場合と比べて、感度、特異度ともに向上した。また回転処理を行った場合、畳込み層が４層構造の場合と比較して３層構造の場合の方が識別率が良好であった。識別率に大差が出なかったのは、「病気なし」のデータ数が多く、多くの結果に対して病気なしとの判定をしたためと思われる。
また、比較例（従来のＣＮＮ）では、すべての対象について「病気なし」と判定され、植物病診断システムとしての使用が困難であった。識別率の値が「７７．１％」と高いのは、「病気なし」の入力画像が７７％と多く、それらが正解判定されたためである。誤識別の原因としては、過学習が考えられる。

＜実施例２＞
第１の実施の形態の植物病診断システム１のＣＮＮ（深層学習器２）を用い、複数の画像について条件を変えてウイルスに感染したことによって生じた植物病の学習及び識別処理を行った。ウイルスの種類は、ＭＹＳＶ（メロン黄化えそウイルス）、ＺＹＭＶ（ズッキーニ黄斑モザイクウイルス）、ＣＣＹＶ（ウリ類退緑黄化ウイルス）、ＣＭＶ（キュウリ緑斑モザイクウイルス）、ＰＲＳＶ（パパイヤ輪点ウイルス）、ＷＭＶ（カボチャモザイクウイルス）、ＫＧＭＭＶ（キュウリ緑斑モザイクウイルス）とした。図１７に各条件での処理結果を示す。

評価値として「感度」、「特異度」を用いる。「正解率」は、各病気の識別結果の総合的な正解率である。また、（実験０）で用いた画像データと同じ画像データを用いて条件の異なる実験（（実験１）〜（実験５））を行い、結果を比較した。

（実験０）
条件：回転なし、反転なし、色相変化なし、平行移動なし、ＣＮＮの層構造は、畳込み層×３＋全結合層×１（出力層）（図３の提案手法）
学習画像数：５４９０枚
正解率：５０．１
感度（ＭＹＳＶ）：４１．３

感度（ＺＹＭＶ）：５２．３
感度（ＣＣＹＶ）：６２．３
感度（ＣＭＶ）：２９．４
感度（ＰＲＳＶ）：３８．０
感度（ＷＭＶ）：４４．７
感度（ＫＧＭＭＶ）：４８．１
特異度：７０．３

（実験１）
条件：回転あり（データ拡張３６倍）、反転なし、色相変化なし、平行移動なし、ＣＮＮの層構造は、畳込み層×３＋全結合層×１（出力層）（図３の提案手法）
学習画像数：１９７６４０枚（（実験０）に対し、３６倍のデータ拡張倍率）
正解率：７６．５
感度（ＭＹＳＶ）：７８．０
感度（ＺＹＭＶ）：７５．０
感度（ＣＣＹＶ）：９２．２
感度（ＣＭＶ）：５５．０
感度（ＰＲＳＶ）：６０．０
感度（ＷＭＶ）：７５．０
感度（ＫＧＭＭＶ）：７４．６
特異度：８７．０

（実験２）
条件：回転あり（１０度ずつ回転；データ拡張３６倍）、反転あり（上下左右反転；データ拡張４倍）、色相変化なし、平行移動なし、ＣＮＮの層構造は、畳込み層×３＋全結合層×１（出力層）（図３の提案手法）
学習画像数：７９０５６０枚（（実験０）に対し、１４４倍のデータ拡張倍率）
正解率：７８．３
感度（ＭＹＳＶ）：８２．７
感度（ＺＹＭＶ）：７３．９
感度（ＣＣＹＶ）：９２．９
感度（ＣＭＶ）：５７．０
感度（ＰＲＳＶ）：６８．４
感度（ＷＭＶ）：７４．０
感度（ＫＧＭＭＶ）：７７．３
特異度：８８．４

（実験３）
条件：回転あり（１０度ずつ回転；データ拡張３６倍）、反転あり（上下左右反転；データ拡張４倍）、色相変化あり（データ拡張３倍）、平行移動なし、ＣＮＮの層構造は、畳込み層×３＋全結合層×１（出力層）（図３の提案手法）
学習画像数：２３７１６８０枚（（実験０）に対し、４３２倍のデータ拡張倍率）
正解率：７８．９
感度（ＭＹＳＶ）：８２．０
感度（ＺＹＭＶ）：７６．８
感度（ＣＣＹＶ）：９２．８
感度（ＣＭＶ）：５２．５
感度（ＰＲＳＶ）：７２．０
感度（ＷＭＶ）：７２．４
感度（ＫＧＭＭＶ）：７２．０
特異度：９２．４

（実験４）
条件：回転あり（１０度ずつ回転；データ拡張３６倍）、反転あり（上下左右反転；データ拡張４倍）、色相変化なし、平行移動なし、ＣＮＮの層構造は、畳込み層×４＋全結合層×１（出力層）
学習画像数：７９０５６０枚（（実験０）に対し、１４４倍のデータ拡張倍率）
正解率：８１．１
感度（ＭＹＳＶ）８３．４
感度（ＺＹＭＶ）：７７．９
感度（ＣＣＹＶ）：９１．３
感度（ＣＭＶ）：６６．３
感度（ＰＲＳＶ）：７５．８
感度（ＷＭＶ）：７７．７
感度（ＫＧＭＭＶ）：７６．０
特異度：９０．６

（実験５）
条件：回転あり（１０度ずつ回転；データ拡張３６倍）、反転あり（上下左右反転；データ拡張４倍）、色相変化なし、平行移動あり（データ拡張５倍）、ＣＮＮの層構造は、畳込み層×４＋全結合層×１（出力層）
学習画像数：３９５２８００枚（（実験０）に対し、７２０倍のデータ拡張倍率）
正解率：８３．２
感度（ＭＹＳＶ）：８５．４
感度（ＺＹＭＶ）：７９．３
感度（ＣＣＹＶ）：９２．５
感度（ＣＭＶ）：６７．８
感度（ＰＲＳＶ）：７９．９
感度（ＷＭＶ）：８１．５
感度（ＫＧＭＭＶ）：７７．５
特異度：９１．０

上述の処理結果を検討すると、「画像回転」の貢献は１０％以上の正解率向上となり極めて大きい。また、実験１と実験２を比較すると１．８％の正解率向上となり「画像反転」の貢献も確認できる。
（実験２）と（実験３）（色相変化の追加）を比較すると、全体では０．６％の正解率向上であるが、効果は限定的となっている。
また、（実験２）と（実験４）の結果から、同じ画像データを用いた場合、畳込み層を３層から４層に増加させると、正解率が向上する効果が確認できる。更に、（実験４）と（実験５）（平行移動の追加）を比較すると全体で２．１％の正解率向上となり、平行移動の効果を確認できる。

以上説明したように、本発明の植物病診断システム及び植物病診断方法では、深層学習器を用いて植物病の診断を行うため、画像から葉や茎等の領域を抽出する画像処理を回避でき、また画像から植物病の画像特徴データを人的に抽出する手間を省き、容易に植物病の診断を行うことが可能となる。また、深層学習器として植物病診断に最適化されたＣＮＮを用いることにより、演算負荷を減らし、かつ過学習を防いで、効率よく精度のよい識別結果を得ることが可能となる。

以上、本発明に係る植物病診断システム及び方法の好適な実施形態について説明したが、本発明は、上述の実施形態に限定されるものではない。識別するクラスは「健常」、「病変」の２種類に限定されず、病変の度合い等も識別可能としてもよい。その場合は、更に層構造やマップ数、探索窓サイズ等の各種のパラメータ値が最適化されたＣＮＮを用いることが好ましい。

その他、当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１、１Ａ、１Ｂ・・・・・・植物病診断システム
２、２Ａ、２Ｂ、２Ｃ・・・深層学習器
２１・・・・・・・・・・・画像特徴データ
２２・・・・・・・・・・・ドロップアウト処理部
３、３Ｂ・・・・・・・・・入力部
４、４Ａ、４Ｂ・・・・・・解析部
５・・・・・・・・・・・・表示部
６・・・・・・・・・・・・前処理部
７・・・・・・・・・・・・設定部
７１・・・・・・・・・・・設定データ
８・・・・・・・・・・・・カメラ機能付き携帯端末
９・・・・・・・・・・・・学習データ判定部
１０・・・・・・・・・・・コンピュータ
１０１・・・・・・・・・・制御部
１０２・・・・・・・・・・記憶装置
１０３・・・・・・・・・・入力装置
１０４・・・・・・・・・・表示装置
１０５・・・・・・・・・・メディア入出力装置
１０６・・・・・・・・・・通信Ｉ／Ｆ
１０７・・・・・・・・・・周辺機器Ｉ／Ｆ
１０８・・・・・・・・・・ＧＰＳ受信機
１１０・・・・・・・・・・ＧＰＵ
１１・・・・・・・・・・・カメラ機能付き携帯端末
１２・・・・・・・・・・・通信ネットワーク
１３・・・・・・・・・・・サーバ
３０・・・・・・・・・・・カメラ
３１・・・・・・・・・・・分割部
３２・・・・・・・・・・・判定部
４１・・・・・・・・・・・植物病分布算出部
ｃｏｎｖ１〜ｃｏｎｖ３・・畳込み層
ｆｃ１・・・・・・・・・・全結合層
ｐｉｃ・・・・・・・・・・入力画像（入力層）
５１・・・・・・・・・・・探索窓
６０・・・・・・・・・・・広域画像
６０ａ〜６０ｌ・・・・・・局所領域の画像
６５・・・・・・・・・・・植物病の分布
ｒ１・・・・・・・・・・・バイパス経路（結合）
ｒ２・・・・・・・・・・・フィードバック経路（結合）

Claims (14)

1. 植物病の画像と対応する診断結果とを学習データとして複数取り込み、植物病に関する画像特徴データを作成し、保持する深層学習器と、
   診断対象とする画像を入力する入力部と、
   前記深層学習器を用いて、入力された画像がどの診断結果に分類されるかを識別する解析部と、
   前記解析部により出力された診断結果を表示する表示部と、
   を備え、
   前記入力部は、
   診断対象とする植物が含まれる広域画像を撮影するカメラにより撮影された広域画像を取得し、複数の局所領域の画像に分割する分割部と、
   分割された各局所領域について前記解析部における識別の対象とするか否かを判定する判定部と、を備え、
   前記解析部は、前記判定部により識別の対象と判定された局所領域の画像を診断対象として前記識別を行う
   ことを特徴とする植物病診断システム。
2. 前記表示部は、前記診断結果として、各局所領域の診断結果に基づいて算出される広域画像全体の植物病の分布を表示する
   請求項１に記載の植物病診断システム。
3. 前記深層学習器として畳込みニューラルネットワークを利用することを特徴とする請求項１または請求項２に記載の植物病診断システム。
4. 前記学習データとして取り込まれた画像に対し、回転、移動、拡大縮小、色変化、ノイズ付加、ぼかし、高周波成分強調、及び歪みのうち少なくともいずれか１つまたは複数の画像処理を施し、取り込み画像数を増加させる前処理部を更に備え、
   前記深層学習器は増加された画像を学習データとして利用することを特徴とする請求項１から請求項３のいずれかに記載の植物病診断システム。
5. 前記学習データとして取り込まれた画像の色空間の次元を変換し、または次元数を削減する色空間変換部を更に備え、
   前記深層学習器は、前記色空間変換部により変換されたデータを前記学習データに用いることを特徴とする請求項１から請求項４のいずれかに記載の植物病診断システム。
6. 前記解析部は、入力された画像がどの診断結果に分類されるかを事後確率として出力することを特徴とする請求項１から請求項５のいずれかに記載の植物病診断システム。
7. 当該植物病診断システムは、カメラ機能付き携帯端末に搭載されることを特徴とする請求項１から請求項６のいずれかに記載の植物病診断システム。
8. 前記入力部は、ネットワークを介して通信接続されたカメラ機能付き携帯端末により撮影され送信された画像を前記診断対象として入力し、
   前記解析部は前記診断結果を前記カメラ機能付き携帯端末に送信することを特徴とする請求項１から請求項６のいずれかに記載の植物病診断システム。
9. 前記学習データに応じて前記深層学習器の素子間の結合のドロップアウト処理を適用することを特徴とする請求項１から請求項８のいずれかに記載の植物病診断システム。
10. 前記深層学習器の層間にバイパスおよび／またはフィードバックの経路を設けることを特徴とする請求項１から請求項９のいずれかに記載の植物病診断システム。
11. コンピュータが、
    植物の画像と対応する診断結果とを学習データとして複数取り込み、植物病に関する画像特徴データを深層学習器を用いて作成し、保持するステップと、
    診断対象とする画像を入力するステップと、
    前記深層学習器を用いて、入力された画像がどの診断結果に分類されるかを識別するステップと、
    前記診断結果を表示するステップと、
    を含み、
    前記入力するステップは、
    診断対象とする植物が含まれる広域画像を撮影するカメラにより撮影された広域画像を取得し、複数の局所領域の画像に分割するステップと、
    分割された各局所領域について識別の対象とするか否かを判定するステップと、を含み、
    前記識別するステップは、識別の対象と判定された局所領域の画像を診断対象として前記識別を行う
    ことを特徴とする植物病診断方法。
12. 前記深層学習器の層間にバイパスおよび／またはフィードバックの経路を設けることを特徴とする請求項１１に記載の植物病診断方法。
13. コンピュータにより読み取り可能な形式で記述されたプログラムであって、
    植物の画像と対応する診断結果とを学習データとして複数取り込み、植物病に関する画像特徴データを深層学習器を用いて作成し、保持するステップと、
    診断対象とする画像を入力するステップと、
    前記深層学習器を用いて、入力された画像がどの診断結果に分類されるかを識別するステップと、
    前記診断結果を表示するステップと、
    を含み、
    前記入力するステップは、
    診断対象とする植物が含まれる広域画像を撮影するカメラにより撮影された広域画像を取得し、複数の局所領域の画像に分割するステップと、
    分割された各局所領域について識別の対象とするか否かを判定するステップと、を含み、
    前記識別するステップは、識別の対象と判定された局所領域の画像を診断対象として前記識別を行う
    処理をコンピュータに実行させるためのプログラム。
14. 前記深層学習器の層間にバイパスおよび／またはフィードバックの経路を設けることを特徴とする請求項１３に記載のプログラム。

Images