JP7452879B2 - 予測システム、予測方法、および予測プログラム - Google Patents

予測システム、予測方法、および予測プログラム Download PDF

Info

Publication number
JP7452879B2
JP7452879B2 JP2021516055A JP2021516055A JP7452879B2 JP 7452879 B2 JP7452879 B2 JP 7452879B2 JP 2021516055 A JP2021516055 A JP 2021516055A JP 2021516055 A JP2021516055 A JP 2021516055A JP 7452879 B2 JP7452879 B2 JP 7452879B2
Authority
JP
Japan
Prior art keywords
feature
machine learning
cluster
learning model
environmental
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021516055A
Other languages
English (en)
Other versions
JPWO2020218157A1 (ja
Inventor
博史 峰野
和昌 若森
豪太 中西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Original Assignee
Shizuoka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC filed Critical Shizuoka University NUC
Publication of JPWO2020218157A1 publication Critical patent/JPWO2020218157A1/ja
Application granted granted Critical
Publication of JP7452879B2 publication Critical patent/JP7452879B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G25/00Watering gardens, fields, sports grounds or the like
    • A01G25/16Control of watering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Water Supply & Treatment (AREA)
  • Environmental Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本開示の一側面は予測システム、予測方法、および予測プログラムに関する。
機械学習を用いて対象物の状態を予測するコンピュータシステムが知られている。例えば、特許文献1には植物病診断システムが記載されている。このシステムは、植物病の画像と対応する診断結果とを学習データとして複数取り込み、植物病に関する画像特徴データを作成し、保持する深層学習器と、診断対象とする画像を入力する入力部と、深層学習器を用いて、入力された画像がどの診断結果に分類されるかを識別する解析部と、解析部により出力された診断結果を表示する表示部とを備える。
特開2016-168046号公報
対象物の状態を正確に予測することが望まれている。例えば、植物の萎れ具合を予測することで該植物の状態を的確に把握することが可能になるので、その萎れ具合を正確に予測することが望まれている。
本開示の一側面に係る予測システムは、少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、観察に基づいて算出された対象物の状態に関する1以上の特徴量で表される対象物特徴と、該対象物の周辺環境に関する1以上の特徴量で表される環境特徴との組合せを示す複数の入力ベクトルを取得し、環境特徴の集合をクラスタリングによって複数のクラスタに分割し、複数の入力ベクトルのそれぞれについて機械学習を実行することで、対象物の状態を予測するための機械学習モデルを生成する。機械学習は、入力ベクトルの環境特徴が属するクラスタに基づく処理を実行するステップと、処理が実行された機械学習モデルに入力ベクトルを入力することで対象物の状態の予測値を出力するステップとを含む。
このような側面においては、クラスタに基づく処理によって、多様な周辺環境に応じて動的に変化する機械学習モデルが得られる。この機械学習モデルを用いることで、対象物の状態に影響を及ぼす周辺環境が十分に考慮されるので、対象物の状態を正確に予測することが可能になる。
本開示の一側面によれば、対象物の状態を正確に予測することができる。
実施形態に係る予測システムの機能構成の一例を示す図である。 機械学習モデルに関する構成の一例を示す図である。 実施形態に係る予測システムで用いられるコンピュータのハードウェア構成の一例を示す図である。 学習済みモデルの生成の一例を示すフローチャートである。 マスクベクトルの生成の一例を示すフローチャートである。 マスクベクトルの生成の具体例を示す図である。 マスクベクトルの生成の別の例を示す図である。 萎れ具合の予測の一例を示すフローチャートである。 実施形態に係る灌水制御システムの利用の一例を示す図である。 実施形態に係る灌水制御システムの機能構成を示す図である。
以下、添付図面を参照しながら本開示での実施形態を詳細に説明する。なお、図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。
[システムの概要]
実施形態に係る予測システム1は対象物の状態を予測するコンピュータシステムである。一例では、対象物は植物である。この場合、対象物の状態は植物の生育状態でもよく、より具体的には、植物の萎れ具合でもよい。しかし、対象物および「対象物の状態」は限定されない。
一例では、予測システム1は植物の萎れ具合を予測するコンピュータシステムである。植物の種類は限定されず、また、植物は栽培されているものでもよいし自生のものでもよい。萎れ具合とは植物中の水分不足の度合い、すなわち水分ストレスの程度のことをいう。したがって、萎れ具合は植物中の水分量の程度を表す指標であるともいえる。予測システム1は物理パラメータによって萎れ具合を表現する。その物理パラメータの例として茎の径またはその変化量、茎の傾きまたはその変化量、葉の広がり具合またはその変化量、葉の色調またはその変化量などが挙げられるが、これらに限定されない。予測システム1は複数種類の物理パラメータを用いて萎れ具合を表現してもよい。一例では、予測システム1は茎の径、または茎の径の変化量によって萎れ具合を表現する。予測システム1は植物の萎れ具合の予測結果を予測値として出力する。予測システム1から出力される予測値は様々な目的で用いることができ、したがって、予測システム1を利用または応用する手法は限定されない。例えば、予測システム1は灌水制御、空調制御、収穫予測などの様々な目的で用いることができる。
予測システム1は対象物の状態を予測するために(より具体的には、植物の萎れ具合を予測するために)機械学習を利用する。機械学習とは、与えられた情報に基づいて反復的に学習することで法則またはルールを自律的に見つけ出す手法である。機械学習の具体的な手法は限定されない。一例では、予測システム1は、ニューラルネットワークを含んで構成される計算モデルである機械学習モデルを用いた機械学習を実行する。ニューラルネットワークとは、人間の脳神経系の仕組みを模した情報処理のモデルのことをいう。予測システム1で用いられるニューラルネットワークの種類は限定されず、例えば、畳み込みニューラルネットワーク(CNN)、再帰型ニューラルネットワーク(RNN)、または長短期記憶(Long Short-Term Memory(LSTM))が用いられてもよい。
予測システム1は、学習を繰り返すことで機械学習モデルを訓練させ、この機械学習モデルを学習済みモデルとして取得することができる。これは学習フェーズに相当する。学習済みモデルは、植物の萎れ具合を予測するために最適であると予測される機械学習モデルであり、“現実に最適である機械学習モデル”とは限らないことに留意されたい。予測システム1は、学習済みモデルを用いて入力ベクトル(すなわち入力データ)を処理することで、萎れ具合の予測値を出力することもできる。これは予測フェーズまたは運用フェーズに相当する。予測システム1はその予測値に基づいて更なる処理を実行してもよい。
学習済みモデルはコンピュータシステム間で移植可能である。したがって、或るコンピュータシステムで生成された学習済みモデルを、別のコンピュータシステムで用いることができる。もちろん、一つのコンピュータシステムが学習済みモデルの生成および利用の双方を実行してもよい。すなわち、予測システム1は、学習フェーズおよび予測フェーズの双方を実行してもよいし、学習フェーズおよび予測フェーズのいずれか一方を実行しなくてもよい。
[システムの構成]
図1は実施形態に係る予測システム1の機能構成の一例を示す図である。一例では、予測システム1は機能要素として学習部11、マスキング部12、および予測部13を備える。学習部11は、用意された入力ベクトルを用いて機械学習を実行することで、植物の萎れ具合を予測するための学習済みモデル20を生成する機能要素である。マスキング部12は、機械学習において、機械学習モデルのニューラルネットワークの一部のノードを無効化するマスキングを実行する機能要素である。予測部13は生成された学習済みモデル20を用いて植物の萎れ具合を予測する機能要素である。予測部13は植物の萎れ具合の予測値を出力する。
図2は機械学習モデル(学習済みモデル)に関する構成の一例を示す図である。学習部11または予測部13によって用いられる機械学習モデル30は、萎れ特徴X、環境特徴X、および共通特徴Xという三つのベクトルに基づく入力ベクトルを受け付け、この入力ベクトルを処理することで植物の萎れ具合の予測値を出力する。萎れ特徴X、環境特徴X、および共通特徴Xはいずれも1以上の特徴量の集合(ベクトル)である。この演算において、マスキング部12は機械学習モデル30のニューラルネットワーク31の少なくとも一つのノードを無効化する。無効化されたノードは、ニューラルネットワーク31による処理において用いられない。なお、予測フェーズでは、機械学習モデル30は学習済みモデル20である。
萎れ特徴Xは、植物が撮影された画像(これは「草姿画像」ともいわれる。)に基づいて算出された該植物の状態に関する1以上の特徴量で表される。より具体的には、萎れ特徴Xは葉の動きを1以上の特徴量で表したベクトルである。例えば、萎れ特徴Xは、二つの時点に対応する二つの画像に基づいて以下の手順によって算出される。まず、物体の動きをベクトルで表すオプティカルフローが、二つの時点に対応する二つの画像を用いて算出される。例えば、オプティカルフローはDeepFlowというアルゴリズムを用いて求めることができるが、他の手法によって算出されてもよい。また、ExG(Excess Green)という手法をそれぞれの画像に適用することで、画像で表される領域が、植物の領域と植物以外の領域(例えば、空など)とに分離される。これらの二つの処理によって、植物のオプティカルフローのみを得ることができる。続いて、植物のオプティカルフローに基づいて特徴量が算出および設定される。
ここで、草姿画像は観察の一例である。観察とは対象物の状態を記録することをいう。萎れ特徴は対象物の特徴(これを「対象物特徴」ともいう。)の一例である。
一例では、萎れ特徴Xは以下に示す11次元の特徴量によって表現されてもよい。これらの特徴量は葉の萎れまたは回復の程度を表す。
・オプティカルフローの角度のヒストグラム(Histograms of Oriented Optical Flow(HOOF))(6次元)
・オプティカルフローの角度の平均値(1次元)
・オプティカルフローの角度の標準偏差(1次元)
・オプティカルフローの大きさの平均値(1次元)
・オプティカルフローの大きさの標準偏差(1次元)
・オプティカルフローの検出率(1次元)
HOOFは、鉛直方向に沿ったオプティカルフローの角度(ピン)とオプティカルフローの長さ(重み)とに基づいて算出されるヒストグラムの面積を正規化することで得られる。HOOFの次元数が6であるということはピンの総数が6に設定されることを意味する。ピンの総数が6であるということは、鉛直方向に沿った葉の動きが30°(=180/6)毎に区別されることを意味する(左右対称のオプティカルフローは同一のピンに累積される)。オプティカルフローの検出率は、画像の総ピクセル数に対する、検出されたオプティカルフローの個数の比で表される。HOOF以外の5次元は統計量であり、これらはHOOFでは表されないオプティカルフローの分布を表す。
環境特徴Xは、植物の周辺環境に関する1以上の特徴量で表される。「植物の周辺環境」とは、植物に影響を及ぼし得る所与の地理的範囲における環境のことをいい、「対象物の周辺環境」の一例である。例えば、その周辺環境は、観察される植物から数メートル以内または数十メートル以内の範囲の環境であってもよい。環境特徴Xのそれぞれの特徴量は環境センサによる測定によって得られる。一例では、環境特徴Xは、水分ストレスの要因である植物の蒸散速度に関する1以上の特徴量を含んでもよい。例えば、環境特徴Xは温度、相対湿度、飽差、および散乱光の量(明るさ)という4次元の特徴量によって表現されてもよい。飽差とは、空気中にあとどれだけ水蒸気の入る余地があるかを示す指標である。蒸散速度を決定する要因として水蒸気圧および気孔開度が挙げられる。水蒸気圧は温度、相対湿度、および飽差により説明可能であり、気孔開度は散乱光の量によって説明できる。
共通特徴Xは、萎れ特徴および環境特徴のそれぞれを補足する特徴である。一例では、共通特徴Xは、日の出からの経過時間と、灌水を実施したか否かを二値で示す灌水フラグという2次元の特徴量によって表現されてもよい。共通特徴Xは省略されてもよい。
萎れ特徴X、環境特徴X、および共通特徴Xは所与の時間間隔(例えば、1分毎、5分毎、10分毎など)に収集された時系列データとして提供される。学習部11および予測部13は、1時点に対応する萎れ特徴Xおよび共通特徴Xの組合せである入力ベクトルVと、該1時点に対応する環境特徴Xおよび共通特徴Xの組合せである入力ベクトルVとを機械学習モデル30に入力する。萎れ特徴X、環境特徴X、および共通特徴Xがそれぞれ11次元、4次元、および2次元であれば、入力ベクトルVは13次元であり、入力ベクトルVは6次元である。機械学習モデル30のニューラルネットワーク31は、これら2種類の入力ベクトルV,Vを処理するマルチモーダルニューラルネットワークであってもよい。例えば、ニューラルネットワーク31は2ストリームLSTM(2sLSTM)またはクロスモーダルLSTM(X-LSTM)を用いたマルチモーダルニューラルネットワークでもよい。いずれにしても、学習部11および予測部13はいずれも、入力ベクトルV,Vから植物の萎れ具合の予測値を得る。
萎れ特徴、環境特徴、および共通特徴のそれぞれの具体的な構成は上記の例に限定されない。例えば、萎れ特徴の少なくとも一つの特徴量はオプティカルフローを用いることなく算出または設定されてもよい。環境特徴は、温度、相対湿度、飽差、および散乱光の量という4種類の特徴量のうちの少なくとも一つを含まなくてもよく、該4種類の特徴量とは別の特徴量を含んでもよい。共通特徴は、日の出からの経過時間および灌水フラグという2種類の特徴量のうちの少なくとも一つを含まなくてもよく、該2種類の特徴量とは別の特徴量を含んでもよい。
入力ベクトルV,Vから予測値を求めるニューラルネットワーク31の一部のノードはマスキング部12によって無効化される。マスキング部12は、環境特徴Xの集合をクラスタリングによって複数のクラスタに分割し、それぞれのクラスタに対応させて一部のノードを無効化する前処理を実行する。マスキング部12は、入力ベクトルVの環境特徴Xが属するクラスタに基づいて、ニューラルネットワーク31の一部のノードを無効化する。本開示では、この無効化を「マスキング」ともいう。学習部11または予測部13はマスキングが実行された機械学習モデル30に入力ベクトルを入力することで予測値を出力する。
図3は実施形態に係る予測システム1を構成するコンピュータ100の一般的なハードウェア構成の一例を示す図である。例えば、コンピュータ100はプロセッサ101、主記憶部102、補助記憶部103、通信制御部104、入力装置105、および出力装置106を備える。プロセッサ101はオペレーティングシステムおよびアプリケーション・プログラムを実行する。主記憶部102は例えばROMおよびRAMで構成される。補助記憶部103は例えばハードディスクまたはフラッシュメモリで構成され、一般に主記憶部102よりも大量のデータを記憶する。通信制御部104は例えばネットワークカードまたは無線通信モジュールで構成される。入力装置105は例えばキーボード、マウス、タッチパネルなどで構成される。出力装置106は例えばモニタおよびスピーカで構成される。
予測システム1の各機能要素は、補助記憶部103に予め記憶される予測プログラム110により実現される。具体的には、各機能要素は、プロセッサ101または主記憶部102の上に予測プログラム110を読み込ませてプロセッサ101にその予測プログラム110を実行させることで実現される。プロセッサ101はその予測プログラム110に従って、通信制御部104、入力装置105、または出力装置106を動作させ、主記憶部102または補助記憶部103におけるデータの読み出しおよび書き込みを行う。処理に必要なデータまたはデータベースは主記憶部102または補助記憶部103内に格納されてもよい。
予測プログラム110は、例えば、CD-ROM、DVD-ROM、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。あるいは、予測プログラム110は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。
予測システム1は1台のコンピュータ100で構成されてもよいし、複数台のコンピュータ100で構成されてもよい。複数台のコンピュータ100を用いる場合には、これらのコンピュータ100がインターネットやイントラネットなどの通信ネットワークを介して接続されることで、論理的に一つの予測システム1が構築される。
コンピュータ100の種類は限定されない。例えば、コンピュータ100は据置型または携帯型のパーソナルコンピュータ(PC)でもよいし、ワークステーションでもよいし、高機能携帯電話機(スマートフォン)、携帯電話機、携帯情報端末(PDA)などの携帯端末でもよい。予測システム1は複数種類のコンピュータを組み合わせて構築されてもよい。
[システムの動作]
図4および図5を参照しながら、学習済みモデル20の生成について説明する。図4は学習済みモデル20の生成の一例を処理フローS1として示すフローチャートである。図5はマスクベクトルの生成の一例を示すフローチャートであり、これは処理フローS1の一部を構成する。処理フローS1は学習フェーズに相当し、且つ本開示に係る予測方法の一例である。
ステップS11では、学習部11がトレーニングデータを取得する。トレーニングデータの取得方法は限定されない。例えば、学習部11は所与のデータベースにアクセスしてトレーニングデータを読み出してもよいし、他のコンピュータから送られてきたトレーニングデータを受信してもよい。あるいは、学習部11は予測システム1内での処理によって生成されたトレーニングデータを利用してもよい。一例では、トレーニングデータは、萎れ特徴と、環境特徴と、共通特徴と、萎れ具合の実測値との組合せを所与の時間間隔で収集することで得られる時系列データである。
ステップS12では、マスキング部12が、トレーニングデータに含まれる環境特徴の集合をクラスタリングすることで、その集合を複数のクラスタに分割する。クラスタリングの手法は限定されない。例えば、マスキング部12はカーネル近似および主成分分析(PCA)を用いた非線形写像によって、環境特徴を、クラスタリングに有効な特徴のみで構成される環境特徴空間に変換する。そして、マスキング部12はk-means法を用いて、その変換された環境特徴をk個のクラスタに分割する。マスキング部12は個々のクラスタの重心ベクトルの集合G={g,g,…,g}も求める。
ステップS13では、マスキング部12が、生成された複数のクラスタのそれぞれについてマスクベクトルを生成する。マスクベクトルとは、ニューラルネットワーク31を構成する複数のノードのうちどのノードを無効化するかを示すベクトルである。一例では、マスキング部12は、ニューラルネットワーク31の全結合層を構成する複数のノードの一部を無効化するためのマスクベクトルを生成する。マスキング部12は、ニューラルネットワーク31のすべての全結合層のそれぞれについてマスクベクトルを生成してもよいし、一部の全結合層についてのみマスクベクトルを生成してもよい。
図5を参照しながらマスクベクトルを生成する処理について詳細に説明する。ステップS131では、マスキング部12は各クラスタcの初期有効ノード数aを設定する。初期有効ノード数とは、無効化される可能性がある複数のノード(以下ではこのノードを「対象ノード」ともいう。)のうち、有効にするノード(すなわち、ニューラルネットワーク31による処理において用いられるノード)の個数の初期値のことをいう。例えば、複数の対象ノードは、全結合層を構成する複数のノードである。初期有効ノード数aは、対象ノードの個数uとクラスタの個数kとを用いて、a=u/kで表される。
ステップS132では、マスキング部12はノード(マスクベクトル)を共有するクラスタの個数pを設定する。この値pは、ドロップ率rを用いて、p=u*(1-r)/aで表される。ドロップ率とは、複数の対象ノードのうち無効化させるノードの割合のことをいう。
ステップS133では、マスキング部12は各クラスタcの初期マスクベクトルM´を生成する。初期マスクベクトルはマスクベクトルの初期値であるといえる。個々の初期マスクベクトルM´ではa個のノードのみが有効である。有効であるノードはk個の初期マスクベクトルM´(c=1~k)のそれぞれで異なり、これは、複数のクラスタに対応する複数のマスクベクトルの初期値が互いに異なることを意味する。
各クラスタcの初期マスクベクトルM´を生成すると、マスキング部12は個々のクラスタcについてマスクベクトルMを生成する。ステップS134では、マスキング部12は最初のクラスタcを選択し、このクラスタについて以下の処理を実行する。
ステップS135では、マスキング部12は選択されたクラスタcの重心ベクトルgとすべての重心ベクトルg(i=1~k)との距離を算出する。重心ベクトル間の距離はユークリッド距離でもよいし、他の種類の距離で表されてもよい。ステップS136では、マスキング部12はその距離の昇順にk個の重心ベクトルをソートする。重心ベクトルの並びの先頭には、選択されたクラスタcの重心ベクトルgが位置する。ステップS137では、マスキング部12はソートされた重心ベクトルの先頭からp個の重心ベクトルを選択し、その重心ベクトルに対応するp個のクラスタを選択する。ステップS138では、マスキング部12は選択されたp個のクラスタの初期マスクベクトルM´の論理和を、選択されたクラスタcに対応するマスクベクトルMとして設定する。要するに、ステップS135~S138の一連の処理は、一つの基準クラスタの初期マスクベクトルと、該基準クラスタの近傍に位置する1以上のクラスタのそれぞれの初期マスクベクトルとの論理和を、該基準クラスタのマスクベクトルとして設定する処理である。
ステップS139に示すように、マスキング部12はすべてのクラスタcについてマスクベクトルMを設定する。未処理のクラスタが存在する場合には(ステップS139においてNO)、処理はステップS140に進み、マスキング部12は次のクラスタcを選択し、そのクラスタcについてステップS135~S138の処理を実行する。すべてのクラスタcを処理すると(ステップS139においてYES)、ステップS13の処理が終了する。
図6および図7はいずれも、マスクベクトルの生成の具体例を示す図である。これらの例ではいずれも、クラスタ数kが4であり、対象ノードの個数uが4であり、ドロップ率rが0.5であるとする。したがって、マスキング部12は2個のノードを無効化し、残る2個のノードを有効化する。
まず、図6に示す例を説明する。この例では、環境特徴空間40に、重心ベクトルgを有するクラスタCと、重心ベクトルgを有するクラスタCと、重心ベクトルgを有するクラスタCと、重心ベクトルgを有するクラスタCとが存在する。u=4、k=4、r=0.5であるので、a=1であり(ステップS131)。p=2である(ステップS132)。初期有効ノード数aが1であるので、マスキング部12は各クラスタcの初期マスクベクトルM´の有効ノード数が1になるように各初期マスクベクトルM´を設定する(ステップS133)。有効ノードを「1」で表し無効ノードを「0」で表すとすると、例えば、マスキング部12は以下のように初期マスクベクトルM´(c=1~4)を設定する。
M´={1,0,0,0}
M´={0,1,0,0}
M´={0,0,1,0}
M´={0,0,0,1}
図6の左側はその初期マスクベクトルを示す。図6および図7では、個々のノードを円で示し、無効ノードにはバツ印を付している。
図6に示す各クラスタの配置から、クラスタCについて距離の昇順に重心ベクトルを並べるとg,g,g,gとなる(ステップS136)。したがって、マスキング部12は2個の重心ベクトルg,gに対応する2個のクラスタC,Cを選択する(ステップS137)。そして、マスキング部12はその2個のクラスタの初期マスクベクトルM´,M´の論理和を、クラスタCのマスクベクトルMとして設定する(ステップS138)。上記の初期マスクベクトルの例に基づくと、マスキング部12はマスクベクトルMを{1,1,0,0}と設定する。
マスキング部12は他のクラスタについても同様にマスクベクトルを設定する。クラスタCについて距離の昇順に重心ベクトルを並べるとg,g,g,gとなる。したがって、マスキング部12は2個の重心ベクトルg,gに対応する2個のクラスタC,Cを選択する。そして、マスキング部12はその2個のクラスタの初期マスクベクトルM´,M´の論理和を、クラスタCのマスクベクトルMとして設定する。すなわち、M={1,1,0,0}である。
クラスタCについて距離の昇順に重心ベクトルを並べるとg,g,g,gとなる。したがって、マスキング部12は2個の重心ベクトルg,gに対応する2個のクラスタC,Cを選択する。そして、マスキング部12はその2個のクラスタの初期マスクベクトルM´,M´の論理和を、クラスタCのマスクベクトルMとして設定する。すなわち、M={0,0,1,1}である。
クラスタCについて距離の昇順に重心ベクトルを並べるとg,g,g,gとなる。したがって、マスキング部12は2個の重心ベクトルg,gに対応する2個のクラスタC,Cを選択する。そして、マスキング部12はその2個のクラスタの初期マスクベクトルM´,M´の論理和を、クラスタCのマスクベクトルMとして設定する。すなわち、M={0,0,1,1}である。
以上の処理により、下記のマスクベクトルM(c=1~4)が得られる。これは、クラスタC,Cがノード(マスクベクトル)を共有し、クラスタC,Cがノード(マスクベクトル)を共有することを意味する。図6の右側はそれらのマスクベクトルを示す。
={1,1,0,0}
={1,1,0,0}
={0,0,1,1}
={0,0,1,1}
次に、図7に示す例を説明する。この例の前提条件は、環境特徴空間40における各クラスタの位置を除いて、図6の例と同じであるとする。すなわち、u=4、k=4、r=0.5、a=1、およびp=2である。この例でも、マスキング部12が以下のように初期マスクベクトルM´(c=1~4)を設定すると仮定する(図7の左側を参照)。
M´={1,0,0,0}
M´={0,1,0,0}
M´={0,0,1,0}
M´={0,0,0,1}
図7に示す各クラスタの配置から、クラスタCについて距離の昇順に重心ベクトルを並べるとg,g,g,gとなる。したがって、マスキング部12は2個の重心ベクトルg,gに対応する2個のクラスタC,Cを選択する。そして、マスキング部12はその2個のクラスタの初期マスクベクトルM´,M´の論理和を、クラスタCのマスクベクトルMとして設定する。すなわち、マスキング部12はマスクベクトルMを{1,1,0,0}と設定する。
クラスタCについて距離の昇順に重心ベクトルを並べるとg,g,g,gとなる。したがって、マスキング部12は2個の重心ベクトルg,gに対応する2個のクラスタC,Cを選択する。そして、マスキング部12はその2個のクラスタの初期マスクベクトルM´,M´の論理和を、クラスタCのマスクベクトルMとして設定する。すなわち、M={0,1,1,0}である。
クラスタCについて距離の昇順に重心ベクトルを並べるとg,g,g,gとなる。したがって、マスキング部12は2個の重心ベクトルg,gに対応する2個のクラスタC,Cを選択する。そして、マスキング部12はその2個のクラスタの初期マスクベクトルM´,M´の論理和を、クラスタCのマスクベクトルMとして設定する。すなわち、M={0,1,1,0}である。
クラスタCについて距離の昇順に重心ベクトルを並べるとg,g,g,gとなる。したがって、マスキング部12は2個の重心ベクトルg,gに対応する2個のクラスタC,Cを選択する。そして、マスキング部12はその2個のクラスタの初期マスクベクトルM´,M´の論理和を、クラスタCのマスクベクトルMとして設定する。すなわち、M={0,0,1,1}である。
以上の処理により、下記のマスクベクトルM(c=1~4)が得られる。これは、クラスタC,Cがノード(マスクベクトル)を共有し、クラスタC,Cが一部のノード(マスクベクトル)を共有し、クラスタC,Cが一部のノード(マスクベクトル)を共有することを意味する。図7の右側はそれらのマスクベクトルを示す。
={1,1,0,0}
={0,1,1,0}
={0,1,1,0}
={0,0,1,1}
このように、環境特徴のクラスタに対応するマスクベクトルを生成することで、複数のクラスタに対応する複数のサブネットワークをニューラルネットワーク31内に生成することができる。これは、周辺環境の分類に応じたサブネットワークを生成することを意味する。それぞれのサブネットワークは、対応する周辺環境に特化して学習を実行するので、様々な周辺環境に動的に適応する学習済みモデル20を生成することが可能になる。
図4に戻って、ステップS14では、学習部11がトレーニングデータから最初の入力ベクトルを取得する。上述したように、一例では、この入力ベクトルは、萎れ特徴および共通特徴の組合せである入力ベクトルと、環境特徴および共通特徴の組合せである入力ベクトルとを用いて構成される。
ステップS15では、マスキング部12が、取得された入力ベクトルの環境特徴に対応するマスキングを実行する。具体的には、マスキング部12はその環境特徴が属するクラスタcをk個のクラスタの中から選択し、そのクラスタcに対応するマスクベクトルMに従って、ニューラルネットワーク31内の一部のノードを無効化する。一例では、マスキング部12は全結合層を構成する複数のノードの一部を無効化する。
ステップS16では、学習部11が入力ベクトルを用いて機械学習を実行する。具体的には、学習部11は、マスキングが実行された機械学習モデル30に入力ベクトルを入力し、その機械学習モデル30から出力される予測値を得る。そして、学習部11はその予測値と、入力ベクトルに対応する、植物の萎れ具合の実測値(すなわち、正解)との誤差に基づいて、バックプロパゲーション(誤差逆伝播法)などの手法を用いて機械学習モデル30内のパラメータを更新する。機械学習モデル内の更新されるパラメータの例としてニューラルネットワーク31の重みが挙げられる。しかし、更新されるパラメータはこれに限定されない。
ステップS17では、学習部11が学習を終了させるか否かを判定する。学習部11は、機械学習の終了条件が満たされた場合には学習を終了させ、該終了条件が満たされない場合には機械学習を継続する。終了条件は任意に設定されてよい。例えば、学習部11は検証用データを用いて機械学習モデルの性能を評価し、その評価が所与の基準を満たす場合に機械学習を終了してもよい。あるいは、終了条件は誤差に基づいて設定されてもよいし、処理する入力ベクトルの個数、すなわち学習の回数に基づいて設定されてもよい。
学習を続ける場合には(ステップS17においてNO)、ステップS18において学習部11がトレーニングデータから次の入力ベクトルを取得し、その入力ベクトルについてステップS15,S16の処理を実行する。学習を終了させる場合には(ステップS17においてYES)、ステップS19において学習部11が学習済みモデル20を取得する。このように、学習フェーズでは、学習部11はトレーニングデータを用いて機械学習を実行することで学習済みモデル20を生成する。
図8を参照しながら、学習済みモデル20を用いた萎れ具合の予測について説明する。図8は学習済みモデル20による萎れ具合の予測の一例を処理フローS2として示すフローチャートである。処理フローS2は予測フェーズに相当し、且つ本開示に係る予測方法の一例である。
ステップS21では、予測部13は入力ベクトルを取得する。入力ベクトルの取得方法は限定されない。例えば、予測部13は所与のデータベースにアクセスして入力ベクトルを読み込んでもよいし、ユーザによって入力された入力ベクトルを取得してもよい。あるいは、予測部13は他のコンピュータから送られてきた入力ベクトルを受信してもよいし、予測システム1内での演算によって生成された入力ベクトルを用いてもよい。
ステップS22では、マスキング部12がその入力ベクトルの環境特徴に対応するマスキングを実行する。この処理はステップS15と同様である。すなわち、マスキング部12はその環境特徴が属するクラスタcをk個のクラスタの中から選択し、そのクラスタcに対応するマスクベクトルMに従って、ニューラルネットワーク31内の一部のノードを無効化する。一例では、マスキング部12は全結合層を構成する複数のノードの一部を無効化する。
ステップS23では、予測部13がその入力ベクトルを学習済みモデル20に入力し、学習済みモデル20によって得られる予測値を出力する。予測値の出力方法は限定されない。例えば、予測部13は予測値を、モニタ上に表示してもよいし、所定のデータベースに格納してもよいし、他のコンピュータシステムに送信してもよい。あるいは、予測システム1はその予測値を用いてさらなる処理を実行してもよい。
[システムの応用]
上述したように予測システム1は様々な目的で用いられ得る。図9および図10を参照しながら、予測システム1の応用の一例である灌水制御システム2の構成および動作について説明する。図9は灌水制御システム2の利用の一例を示す図である。図10は灌水制御システム2の機能構成を示す図である。
灌水制御システム2は、栽培している植物Sの萎れ具合を予測し、植物Sに対する灌水をその予測に基づいて制御するシステムである。灌水制御システム2は、カメラ3、茎径センサ5、環境センサ7、および灌水制御装置9のそれぞれと、無線あるいは有線の通信ネットワークNを経由して接続される。
カメラ3は植物Sの外観(すなわち、草姿)の画像を所定の周期(例えば、1分間隔、5分間隔、10分間隔など)で取得する撮像装置である。カメラ3の位置、向き、および角度は、植物Sの萎れの変化を検出することができるように設定される。例えば、カメラ3は植物Sの全体の外観を撮影してもよいし、植物Sの上部のみを撮影してもよい。
茎径センサ5は植物Sの茎の径を所定の周期(例えば、1分間隔、5分間隔、10分間隔など)で測定する装置である。茎径センサ5は植物Sの萎れ具合を測定する装置の一例である。茎径センサ5は植物Sの茎に取り付けられてもよい。茎径センサ5の例として、投光器と受光器とを含むレーザラインセンサが挙げられるが、これに限定されない。茎径センサ5から出力される測定データは茎の径の実測値であり、これはトレーニングデータのために用いられる。この実測値は灌水制御システム2での学習フェーズにおける正解に対応し、ニューラルネットワーク31のパラメータの更新などの処理に貢献する。予測フェーズ(運用フェーズ)では茎径センサ5は省略されてよい。
環境センサ7は植物Sの周辺環境を所定の周期(例えば、1分間隔、5分間隔、10分間隔など)で測定する装置である。環境センサ7は植物Sの栽培環境に設置され、例えば、植物Sの周辺に設置される。環境センサ7は、例えば、温度、相対湿度、日射量(明るさ)、散乱光の量(明るさ)、および光合成有効光量子束密度(PPFD)のうちの少なくとも一つを測定してもよい。1台の環境センサ7が複数種類の値を取得してもよいし、複数種類の環境センサ7がそれぞれの値を取得してもよい。
灌水制御装置9は、植物Sへの灌水を制御する装置であり、例えば、灌水のタイミングまたは量を制御する装置である。灌水制御装置9の制御によって水がホースを通って植物Sへと供給される。灌水制御装置9は灌水を実行したか否かを示すデータを出力してもよい。
図10に示すように、灌水制御システム2は機能要素として学習部11、マスキング部12、予測部13、データベース51、特徴算出部52、および灌水制御部53を備える。言い換えると、灌水制御システム2は、予測システム1、データベース51、特徴算出部52、および灌水制御部53を備える。したがって、以下では、灌水制御システム2に特有のデータベース51、特徴算出部52、および灌水制御部53について特に説明する。
データベース51は、カメラ3、茎径センサ5、環境センサ7、および灌水制御装置9から得られたデータを記憶する装置である。このデータは時系列データとして表現することができる。データベース51は、学習フェーズで用いられるトレーニングデータを記憶してもよいし、予測フェーズ(運用フェーズ)で用いられる運用データを記憶してもよい。トレーニングデータの場合には、個々の時点に対応する個々のデータレコードは、カメラ3から得られた画像(草姿画像)と、茎径センサ5から得られた茎の径と、環境センサ7から得られた1以上の値(例えば、温度、湿度、光量など)と、灌水制御装置9から得られた制御情報とを含んでもよい。灌水制御装置9からの制御情報は、灌水を実行したか否かを示す二値で表現されてもよく、例えば、「1」が灌水したことを示し、「0」が灌水しなかったことを示してもよい。運用データの場合には、個々の時点に対応する個々のデータレコードは、カメラ3から得られた画像(草姿画像)と、環境センサ7から得られた1以上の値(例えば、温度、湿度、光量など)と、灌水制御装置9から得られた制御情報とを含み得る。運用フェーズでは灌水制御システム2は萎れ具合を予測するので、運用データは茎の径を含まない。
特徴算出部52は、データベース51の内のデータの少なくとも一部に基づいて少なくとも一部の特徴量を算出する機能要素である。例えば、特徴算出部52は、上述したオプティカルフローを利用する手法を用いて二つの画像から萎れ特徴を算出してもよい。また、特徴算出部52は、飽差を算出してもよいし、茎の径の変化量を算出してもよい。
一例では、特徴算出部52は入力ベクトルを学習部11または予測部13に提供してもよく、図10はそのデータフローの例を示す。あるいは、特徴算出部52はその入力ベクトルをデータベース51に格納し、学習部11または予測部13がデータベース51にアクセスすることでその入力ベクトルを取得してもよい。
灌水制御部53は、予測部13から出力された、植物Sの萎れ具合の予測値に基づいて、植物Sへの灌水を制御する機能要素である。例えば、灌水制御部53は灌水のタイミングおよび量の少なくとも一方を制御するための制御信号をその予測値に基づいて生成し、その制御信号を灌水制御装置9に向けて送信する。灌水制御装置9はその制御信号に基づいて灌水を制御し、これにより、植物Sの水分ストレスが調整される。
植物の水ストレスに応じて灌水を制御する水ストレス栽培は、高糖度の果実を栽培できる技術として知られている。水ストレス栽培は経験を要するが、灌水制御システム2を導入することで、経験の浅い就農者でもその栽培手法を実施することができる。植物の萎れと、水分ストレスの指標である茎径とはいずれも植物内の水の移動に起因するため、両者には相関関係があり、この相関関係は周辺環境の影響を受ける。予測システム1を応用することで、多様な環境に対応する機械学習モデルが構築されるので、様々な周辺環境における萎れ具合を正確に予測することが可能になる。したがって、灌水の制御が向上し、ひいては、高糖度の果実の栽培、収穫量の増大、可販率の向上などの効果が期待できる。
[効果]
以上説明したように、本開示の一側面に係る予測システムは、少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、観察に基づいて算出された対象物の状態に関する1以上の特徴量で表される対象物特徴と、該対象物の周辺環境に関する1以上の特徴量で表される環境特徴との組合せを示す複数の入力ベクトルを取得し、環境特徴の集合をクラスタリングによって複数のクラスタに分割し、複数の入力ベクトルのそれぞれについて機械学習を実行することで、対象物の状態を予測するための機械学習モデルを生成する。機械学習は、入力ベクトルの環境特徴が属するクラスタに基づく処理を実行するステップと、処理が実行された機械学習モデルに入力ベクトルを入力することで対象物の状態の予測値を出力するステップとを含む。
本開示の一側面に係る予測方法は、少なくとも一つのプロセッサを備える予測システムにより実行される。予測方法は、観察に基づいて算出された対象物の状態に関する1以上の特徴量で表される対象物特徴と、該対象物の周辺環境に関する1以上の特徴量で表される環境特徴との組合せを示す複数の入力ベクトルを取得するステップと、環境特徴の集合をクラスタリングによって複数のクラスタに分割するステップと、複数の入力ベクトルのそれぞれについて機械学習を実行することで、対象物の状態を予測するための機械学習モデルを生成するステップとを含む。機械学習は、入力ベクトルの環境特徴が属するクラスタに基づく処理を実行するステップと、処理が実行された機械学習モデルに入力ベクトルを入力することで対象物の状態の予測値を出力するステップとを含む。
本開示の一側面に係る予測プログラムは、観察に基づいて算出された対象物の状態に関する1以上の特徴量で表される対象物特徴と、該対象物の周辺環境に関する1以上の特徴量で表される環境特徴との組合せを示す複数の入力ベクトルを取得するステップと、環境特徴の集合をクラスタリングによって複数のクラスタに分割するステップと、複数の入力ベクトルのそれぞれについて機械学習を実行することで、対象物の状態を予測するための機械学習モデルを生成するステップとをコンピュータに実行させる。機械学習は、入力ベクトルの環境特徴が属するクラスタに基づく処理を実行するステップと、処理が実行された機械学習モデルに入力ベクトルを入力することで対象物の状態の予測値を出力するステップとを含む。
このような側面においては、クラスタに基づく処理によって、多様な周辺環境に応じて動的に変化する機械学習モデルが得られる。この機械学習モデルを用いることで、対象物の状態に影響を及ぼす周辺環境が十分に考慮されるので、対象物の状態を正確に予測することが可能になる。
他の側面に係る予測システムでは、クラスタに基づく処理を実行するステップが、入力ベクトルの環境特徴が属するクラスタに基づいて、機械学習モデルのニューラルネットワークの一部のノードを無効化するマスキングを実行することを含み、予測値を出力するステップが、マスキングが実行された機械学習モデルに入力ベクトルを入力することで予測値を出力するステップを含んでもよい。
このような側面においては、ニューラルネットワークを構成するノードの一部がクラスタ(すなわち、周辺環境の分類)に応じて無効化または有効化されながら機械学習が実行されるので、多様な周辺環境に応じて動的に変化する機械学習モデルが得られる。この機械学習モデルを用いることで、対象物の状態に影響を及ぼす周辺環境が十分に考慮されるので、対象物の状態を正確に予測することが可能になる。
他の側面に係る予測システムでは、少なくとも一つのプロセッサが、複数のクラスタに対応する複数のマスクベクトルを生成してもよい。複数のマスクベクトルのそれぞれは、複数のノードのうちどのノードを無効化するかを示す。マスキングは、入力ベクトルの環境特徴が属するクラスタに対応するマスクベクトルに基づいて実行されてもよい。マスクベクトルを用いることでマスキングを効率的に実行することができる。
他の側面に係る予測システムでは、少なくとも一つのプロセッサが、複数のマスクベクトルの初期値が互いに異なるように、該複数のマスクベクトルの初期値を初期マスクベクトルとして設定し、複数のクラスタのそれぞれについて、該クラスタの初期マスクベクトルと、該クラスタの近傍に位置する1以上のクラスタのそれぞれの初期マスクベクトルとの論理和を、該クラスタのマスクベクトルとして設定してもよい。このような手順でマスクベクトルを設定することで、個々のマスクベクトルが周辺環境の種類に適応するように設定されるので、マスキングを適切に実行することができる。
他の側面に係る予測システムでは、対象物の状態の1以上の特徴量の少なくとも一つが、観察を用いて算出されるオプティカルフローに基づいて設定してもよい。オプティカルフローを利用することで対象物の状態を適切に表現することができ、ひいてはその状態をより正確に予測することができる。
他の側面に係る予測システムでは、観察が、植物が撮影された画像であり、対象物が植物であり、対象物特徴が萎れ特徴であり、機械学習モデルが植物の萎れ具合を予測するためのものであってもよい。この場合には、植物の状態に影響を及ぼす周辺環境が十分に考慮されるので、植物の萎れ具合を正確に予測することが可能になる。
他の側面に係る予測システムでは、環境特徴の1以上の特徴量が、温度、相対湿度、飽差、および散乱光の量のうちの少なくとも一つを含んでもよい。これらのような環境要因を考慮することで、植物の萎れ具合をより正確に予測することができる。
他の側面に係る予測システムでは、複数の入力ベクトルのそれぞれが、萎れ特徴と共通特徴の組合せであるベクトルと、環境特徴と該共通特徴との組合せであるベクトルとを用いて構成されてもよい。共通特徴は萎れ特徴および環境特徴のそれぞれを補足する特徴である。このような共通特徴を導入することで、植物の状態と周辺環境との双方に関係する要因が機械学習において考慮されるので、植物の萎れ具合をより正確に予測することが可能になる。
他の側面に係る予測システムでは、共通特徴の1以上の特徴量が、日の出からの経過時間と、灌水を実施したか否かを示す灌水フラグとのうちの少なくとも一つを含んでもよい。これらの要因を考慮することで、植物の萎れ具合をより正確に予測することができる。
他の側面に係る予測システムでは、マスキングが、ニューラルネットワークの全結合層を構成する複数のノードの一部を無効化することを含んでもよい。全結合層に対するマスキングは比較的容易に実現できるので、マスキングに関する予測システムの処理負荷を抑えることができる。
本開示の一側面に関する灌水制御システムは、上記の予測システムを備える。少なくとも一つのプロセッサは、予測値に基づいて植物への灌水を制御する。このような側面においては、植物の状態に影響を及ぼす周辺環境が十分に考慮されることで植物の萎れ具合を正確に予測でき、したがって、その正確な予測に基づいて灌水を適切に実行することができる。
[効果の例]
フルティカ(Frutica)という品種のトマトの低段密植栽培(low-stage dense planting)において、本開示の予測システムを用いた栽培手法(実施例)と、比較例である日射比例灌水(solar radiation proportional irrigation)とを比較した。実施例および比較例の双方において、それぞれの株を6cm×6cm×6cmのロックウールキューブ(rockwool cube)に植えて温室で栽培した。植物密度は1m当たり148本とした。比較例では、熟練農家が太陽光を照度センサで計測してその照度値に基づいて灌水量を決定および制御した。
トマトの糖度(brix)は、実施例では平均で8.87、最大で16.9であったのに対して、比較例では平均で8.73、最大で15.7であった。平均果実重量は、実施例では20.8gであり、比較例では22.8gであった。販売可能なトマトの割合(言い換えると、割れ、腐れ、変色などの異常がないトマトの割合)を示す可販率は、実施例では0.917であったのに対して、比較例では0.826であった。本開示の予測システムを用いて、栽培の労力を軽減しつつ植物の品質を向上できることが分かった。
[変形例]
以上、本開示での実施形態に基づいて詳細に説明した。しかし、本開示は上記実施形態に限定されるものではない。本開示は、その要旨を逸脱しない範囲で様々な変形が可能である。
予測システムの機能構成は上記実施形態に限定されない。上述したように、予測システムは学習フェーズおよび予測フェーズのいずれか一方を実行しなくてもよいので、学習部11および予測部13のうちのいずれか一方に相当する機能要素を備えなくてもよい。したがって、予測システムは処理フローS1,S2のいずれか一方を実行しなくてもよい。
上記実施形態では予測システム1が萎れ特徴、環境特徴、および共通特徴を処理するが、予測システムはさらに別の特徴を処理してもよい。例えば、予測システムは音声または動画に基づく特徴を含むベクトルを機械学習モデルに入力してもよい。
上記実施形態は、マスキング部12がニューラルネットワーク31の全結合層を構成する複数のノードの一部を無効化する例を示す。しかし、マスキングが適用される層は全結合層に限定されず、マスキング部はニューラルネットワークの任意の層について一部のノードを無効化してもよい。
上記実施形態ではクラスタに基づく処理がマスキングを含むが、該処理はマスキングに限定されず、任意の方針で設計されてよい。
本開示において、「少なくとも一つのプロセッサが、第1の処理を実行し、第2の処理を実行し、…第nの処理を実行する。」との表現、またはこれに対応する表現は、第1の処理から第nの処理までのn個の処理の実行主体(すなわちプロセッサ)が途中で変わる場合を含む概念を示す。すなわち、この表現は、n個の処理のすべてが同じプロセッサで実行される場合と、n個の処理においてプロセッサが任意の方針で変わる場合との双方を含む概念を示す。
少なくとも一つのプロセッサにより実行される方法の処理手順は上記実施形態での例に限定されない。例えば、上述したステップの一部が省略されてもよいし、別の順序で各ステップが実行されてもよい。また、上述したステップのうちの任意の2以上のステップが組み合わされてもよいし、ステップの一部が修正または削除されてもよい。あるいは、上記の各ステップに加えて他のステップが実行されてもよい。
二つの数値の大小関係の比較では、「以上」および「よりも大きい」という二つの基準のどちらが用いられてもよく、「以下」および「未満」という二つの基準のうちのどちらが用いられてもよい。このような基準の選択は、二つの数値の大小関係を比較する処理についての技術的意義を変更するものではない。
1…予測システム、2…灌水制御システム、3…カメラ、5…茎径センサ、7…環境センサ、9…灌水制御装置、11…学習部、12…マスキング部、13…予測部、20…学習済みモデル、30…機械学習モデル、31…ニューラルネットワーク、51…データベース、52…特徴算出部、53…灌水制御部、110…予測プログラム、S…植物。

Claims (10)

  1. 少なくとも一つのプロセッサを備え、
    前記少なくとも一つのプロセッサが、
    観察に基づいて算出された対象物の状態に関する1以上の特徴量で表される対象物特徴と、該対象物の周辺環境に関する1以上の特徴量で表される環境特徴との組合せを示す複数の入力ベクトルを取得し、
    前記環境特徴の集合をクラスタリングによって複数のクラスタに分割し、
    前記複数の入力ベクトルのそれぞれについて機械学習を実行することで、対象物の状態を予測するための機械学習モデルを生成し、
    前記機械学習が、
    前記入力ベクトルの前記環境特徴が属する前記クラスタに基づく処理を実行するステップと、
    前記処理が実行された前記機械学習モデルに前記入力ベクトルを入力することで前記対象物の状態の予測値を出力するステップとを含み、
    前記クラスタに基づく処理を実行する前記ステップが、前記入力ベクトルの前記環境特徴が属する前記クラスタに基づいて、前記機械学習モデルのニューラルネットワークの一部のノードを無効化するマスキングを実行することを含み、
    前記予測値を出力する前記ステップが、前記マスキングが実行された前記機械学習モデルに前記入力ベクトルを入力することで前記予測値を出力するステップを含み、
    前記観察が、植物が撮影された画像であり、
    前記対象物が植物であり、
    前記対象物特徴が萎れ特徴であり、
    前記機械学習モデルが植物の萎れ具合を予測するためのものであり、
    前記環境特徴の1以上の特徴量が、温度、相対湿度、飽差、および散乱光の量のうちの少なくとも一つを含む、
    予測システム。
  2. 前記少なくとも一つのプロセッサが、前記複数のクラスタに対応する複数のマスクベクトルを生成し、ここで、該複数のマスクベクトルのそれぞれが、複数のノードのうちどのノードを無効化するかを示し、
    前記マスキングが、前記入力ベクトルの前記環境特徴が属する前記クラスタに対応する前記マスクベクトルに基づいて実行される、
    請求項に記載の予測システム。
  3. 前記少なくとも一つのプロセッサが、
    前記複数のマスクベクトルの初期値が互いに異なるように、該複数のマスクベクトルの初期値を初期マスクベクトルとして設定し、
    前記複数のクラスタのそれぞれについて、該クラスタの初期マスクベクトルと、該クラスタの近傍に位置する1以上のクラスタのそれぞれの初期マスクベクトルとの論理和を、該クラスタの前記マスクベクトルとして設定する、
    請求項に記載の予測システム。
  4. 前記マスキングが、前記ニューラルネットワークの全結合層を構成する複数のノードの一部を無効化することを含む、
    請求項のいずれか一項に記載の予測システム。
  5. 前記対象物の状態の1以上の特徴量の少なくとも一つが、前記観察を用いて算出されるオプティカルフローに基づいて設定される、
    請求項のいずれか一項に記載の予測システム。
  6. 前記複数の入力ベクトルのそれぞれが、前記萎れ特徴と共通特徴の組合せであるベクトルと、前記環境特徴と該共通特徴との組合せであるベクトルとを用いて構成され、ここで、該共通特徴が前記萎れ特徴および前記環境特徴のそれぞれを補足する特徴である、
    請求項1~5のいずれか一項に記載の予測システム。
  7. 前記共通特徴の1以上の特徴量が、日の出からの経過時間と、灌水を実施したか否かを示す灌水フラグとのうちの少なくとも一つを含む、
    請求項に記載の予測システム。
  8. 請求項のいずれか一項に記載の予測システムを備え、
    前記少なくとも一つのプロセッサが、前記予測値に基づいて前記植物への灌水を制御する、
    灌水制御システム。
  9. 少なくとも一つのプロセッサを備える予測システムにより実行される予測方法であって、
    観察に基づいて算出された対象物の状態に関する1以上の特徴量で表される対象物特徴と、該対象物の周辺環境に関する1以上の特徴量で表される環境特徴との組合せを示す複数の入力ベクトルを取得するステップと、
    前記環境特徴の集合をクラスタリングによって複数のクラスタに分割するステップと、
    前記複数の入力ベクトルのそれぞれについて機械学習を実行することで、対象物の状態を予測するための機械学習モデルを生成するステップと
    を含み、
    前記機械学習が、
    前記入力ベクトルの前記環境特徴が属する前記クラスタに基づく処理を実行するステップと、
    前記処理が実行された前記機械学習モデルに前記入力ベクトルを入力することで前記対象物の状態の予測値を出力するステップと、を含み、
    前記クラスタに基づく処理を実行する前記ステップが、前記入力ベクトルの前記環境特徴が属する前記クラスタに基づいて、前記機械学習モデルのニューラルネットワークの一部のノードを無効化するマスキングを実行することを含み、
    前記予測値を出力する前記ステップが、前記マスキングが実行された前記機械学習モデルに前記入力ベクトルを入力することで前記予測値を出力するステップを含み、
    前記観察が、植物が撮影された画像であり、
    前記対象物が植物であり、
    前記対象物特徴が萎れ特徴であり、
    前記機械学習モデルが植物の萎れ具合を予測するためのものであり、
    前記環境特徴の1以上の特徴量が、温度、相対湿度、飽差、および散乱光の量のうちの少なくとも一つを含む、
    予測方法。
  10. 観察に基づいて算出された対象物の状態に関する1以上の特徴量で表される対象物特徴と、該対象物の周辺環境に関する1以上の特徴量で表される環境特徴との組合せを示す複数の入力ベクトルを取得するステップと、
    前記環境特徴の集合をクラスタリングによって複数のクラスタに分割するステップと、
    前記複数の入力ベクトルのそれぞれについて機械学習を実行することで、対象物の状態を予測するための機械学習モデルを生成するステップと
    をコンピュータに実行させ、
    前記機械学習が、
    前記入力ベクトルの前記環境特徴が属する前記クラスタに基づく処理を実行するステップと、
    前記処理が実行された前記機械学習モデルに前記入力ベクトルを入力することで前記対象物の状態の予測値を出力するステップと、を含み、
    前記クラスタに基づく処理を実行する前記ステップが、前記入力ベクトルの前記環境特徴が属する前記クラスタに基づいて、前記機械学習モデルのニューラルネットワークの一部のノードを無効化するマスキングを実行することを含み、
    前記予測値を出力する前記ステップが、前記マスキングが実行された前記機械学習モデルに前記入力ベクトルを入力することで前記予測値を出力するステップを含み、
    前記観察が、植物が撮影された画像であり、
    前記対象物が植物であり、
    前記対象物特徴が萎れ特徴であり、
    前記機械学習モデルが植物の萎れ具合を予測するためのものであり、
    前記環境特徴の1以上の特徴量が、温度、相対湿度、飽差、および散乱光の量のうちの少なくとも一つを含む、
    予測プログラム。
JP2021516055A 2019-04-25 2020-04-16 予測システム、予測方法、および予測プログラム Active JP7452879B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019084098 2019-04-25
JP2019084098 2019-04-25
PCT/JP2020/016740 WO2020218157A1 (ja) 2019-04-25 2020-04-16 予測システム、予測方法、および予測プログラム

Publications (2)

Publication Number Publication Date
JPWO2020218157A1 JPWO2020218157A1 (ja) 2020-10-29
JP7452879B2 true JP7452879B2 (ja) 2024-03-19

Family

ID=72942648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021516055A Active JP7452879B2 (ja) 2019-04-25 2020-04-16 予測システム、予測方法、および予測プログラム

Country Status (3)

Country Link
US (1) US20220172056A1 (ja)
JP (1) JP7452879B2 (ja)
WO (1) WO2020218157A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7385931B2 (ja) * 2021-03-11 2023-11-24 国立研究開発法人農業・食品産業技術総合研究機構 情報処理装置、情報処理方法、およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018029568A (ja) 2016-08-26 2018-03-01 国立大学法人静岡大学 萎れ具合予測システム及び萎れ具合予測方法
JP2018173914A (ja) 2017-03-31 2018-11-08 綜合警備保障株式会社 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018029568A (ja) 2016-08-26 2018-03-01 国立大学法人静岡大学 萎れ具合予測システム及び萎れ具合予測方法
JP2018173914A (ja) 2017-03-31 2018-11-08 綜合警備保障株式会社 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置

Also Published As

Publication number Publication date
JPWO2020218157A1 (ja) 2020-10-29
WO2020218157A1 (ja) 2020-10-29
US20220172056A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
US20220075344A1 (en) A method of finding a target environment suitable for growth of a plant variety
Punithavathi et al. Computer Vision and Deep Learning-enabled Weed Detection Model for Precision Agriculture.
KR102422346B1 (ko) 스마트팜 시스템 및 그의 동작 방법
Bai et al. Estimation of soybean yield parameters under lodging conditions using RGB information from unmanned aerial vehicles
Mahmud et al. Lychee tree disease classification and prediction using transfer learning
JP7452879B2 (ja) 予測システム、予測方法、および予測プログラム
Zhu et al. Exploring soybean flower and pod variation patterns during reproductive period based on fusion deep learning
KR20230061034A (ko) 작물의 엽록소 함량을 예측하는 기계 학습 모델 학습 방법, 작물의 엽록소 함량 예측 방법 및 식물 생육 시스템
KR20230061863A (ko) 합성곱신경망과 다층 퍼셉트론의 앙상블 모델을 이용한 과실 발달 단계 예측 장치 및 그 방법
US20230359889A1 (en) Machine learning methods and systems for characterizing corn growth efficiency
CN115510991A (zh) 一种基于1dcnn-lstm多源信息融合模型的日光温室蚜虫预警方法
Mahilraj et al. Detection of Tomato leaf diseases using Attention Embedded Hyper-parameter Learning Optimization in CNN
Satoto et al. Rice disease classification based on leaf damage using deep learning
Abhirami et al. OT Based Paddy Crop Disease Identification and Prevention System using Deep Neural Networks and Image Processing
Dayalini et al. Agro-Mate: A Virtual Assister to Maximize Crop Yield in Agriculture Sector
Morelli-Ferreira et al. Comparison of machine learning techniques in cotton yield prediction using satellite remote sensing
US11783578B2 (en) Machine learning methods and systems for variety profile index crop characterization
Dong et al. A PCA-SMO Based Hybrid Classification Model for Predictions in Precision Agriculture
Arora Analysis of Crop Detection and Monitoring Methods.
Mahmud Development of a machine vision system for strawberry powdery mildew disease detection
Jayaweera et al. MangoDB-A TJC Mango Dataset for Deep-Learning-Based on Classification and Detection in Precision Agriculture
Madiwale et al. Predictive Analysis for calculation of crop yield using Datamining and Machine Learning
Okada et al. High-throughput Phenotyping of Soybean Biomass: Conventional Trait Estimation and Novel Latent Feature Extraction Using UAV Remote Sensing and Deep Learning Models
Cespedes Marulanda Wheat Head Classification in 3D Point Clouds for Fusarium Head blight Detection
Jain et al. Enhancing Stress Prediction Models for Rice with Ambient and Field Data in Rabi 2019-20

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240229

R150 Certificate of patent or registration of utility model

Ref document number: 7452879

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150