JP7198474B2

JP7198474B2 - モデリングシステム

Info

Publication number: JP7198474B2
Application number: JP2018109495A
Authority: JP
Inventors: 博史峰野; 瞬柴田; 涼介水野; 豪太中西
Original assignee: Shizuoka University NUC
Current assignee: Shizuoka University NUC
Priority date: 2018-06-07
Filing date: 2018-06-07
Publication date: 2023-01-04
Anticipated expiration: 2038-06-07
Also published as: JP2019212159A

Description

本発明は、現象の時間的変化をモデリングするモデリングシステムに関する。

近年、様々な現象の時間的変化をモデル化する技術が浸透し始めている。下記特許文献１には、電力系統の状態量を推定する装置が開示され、この装置は、電力量の出現分布情報を受信する電力系統計測部、電力系統の状態推定を非線形カルマンフィルタを用いて計算するシミュレータ部、電力系統の計測データとシミュレータデータとを用いて確率的に尤もらしい状態値を算出する最尤状態算出部、及び、計測データとシミュレータデータとの差が小さくなるようにシミュレータ部のパラメータを逐次修正するパラメータ補正部からなる。

国際公開２０１５／０７９５５４号公報

上述した従来の装置では、モデリング対象の現象に関する実測値が時間的に連続して得られず欠損値が生じやすい場合に、シミュレータ部のパラメータを予め適切に設定しておくことが困難な傾向にある。そのため、実測値に欠損値が生じやすい場合にモデリングの精度が低下する傾向にあった。

本発明の一側面は、上記課題に鑑みて為されたものであり、モデリング対象の現象に関する実測値に欠損値が生じやすい場合であっても、モデリングの精度を維持することが可能なモデリングシステムを提供することを目的とする。

上記課題を解決するため、本発明の一形態にかかるモデリングシステムは、複数の連続した時刻における直接観測できない変数である潜在変数を、直前の時刻の潜在変数から、非線形関数を用いて順次導出する第１の導出部と、複数の連続した時刻における直接観測できる変数である第１の観測変数を、同一の時刻の潜在変数から、非線形関数を用いて順次導出する第２の導出部と、複数の連続した時刻における直接観測できる変数である第２の観測変数を、同一の時刻の潜在変数から、非線形関数を用いて順次導出する第３の導出部と、を備える。

上記形態のモデリングシステムによれば、潜在変数の時間的な変化と、その変化に基づいた第１及び第２の観測変数の時間的な変化をモデリングすることにより、特定の現象における観測値のシミュレーションに利用することができる。特に、２つの観測変数を含んでモデリングされているので、２つの観測変数のうちの片方の観測変数の実測値が欠損しやすい状況下であっても、もう片方の実測値を用いてモデルのパラメータを推定できる。その結果、モデリングの精度を維持することができる。

ここで、前記第１の導出部は、外部から与えられた外部変数をさらに用いて前記潜在変数を順次導出してもよく、第２の導出部は、外部から与えられた外部変数をさらに用いて前記第１の観測変数を順次導出してもよく、前記第３の導出部は、外部から与えられた外部変数をさらに用いて前記第２の観測変数を順次導出してもよい。こうすれば、外部の環境を考慮に入れてモデリングの精度をより高めることができる。

また、潜在変数、第１の観測変数、及び第２の観測変数を、確率分布として導出する、こととしてもよく、特に、正規分布として導出してもよい。かかる構成を備えれば、生物の連続的な状態等の自然現象を適切にモデリングすることができる。

また、潜在変数、第１の観測変数、及び第２の観測変数を、確率分布として導出する、こととしてもよく、特に、離散分布として導出してもよい。かかる構成を備えれば、生物の離散的な状態等の自然現象を適切にモデリングすることができる。

また、非線形関数は、ニューラルネットワークを含んでいてもよく、任意の非線形関数を選択してもよい。この場合、この場合、生物成長等の非線形な現象を適切にモデリングすることができる。

また、非線形関数のパラメータを、第１の観測変数の実測値あるいは第２の観測変数の実測値を用いた機械学習により、予め最適化する学習部をさらに備える、こととしてもよい。かかる構成を採れば、第１及び第２の実測値の実測値を用いてモデルに利用される非線形関数のパラメータを最適化することができる。特に、２つの観測変数のうちの片方の観測変数の実測値が欠損しやすい状況下であっても、もう片方の実測値を用いてパラメータを効率的に最適化することができる。

また、学習部は、第１の観測変数の実測値及び第２の観測変数の実測値を基にして、非線形関数に関するＥＬＢＯ値を計算し、ＥＬＢＯ値を目的関数とした機械学習によりパラメータを最適化する、こととしてもよい。

また、学習部は、第２の観測変数の実測値が存在する時刻と第２の観測変数の実測値が存在しない時刻とで異なる演算式を用いてＥＬＢＯ値を計算し、複数の時刻で合計したＥＬＢＯ値を目的関数として用いる、こととしてもよい。これにより、２つの観測変数のうちの片方の観測変数の実測値が欠損しやすい状況下であっても、もう片方の実測値を用いてパラメータを効率的に最適化することができる。

本発明によれば、モデリング対象の現象に関する実測値に欠損値が生じやすい場合であっても、モデリングの精度を維持することができる。

実施形態にかかるモデリングシステムの概略構成を示す図である。図１のモデリングシステムを構成するコンピュータのハードウェア構成を示す図である。図１の予測値生成器７が用いる学習モデルのデータ系列の生成過程を説明する概念図である。図１の予測値生成器７が用いる学習モデルにおける各変数の設定内容の例を示す図表である。図１の予測値生成器７が用いる学習モデルのデータ系列の生成過程の他の例を説明する概念図である。図１の予測値生成器７が用いる学習モデルのデータ系列の生成過程の他の例を説明する概念図である。本実施形態おける算出糖度の誤差の評価値ＭＡＥ、ＲＭＳＥ、ＲＡＥ、ＲＳＥを示すグラフである。本実施形態おける算出糖度の時間変化を示すグラフである。本実施形態おける算出糖度の時間変化を示すグラフである。本実施形態おける算出糖度の時間変化を示すグラフである。

以下、図面を参照しつつ本発明に係るモデリングシステムの好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。

まず、図１～３を用いて、本発明の一実施形態にかかるモデリングシステム１の機能および構成を説明する。図１に示すモデリングシステム１は、事前に様々な現象を取り巻く環境をモデル化し、それによって生成された学習モデルを用いて現象の時間変化を探索するコンピュータシステムである。より具体的には、学習モデルを基に現象の時間変化を高精度に推定するモデリングシステムである。モデリングシステム１の探索対象の現象としては、例えば、トマト等の植物の生育状態とし、栽培環境および生育状態に関する観測値を訓練データとして用いて事前に学習モデルを最適化し、その学習モデルを用いて現在の生育状態を推定し定量化できる。

なお、モデリングシステム１の探索対象の現象としては、トマト等の植物の生育状態が挙げられるが、これには限定されない。例えば、モデリングシステム１は、動物または食品等のその他の有体物の状態、天候、病気、または漁獲等の自然現象の状態、通信ネットワーク、交通、ライフライン、株価、または需給等の社会現象の状態を探索対象としてもよい。また、本明細書でいう「系列」とは、複数の時点における現象の様々な観測値あるいは予測値を示す数値の系列であり、ある規則に基づいて複数の時点において観測することにより得られる数値の系列、学習モデルに従ったある計算式によって複数の時点に関して計算された数値の系列である。

図１に示すように、モデリングシステム１は、入力部３、学習部５、及び予測値生成器７を含んで構成されている。本実施形態では、モデリングシステム１は１つの装置によって構成されているが、データ送受信機能を有する複数の装置によって構成されていてもよい。

モデリングシステム１を構成するコンピュータ１００の一般的なハードウェア構成を図２に示す。コンピュータ１００は、オペレーティングシステムやアプリケーション・プログラムなどを実行する演算装置であるＣＰＵ（プロセッサ）１０１と、ＲＯＭ及びＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイやプリンタなどの出力装置１０６とを備える。当然ながら、搭載されるハードウェアモジュールはコンピュータ１００の種類により異なる。例えば、据置型のＰＣおよびワークステーションは入力装置および出力装置としてキーボード、マウス、およびディスプレイを備えることが多いが、スマートフォンではタッチパネルが入力装置および出力装置として機能することが多い。また、ＣＰＵ１０１にＧＰＵが付加されていてもよい。

後述するモデリングシステム１の各機能要素は、ＣＰＵ１０１または主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２または補助記憶部１０３内に格納される。

図１に戻って、入力部３は、学習モデルのモデル化（以下、単に「モデル化」ともいう。）のために用いられる訓練データ系列、及び、モデル化した学習モデルに従って現象の時間変化を探索する処理（以下、単に「探索処理」ともいう。）において用いられる外部変数データ系列を外部から受け付ける。例えば、モデリングシステム１が対象とする現象が植物の生育状態である場合には、訓練データ系列に含まれる観測値（実測値）として、糖度、茎径、温度、光量、飽差、開花後の経過日数、灌水後の経過時間、積算温度、二酸化炭素濃度等が挙げられる。また、外部変数データ系列に含まれる数値として、温度、光量、飽差、開花後の経過日数、灌水後の経過時間、積算温度、二酸化炭素濃度、対象花房等が想定される。入力部３は、訓練データ系列を、温度センサ、光センサ、カメラ等の外部センサ装置からの信号を基に生成したデータ系列として受け付けてもよいし、他のコンピュータシステム等の外部装置を介して受け付けてもよい。入力部３は、外部変数データ系列を、ユーザ入力に基づいて受け付けてもよいし、内部のプログラム等によって生成されたものとして受け付けてもよいし、他のコンピュータシステム等の外部装置から受け付けてもよい。

学習部５は、入力部３によって受け付けられた訓練データ系列を用いて予測値生成器７に対応する学習モデルのパラメータを予め最適化する。学習部５による学習モデルのパラメータの最適化の処理の詳細は後述する。

予測値生成器７は、学習部５によってパラメータが最適化された学習モデルを用いて探索処理を実行する機能部分である。予測値生成器７は、入力部３によって受け付けられた外部変数データ系列を用いて探索処理を実行し、適切な生育状態（例えば、経時糖度等）を推定し定量化して出力する。

ここで、予測値生成器７が用いる学習モデルにおいてデータ系列を生成する過程を説明する。図３は、予測値生成器７が用いる学習モデルにおけるデータ系列の生成過程を説明する概念図である。このように、この学習モデルは、状態空間モデル（ＳＳＭ：State Space Model）をベースとしており、直接観測できない状態モデルと状態モデルから生成される観測モデルの２系列のデータ系列を有する。状態モデルは、時刻ｔの潜在変数ｚ_ｔと、その１つ前の時刻ｔ－１の潜在変数ｚ_ｔ－１と、その１つ後の時刻ｔ＋１の潜在変数ｚ_ｔ＋１とを含み、時刻ｔの潜在変数ｚ_ｔは前の潜在変数ｚ_ｔ－１と、ｚ_ｔと同じ時刻の外部変数ｕ_ｔを基に生成され、それ以降の潜在変数ｚ_ｔ＋１は同様にして順次生成される。この潜在変数ｚ_ｔは、直接観測できない現象に関する数値であり、例えば、植物の状態を示す。観測モデルは、時刻ｔの２つの直接観測できる変数である観測変数ｘ_ｔ，ｙ_ｔと、その１つ前の時刻ｔ－１の観測変数ｘ_ｔ－１，ｙ_ｔ－１と、その１つ後の時刻ｔ＋１の観測変数ｘ_ｔ＋１，ｙ_ｔ＋１とを含む。時刻ｔの観測変数ｙ_ｔは潜在変数ｚ_ｔと、同じ時刻ｔの外部変数ｒ_ｔを基に生成され、それ以降の観測変数ｙ_ｔ＋１は同様にして順次生成される。時刻ｔの観測変数ｘ_ｔは潜在変数ｚ_ｔと、同じ時刻ｔの外部変数ｓ_ｔを基に生成され、それ以降の観測変数ｘ_ｔ＋１は同様にして順次生成される。すなわち、観測変数ｙ_ｔと観測変数ｘ_ｔとは同じ潜在変数ｚ_ｔを基に生成される。外部変数ｕ_ｔ，ｒ_ｔ，ｓ_ｔは、それぞれ、潜在変数ｚ_ｔ、観測変数ｙ_ｔ、観測変数ｘ_ｔに作用する変数である。このように、この学習モデルにおいては、各変数ｚ_ｔ，ｙ_ｔ，ｘ_ｔで異なる外部変数を持つことにより、モデル化時に各変数の生成過程に適したデータを設定することで適切に現象の予測を行うことが可能となる。

学習モデルの対象を植物の状態とする場合には、各変数には、図４に示すような数値が設定される。潜在変数ｚ_ｔには植物の状態が設定され、観測変数ｘ_ｔ，ｙ_ｔにはそれぞれ、植物の糖度、および植物の茎径が設定される。この観測変数ｘ_ｔとしては、モデル化を行う際に系列のデータを連続して得ることが不可能である、あるいは、系列のデータを連続して得るためのコストが高い数値が設定され、この観測変数ｙ_ｔとしては、モデル化を行う際に系列のデータを連続して得ることが可能である、あるいは、系列のデータを連続して得るためのコストが低い数値が設定される。また、外部変数ｕ_ｔとしては、温度、光量、飽差、開花後の経過日数、及び積算温度等が設定され、外部変数ｒ_ｔ，ｓ_ｔとしては、ＣＯ２濃度、光量、対象花房（第一花房であるか第二花房であるか）等が設定される。

図１に戻って、予測値生成器７は、探索処理を実行する第１導出部７ａ、第２導出部７ｂ、及び第３導出部７ｃを有している。第１導出部７ａは、上記の学習モデルを前提にして、連続したそれぞれの時刻ｔの潜在変数ｚ_ｔを、外部から与えられた時刻ｔの外部変数ｕ_ｔと、直前の時刻ｔ－１の潜在変数ｚ_ｔ－１とから、非線形関数を用いて順次導出する。例えば、非線形関数としてはＤＮＮ（Deep Neural Network）を用いて最適化された非線形関数を用いる。ここでは、下記式（１）；

によって表現されるマルコフ性を仮定した生成過程、すなわち、パラメータθによって表現された、潜在変数ｚ_ｔ－１及び外部変数ｕ_ｔから平均μ_ｚ及び標準偏差σ_ｚの正規分布（確率分布）Ｎ（ｚ）を生成する生成過程Ｐ_θが想定される。より詳細には、第１導出部７ａは、下記式（２）；

を用いて、潜在変数ｚ_ｔを、平均μ_ｚ及び標準偏差σ_ｚの正規分布として導出する。上記式（２）中、ＮＮ_ｚは、ＤＮＮを用いて表現された非線形関数である。

第２導出部７ｂは、上記の学習モデルを前提にして、連続したそれぞれの時刻ｔの観測変数ｘ_ｔを、外部から与えられた時刻ｔの外部変数ｓ_ｔと、時刻ｔの潜在変数ｚ_ｔとから、非線形関数を用いて順次導出する。例えば、非線形関数としてはＤＮＮを用いて最適化された非線形関数を用いる。ここでは、下記式（３）；

によって表現されるマルコフ性を仮定した生成過程、すなわち、パラメータθによって表現された、潜在変数ｚ_ｔ及び外部変数ｓ_ｔから平均μ_ｘ及び標準偏差σ_ｘの正規分布（確率分布）Ｎ（ｘ）を生成する生成過程Ｐ_θが想定される。より詳細には、第２導出部７ｂは、下記式（４）；

を用いて、観測変数ｘ_ｔを、平均μ_ｘ及び標準偏差σ_ｘの正規分布として導出する。上記式（４）中、ＮＮ_ｘは、ＤＮＮを用いて表現された非線形関数である。

第３導出部７ｃは、上記の学習モデルを前提にして、連続したそれぞれの時刻ｔの観測変数ｙ_ｔを、外部から与えられた時刻ｔの外部変数ｒ_ｔと、時刻ｔの潜在変数ｚ_ｔとから、非線形関数を用いて順次導出する。例えば、非線形関数としてはＤＮＮを用いて最適化された非線形関数を用いる。ここでは、下記式（５）；

によって表現されるマルコフ性を仮定した生成過程、すなわち、パラメータθによって表現された、潜在変数ｚ_ｔ及び外部変数ｒ_ｔから平均μ_ｙ及び標準偏差σ_ｙの正規分布（確率分布）Ｎ（ｙ）を生成する生成過程Ｐ_θが想定される。より詳細には、第３導出部７ｃは、下記式（６）；

を用いて、観測変数ｙ_ｔを、平均μ_ｙ及び標準偏差σ_ｙの正規分布として導出する。上記式（６）中、ＮＮ_ｙは、ＤＮＮを用いて表現された非線形関数である。

本実施形態のモデリングシステム１では、予測値生成器７によって様々な外部変数データ系列を用いた探索処理が実行され適切な生育状態をモデル化する。そのモデルを用いてモデルベース強化学習システムを構築すれば、目標の生育状態となるように最適な制御内容（例えば、灌水のタイミング等）を獲得することができる。

次に、学習部５による機械学習によるモデル化の処理の詳細について説明する。

学習部５は、入力部３によって受け付けられた訓練データ系列を用いて、ＤＮＮで表現された非線形関数ＮＮ_ｚ，ＮＮ_ｘ，ＮＮ_ｙのパラメータを最適化する。モデル化に用いられる訓練データ系列は、各時刻ｔ_１～ｔ_ｍ（ｍは自然数）において欠損値が含まれない外部変数ｕ_ｔ，ｓ_ｔ，ｒ_ｔ及び観測変数ｘ_ｔ，ｙ_ｔのラベルデータ系列Ｄ_ｌと、各時刻ｔ_１～ｔ_ｎ（ｎは自然数）において観測変数ｘ_ｔが欠損している外部変数ｕ_ｔ，ｓ_ｔ，ｒ_ｔ及び観測変数ｙ_ｔのアンラベルデータ系列Ｄ_ｕとを含んでいる。そして、学習部５は、ラベルデータ系列Ｄ_ｌとアンラベルデータ系列Ｄ_ｕとのそれぞれを対象に、変分ベイズ法の枠組みを勾配法で解く最適化手法（「Kingma, D.P., & Welling, M. : Auto-Encoding Variational Bayes, arXiv preprint, arXiv: 1312.6114(2013)」を参照）を用いて非線形関数ＮＮ_ｚ，ＮＮ_ｘ，ＮＮ_ｙのパラメータを最適化する。

詳細には、学習部５は、ラベルデータ系列Ｄ_ｌに対し近似事後分布を用い、パラメータθ，φを最適化するＥＬＢＯ（Evidence Lower Bound）値をデータの周辺尤度から、下記式（７）を用いて計算する。

上記（７）中、ｌｏｇｐ_θ（ｙ_ｔ｜ｚ_ｔ）は、訓練データ系列の観測変数ｙ_ｔに関する潜在変数ｚ_ｔの対数尤度であり、ｌｏｇｐ_θ（ｘ_ｔ｜ｙ_ｔ，ｚ_ｔ）は、訓練データ系列の観測変数ｘ_ｔに関する潜在変数ｚ_ｔの対数尤度であり、時刻ｔのｑ_φ（ｚ_ｔ）は、１つ前の時刻ｔ－１の潜在変数ｚ_ｔ－１と、同じ時刻ｔの観測変数ｘ_ｔ，ｙ_ｔから潜在変数ｚ_ｔを導き出すパラメータφを有する認識モデル（近似事後確率分布）の式である。また、Ｄ_ＫＬ（Ａ||Ｂ）は、ＡとＢとの間のＫｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ情報量を示し、右辺の第１項及び第３項はそれぞれ、観測変数ｘ_ｔに関する潜在変数ｚ_ｔの対数尤度の期待値と観測変数ｙ_ｔに関する潜在変数ｚ_ｔの対数尤度の期待値との和、及び潜在変数ｚ_ｔの近似事後確率分布と潜在変数ｚ_ｔの事前確率分布との近似度を示すＫｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ情報量の期待値を示している。

加えて、学習部５は、アンラベルデータ系列Ｄ_ｕに対し近似事後分布を用い、パラメータθ，φを最適化するＥＬＢＯ値を、上記式（７）とは異なる下記式（８）を用いて計算する。

上記（８）中、ｑ_φ（ｘ_ｔ｜ｙ_ｔ）は、時刻ｔの観測変数ｙ_ｔから同じ時刻ｔの観測変数ｘ_ｔを導き出すパラメータφを有する認識モデル（近似事後確率分布）の式であり、Ｈ（Ａ）は、Ａのエントロピーを示す。つまり、ＥＬＢＯ値Ｌ^ｕは、観測変数ｙ_ｔから導き出される観測変数ｘ_ｔの近似事後確率分布におけるＥＬＢＯ値Ｌ^ｌの期待値と近似事後確率分布ｑ_φ（ｘ_ｔ｜ｙ_ｔ）の期待値の和を示している。

さらに、学習部５は、ラベルデータ系列Ｄ_ｌに対し計算したＥＬＢＯ値Ｌ^ｌと、アンラベルデータ系列Ｄ_ｕに対し計算したＥＬＢＯ値Ｌ^ｕとを加算することにより、下記式（９）；

を用いて目的関数Ｊを計算する。上記式（９）中、右辺の第３項は観測変数ｘ_ｔの周辺尤度の期待値である。そして、学習部５は、目的関数Ｊを最大化するように学習モデルのパラメータθ，φの最適化することによってモデル化の処理を実行する。なお、ＥＬＢＯ値Ｌ^ｌ，Ｌ^ｕがパラメータθ，φに関して微分可能なため、目的関数もパラメータθ，φに関して微分可能である。学習部５は、逆伝搬を介した確率的勾配降下法（Stochastic Gradient Descent）によってパラメータθ，φを最適化することができる。

以上説明した実施形態に係るモデリングシステム１によれば、外部変数ｕ_ｔに基づいた潜在変数ｚ_ｔの時間的な変化と、その変化に基づいた観測変数ｘ_ｔ，ｙ_ｔの時間的な変化をモデリングすることにより、特定の現象における観測値ｘ_ｔ，ｙ_ｔのシミュレーションに利用することができる。特に、２つの観測変数ｘ_ｔ，ｙ_ｔを含んでモデリングされているので、２つの観測変数ｘ_ｔ，ｙ_ｔのうちの片方の観測変数ｘ_ｔの実測値が欠損しやすい状況下であっても、もう片方の実測値ｙ_ｔを用いて学習モデルのパラメータを機械学習によって推定できる。その結果、モデリングの精度を維持することができる。

本実施形態では、潜在変数ｚ_ｔ、観測変数ｘ_ｔ，ｙ_ｔを正規分布として導出している。このようにすれば、生物の連続的な状態等の自然現象を適切にモデリングすることができる。

また、学習モデルで用いられる非線形関数はニューラルネットワークを含んで表現されているので、生物成長等の非線形な現象を適切にモデリングすることができる。

また、モデリングシステム１には、非線形関数のパラメータθを、観測変数ｘ_ｔ，ｙ_ｔの実測値を用いた機械学習により、予め最適化する学習部５を備えている。このような構成により、２つの観測変数ｘ_ｔ，ｙ_ｔのうちの片方の観測変数ｘ_ｔの実測値が欠損しやすい状況下であっても、もう片方の実測値ｙ_ｔを用いてパラメータθを効率的に最適化することができる。

さらに、学習部５は、観測変数ｘ_ｔの実測値が存在する時刻に対応するラベルデータ系列Ｄ_ｌと観測変数ｘ_ｔの実測値が存在しない時刻に対応するアンラベルデータ系列Ｄ_ｕとで異なる演算式を用いてＥＬＢＯ値Ｌ^ｌ，Ｌ^ｕを計算し、それらを合計した値を目的関数として用いている。これにより、２つの観測変数ｘ_ｔ，ｙ_ｔのうちの片方の観測変数ｘ_ｔの実測値が欠損しやすい状況下であっても、もう片方の実測値ｙ_ｔを用いてパラメータθを効率的に最適化することができる。

なお、本発明は、上述した実施形態の態様に限定されるものではない。

例えば、モデリングシステム１の予測値生成器７が用いる学習モデルは、様々なデータ系列の生成過程を反映したものが採用可能である。

上記実施形態のモデリングシステム１は、図５に示すような生成過程を有する学習モデルに対応したモデル化処理及び探索処理を実行してもよい。図５に示す生成過程は、図３に示す生成過程と比較して、状態モデルにおいて、潜在変数ｄ_ｔを離散分布として導出する点が異なる。モデリングシステム１は、上述した実施形態と同様にして、学習部５がモデル化処理を実行し、予測値生成器７が探索処理を実行することができる。このような学習モデルに対応した処理を実行することで、生物の離散的な状態（例えば、生育段階）等の自然現象を適切にモデリングすることができる。

また、上記実施形態のモデリングシステム１は、図６に示すような生成過程を有する学習モデルに対応したモデル化処理及び探索処理を実行してもよい。図５に示す生成過程は、図３に示す生成過程と比較して、さらにもう１つの状態モデルが追加され、追加された状態モデルにおいて、潜在変数ｄ_ｔを離散分布として導出する点が異なる。追加された状態モデルでは、時刻ｔにおける潜在変数ｄ_ｔが、同じ時刻ｔにおける外部変数ｖ_ｔと、１つ前の時刻ｔ－１の潜在変数ｄ_ｔ－１に基づいて生成される。また、観測モデルにおいては、時刻ｔの観測変数ｘ_ｔ，ｙ_ｔが、それぞれ、同じ時刻ｔの潜在変数ｚ_ｔに加えて、同じ時刻ｔの潜在変数ｄ_ｔに基づいて生成される。モデリングシステム１は、上述した実施形態と同様にして、学習部５がモデル化処理を実行し、予測値生成器７が探索処理を実行することができる。このような学習モデルに対応した処理を実行することで、生物の離散的な状態（例えば、生育段階）と連続的な状態（例えば、水分状態）等を組み合わせた自然現象を適切にモデリングすることができる。

また、上記実施形態のモデリングシステム１においては、第１導出部７ａが、外部変数ｕ_ｔを用いないで、潜在変数ｚ_ｔ－１のみから、潜在変数ｚ_ｔを導出してもよいし、第２導出部７ｂが、外部変数ｓ_ｔを用いないで、潜在変数ｚ_ｔのみから、潜在変数ｘ_ｔを導出してもよいし、第３導出部７ｃが、外部変数ｒ_ｔを用いないで、潜在変数ｚ_ｔのみから、潜在変数ｙ_ｔを導出してもよい。同様に、図５あるいは図７に示す生成過程に対応する学習モデルが採用された場合も、いずれかあるいは全ての外部変数を用いないで各変数が導出されてもよい。

以下、本実施形態に係るモデリングシステム１における観測変数の推定精度について評価する。ここでは、図３に対応する学習モデルを欠損値の無いラベルデータ系列Ｄ_ｌを用いてモデル化した場合（以下、「Ｃｏｎｔ－Ｓ」と示す。）、図３に対応する学習モデルを欠損値のあるアンラベルデータ系列Ｄ_ｕを用いてモデル化した場合（以下、「Ｃｏｎｔ－ＳＳ」と示す。）、図５に対応する学習モデルを欠損値の無いラベルデータ系列Ｄ_ｌを用いてモデル化した場合（以下、「Ｄｉｓｃ－Ｓ」と示す。）、図５に対応する学習モデルを欠損値のあるアンラベルデータ系列Ｄ_ｕを用いてモデル化した場合（以下、「Ｄｉｓｃ－ＳＳ」と示す。）、図６に対応する学習モデルを欠損値の無いラベルデータ系列Ｄ_ｌを用いてモデル化した場合（以下、「２Ｌ－Ｓ」と示す。）、及び、図６に対応する学習モデルを欠損値のあるアンラベルデータ系列Ｄ_ｕを用いてモデル化した場合（以下、「２Ｌ－ＳＳ」と示す。）の評価結果を示した。

図７には、それぞれの場合での算出糖度の誤差の評価値ＭＡＥ（Mean Absolute Error）、ＲＭＳＥ（Root Mean Square Error）、ＲＡＥ（Relative Absolute Error）、ＲＳＥ（Relative Square Error）を示している。このように、欠損値のあるデータ系列も用いてモデル化したＣｏｎｔ－ＳＳの場合は、欠損値の無いデータ系列のみを用いてモデル化したＣｏｎｔ－Ｓに比較して、ＭＡＥが４１％、ＲＭＳＥが４６％低下した。また、その他の生成過程を有する学習モデルについても、同様に、欠損値のあるデータ系列も用いてモデル化した場合のほうが、精度が向上していることが評価された。特に、Ｃｏｎｔ－ＳＳ、ＤｉｓｃＳＳ、及び２Ｌ－ＳＳの全てにおいて、ＲＡＥ及びＲＳＥが１未満となっており高精度が実現できている。

図８～１０には、それぞれの場合での算出された糖度平均値の時間変化を糖度の実測値と比較して示している。これらの結果から、欠損値のあるデータ系列も用いてモデル化したＣｏｎｔ－ＳＳ、Ｄｉｓｃ－ＳＳ、及び２Ｌ－ＳＳの場合は、欠損値の無いデータ系列のみを用いてモデル化したＣｏｎｔ－Ｓ、Ｄｉｓｃ－Ｓ、及び２Ｌ－Ｓに比較して、糖度の時間変化に追随できていることが分かった。このように、観測変数に欠損値が生じても相補的なモデル化処理によって潜在空間を適切に表現できており、少量の訓練データによっても高い表現力が維持された学習モデルをモデル化できていることが分かった。

１…モデリングシステム、３…入力部、５…学習部、７…予測値生成器、７ａ…第１導出部、７ｂ…第２導出部、７ｃ…第３導出部、ｄ_ｔ，ｚ_ｔ…潜在変数、ｒ_ｔ，ｓ_ｔ，ｕ_ｔ，ｖ_ｔ…外部変数、ｘ_ｔ，ｙ_ｔ…観測変数。

Claims

複数の連続した時刻における直接観測できない変数である潜在変数を、直前の時刻の前記潜在変数から、第１の非線形関数を用いて順次導出する第１の導出部と、
前記複数の連続した時刻における直接観測できる変数である第１の観測変数を、同一の時刻の前記潜在変数から、第２の非線形関数を用いて順次導出する第２の導出部と、
前記複数の連続した時刻における直接観測できる変数である第２の観測変数を、同一の時刻の前記潜在変数から、第３の非線形関数を用いて順次導出する第３の導出部と、
を備え、
前記第１の非線形関数、前記第２の非線形関数、及び前記第３の非線形関数は、それぞれ、同一のパラメータによって表現された生成過程であり、
前記同一のパラメータを、前記第１の観測変数の実測値及び前記第２の観測変数の実測値を用いた機械学習により、予め最適化し、前記第１の非線形関数、前記第２の非線形関数、及び前記第３の非線形関数を最適化する学習部をさらに備える、
モデリングシステム。
前記第１の導出部は、外部から与えられた外部変数をさらに用いて前記潜在変数を順次導出する、
請求項１記載のモデリングシステム。
前記第２の導出部は、外部から与えられた外部変数をさらに用いて前記第１の観測変数を順次導出し、
前記第３の導出部は、外部から与えられた外部変数をさらに用いて前記第２の観測変数を順次導出する、
請求項１又は２に記載のモデリングシステム。
前記潜在変数、前記第１の観測変数、及び前記第２の観測変数を、確率分布として導出する、
請求項１～３のいずれか１項に記載のモデリングシステム。
前記潜在変数、前記第１の観測変数、及び前記第２の観測変数を、正規分布として導出する、
請求項４記載のモデリングシステム。
前記潜在変数、前記第１の観測変数、及び前記第２の観測変数を、離散分布として導出する、
請求項４記載のモデリングシステム。
前記第１～第３の非線形関数は、ニューラルネットワークを含んでいる、
請求項１～６のいずれか１項に記載のモデリングシステム。
前記学習部は、前記第１の観測変数の実測値及び前記第２の観測変数の実測値を基にして、前記第１～第３の非線形関数に関するＥＬＢＯ値を計算し、前記ＥＬＢＯ値を目的関数とした機械学習により前記パラメータを最適化する、
請求項１～７のいずれか１項に記載のモデリングシステム。
前記学習部は、前記第２の観測変数の実測値が存在する時刻と前記第２の観測変数の実測値が存在しない時刻とで異なる演算式を用いて前記ＥＬＢＯ値を計算し、複数の時刻で合計した前記ＥＬＢＯ値を前記目的関数として用いる、
請求項８に記載のモデリングシステム。