JP7023213B2 - 学習管理システムおよび学習管理方法 - Google Patents

Description

本発明は、学習管理システムおよび学習管理方法に関するものである。

近年、サプライチェーンシステム、エネルギー供給網システム、交通システム、金融システム等、多様なサブシステムから構成され、それらが絡み合った社会システムの複雑性は日々増大している。

各サブシステムは、状況（サブシステムからの入力である状態や制約）に応じて、成果目標（サブシステムの性能を示す判断指標）を最大化するために、行動（サブシステムからの出力）を時々刻々と決定することが求められる。サブシステムが置かれる状況は常に変化していくため、あらゆる状況を人間が予測して、各サブシステムの最適な行動を、サブシステムの制御方法としてプログラミングするには限界がある。

そこで、シミュレーションやデータを活用して、こうしたサブシステムの最適な行動を予測したり、サブシステムの制御方法のパラメータを決定したりする技術が注目されている。例えば、特許文献１では、複数の工場の製品について、工場単位のシミュレーションとサプライチェーン全体のシミュレーションと繰り返すことで、サプライチェーン効率化を行う技術が提案されている。また、特許文献２では、気象予報データと、および電力需要量及び熱需要量の過去実績データから、複数の施設の電力需要量及び熱需要量を同時に予測できるエネルギー管理システムが提案されている。

特開２０１１－６５２２４号公報 特開２０１５－１０６３１６号公報

特許文献１に開示されている技術は、シミュレーションによる技術であるため、サプライチェーンのように、流通する商品の種類が膨大となり、また流通する商品に対する顧客需要の変化も激しい場合には、あり得るパターンを網羅したシミュレータを具現化することが困難であるという問題がある。

また、特許文献２のように、実績データを用いて予測を行う場合、過去の実績データから外れた状況では、全く予測が当てにならないという問題がある。

本発明の目的は、シミュレータとして具現化できず、かつ、過去の実績データに対する変化が大きい複雑系システムにおいて、サブシステムの制御方法のパラメータを適切に決定できる学習管理システムおよび学習管理方法を提供することを目的とする。

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

本発明の代表的な実施の形態による所定の制御対象の挙動を学習する学習管理システムであって、制御対象の過去実績データを蓄積する実績データ記憶部と、制御対象の挙動に関するデータから施策提案データを出力する第一相関モデルを記憶する第一モデル記憶部と、制御対象の挙動を模擬した模擬状態データと、施策提案データとから施策データを出力する第二相関モデルを記憶する第二モデル記憶部と、模擬状態データと、施策提案データと、施策データとから施策評価値を出力する第三相関モデルを記憶する第三モデル記憶部と、所定の評価値と、実績データ記憶部により記憶されている過去実績データとに基づいて、制御対象の挙動に関するデータと施策提案データとの相関を算出することで、第一相関モデルのパラメータを決定する第一実績学習部と、制御対象の挙動を模擬した模擬状態データを取得する模擬状態データ取得部と、模擬状態データ取得部により取得された模擬状態データを第一相関モデルに入力することにより施策提案データを生成し、模擬状態データ取得部により取得された模擬状態データと、当該施策提案データとを第二相関モデルに入力することにより施策データを生成する施策データ生成部と、模擬状態データ取得部により取得された模擬状態データと、施策データ生成部により生成された施策提案データと、施策データ生成部により生成された施策データと、所定の評価ロジックとに基づいて、第二相関モデル及び第三相関モデルのパラメータを決定する活動学習部と、第三相関モデルにより得られる評価値と、実績データ記憶部により記憶されている過去実績データとに基づいて、制御対象の挙動に関するデータと施策提案データとの相関を算出することで、第一相関モデルのパラメータを再度決定する第二実績学習部と、を備える。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

すなわち、本発明の代表的な実施の形態によれば、シミュレータとして具現化できず、かつ、過去の実績データに対する変化が大きい複雑系システムにおいて、サブシステムの制御方法のパラメータを適切に決定できる。

本実施形態に係るサプライチェーンの概要を示した図である。 本実施形態に係る学習管理システムの概要を示した図である。 本実施形態に係る小売シミュレータと小売エージェントの構成を示した図である。 本実施形態に係る小売エージェントの学習処理の手順を説明するフローチャートである。 本実施形態に係る学習管理システムによりサービスを提供する形態を示す図である。 本実施形態に係る小売端末に表示する画面の一例を示す図である。 本実施形態に係る学習フローの様子を表示する画面の一例を示した図である。 本実施形態に係る学習管理システムによりサービスを提供する他の形態を示す図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、他の図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。

以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。

図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。

以下の説明では、「テーブル」、「リスト」、「キュー」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ＸＸテーブル」、「ＸＸリスト」等を「ＸＸ情報」と呼ぶことがある。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いるが、これらについてはお互いに置換が可能である。

同一あるいは同様な機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。

本実施例において、複雑系システムとして図１に示すサプライチェーン１００を対象として説明する。図１は、顧客に対して商品の販売を行う小売１０１、商品の流通を担う卸売１０２、商品を生産する工場１０３という３つの拠点が相互に発注と商品の配送を行い流通させる様子を示している。図１では、簡単のため工場、卸売、小売からなる直列のサプライチェーンについて説明するが、本実施例では、このサプライチェーンに限定されるものではなく、異なる形態のチェーンにも適用可能である。

図２は、本実施例における学習管理システム１０の概要を示した図面である。学習管理システム１０は、小売１０１の拠点における事業活動を模擬する小売シミュレータ（小売Ｓｉｍ）２０１と、卸売１０２の事業活動を模擬する卸売シミュレータ（卸売Ｓｉｍ）２０２と、工場１０３の事業活動を模擬する工場シミュレータ（工場Ｓｉｍ）２０３とが、サプライチェーン１００における発注および配送の関係に基づいて接続されている。ここで、事業活動とは、各拠点（例えば、小売１０１）において、受注から商品の発送までの最低限の物品および資金といった資源のやり取りに必要な所定のオペレーションを指すものとする。

また、各拠点シミュレータ（小売シミュレータ２０１等）には、拠点の事業活動の指示を行うエージェント（小売エージェント３０１等）が接続される。すなわち小売シミュレータ２０１には、小売エージェント３０１が、卸売シミュレータ２０２には卸売エージェント３０２が、工場シミュレータ２０３には工場エージェント３０３が、それぞれ接続されている。上記の各拠点シミュレータは、例えば、公知のシミュレーション機能を実行可能な情報処理装置（サーバ）である。

各エージェント（小売エージェント３０１等）は、接続された各拠点シミュレータ（小売シミュレータ２０１等）より、シミュレーションによって模擬された拠点活動のデータ（拠点活動模擬データ）を受領し、それに基づいて、拠点に事業の活動指示を、各シミュレータに与える。一例をあげるとすれば、拠点活動模擬データは、拠点における所定の商品の日毎の在庫量、注残量、入出荷の履歴、受発注の履歴であり、事業の活動指示は、所定の商品の日毎の発注量となる。

図３は、小売エージェント３０１の実施の形態の１つを示す図面である。なお、本実施例の説明において、卸売エージェント３０２、工場エージェント３０３についても、小売エージェント３０１と同様の形態を示すものとして、同様の説明は省略する。

図３に示すように、小売エージェント３０１は、学習制御部５０と、実績学習部５１と、活動学習部５２と、過去実績データベース５３と、模擬活動データベース５４と、セレクタ５５と、セレクタ５６とを有する。

小売エージェント３０１は、上述のように、拠点の事業活動の指示を行うエージェントであり、小売（制御対象）の挙動を学習する学習管理システムとして機能する。小売エージェント３０１は、具体的には、サーバ装置等である。

小売エージェント３０１の過去実績データベース５３は、制御対象の過去実績データを蓄積する部分である。実績学習部５１は、制御対象の挙動に関するデータから活動提案（施策提案データ）を出力する活動提案モデル５１１（第一相関モデル）を記憶する部分である。すなわち、実績学習部５１は、第一モデル記憶部として機能する。ここで、制御対象の挙動に関するデータとは、制御対象の過去実績データや模擬状態データを示す。

活動学習部５２は、活動決定モデル５２２（第二相関モデル）及び活動価値評価モデル５２１（第三相関モデル）を記憶する部分である。すなわち、活動学習部５２は、第二モデル記憶部及び第三モデル記憶部として機能する。活動決定モデル５２２は、模擬状態データと、施策提案データとから活動指示（施策データ）を出力する。また、活動価値評価モデル５２１は、模擬状態データと、活動提案と、活動指示とから活動価値（施策評価値）を出力する。

実績学習部５１は、拠点アウトカム（所定の評価値）と、過去実績データベース５３により記憶されている過去実績データとに基づいて、制御対象の挙動に関するデータと施策提案データとの相関を算出することで、活動提案モデル５１１のパラメータを決定する部分である。

また、実績学習部５１は、活動価値評価モデル５２１により得られる活動価値（評価値）と、過去実績データベース５３に記憶されている過去実績データとに基づいて、制御対象の挙動に関するデータと活動提案との相関を算出することで、活動価値評価モデル５２１のパラメータを再度決定する部分である。すなわち、実績学習部５１は、第一実績学習部と第二実績学習部として機能する。

また、実績学習部５１は、上記のように、活動価値評価モデル５２１により得られる活動価値（評価値）と、過去実績データベース５３に記憶されている過去実績データとに基づいて、制御対象の挙動に関するデータと活動提案との相関を算出した結果のパラメータの調整量に基づいて、新たに拠点活動模擬データを取得する。

また、実績学習部５１及び活動学習部５２は、所定のタイミングで小売Ｓｉｍ（小売シミュレータ）２０１から拠点活動模擬データを取得する。すなわち、実績学習部５１及び活動学習部５２は、模擬状態データ取得部として機能する。

また、実績学習部５１は、所定のタイミングで拠点活動模擬データを活動提案モデルに入力することにより、活動提案を生成する。また、活動学習部５２は、拠点活動模擬データと、実績学習部５１により生成された活動提案とを活動決定モデル５２２に入力することにより、活動指示を生成する。このように、実績学習部５１及び活動学習部５２は、施策データ生成部として機能する。また、活動学習部５２は、模擬活動データベース５４に、拠点活動模擬データと、活動提案と、活動指示とを対応付けて登録する。このように、模擬活動データベース５４は、模擬活動データ記憶部として機能する。

活動学習部５２は、拠点活動模擬データと、活動提案と、活動指示と、所定の評価ロジックとに基づいて、活動決定モデル５２２及び活動価値評価モデル５２１のパラメータを決定する。

学習制御部５０は、小売エージェント３０１の処理を制御する部分であり、実績学習部５１、活動学習部５２等の動作を制御する。

続いて、図４を用いて、活動提案モデル５１１と活動価値評価モデル５２１と活動決定モデル５２２との各モデルのパラメータを決定する処理フローである。この処理は、所定のタイミング（例えば、月に１度）で動作する。

まず、ステップＳ００１において、初期アウトカムを指標に実績データ（過去実績データベース５３のデータ）を用いて活動提案モデル５１１を学習する。具体的に、学習制御部５０は、実績学習部５１に実績学習指示をすると、実績学習部５１は、過去実績データベース５３から、拠点状況実績データと、拠点活動実績データとを読み出す。

また、セレクタ５５は、信号Ｐを選択し、あらかじめ外部より指定された拠点アウトカム（利益指標値）を、学習アウトカムとして、実績学習部５１に与える。そして、実績学習部５１は、拠点状況実績データと、拠点活動実績データと、学習アウトカムとの相関を、所定の実績相関学習アルゴリズムにより算出する。実績学習部５１は、算出された相関を用いて、拠点活動実績データを入力として、学習アウトカムを最大にするための活動提案を出力するように、活動提案モデル５１１のパラメータを、活動提案学習アルゴリズムにより、調整する。

ステップＳ００１における活動提案モデルのパラメータの調整の一例をより具体的に説明する。前提として、学習制御部５０は、拠点状況実績データとして、拠点活動模擬データと同様の、拠点における所定の商品の在庫量、注残量、入出荷の履歴、受発注の履歴に加えて、小売１０１の日毎の来客数、日毎の気温、日毎の天候を過去実績データベース５３に予め登録している。

同様に、学習制御部５０は、拠点活動実績データとして、小売り１０１の日毎の前記所定の商品の発注量を過去実績データベース５３に予め登録している。また、学習制御部５０は、学習アウトカムとして、小売１０１の週毎の前記所定の商品より得られる利益を予め設定している。

実績学習部５１は、過去実績データベース５３から拠点活動実績データおよび拠点状況実績データを取得して、週毎の前記所定の商品より得られる利益と拠点状況実績データから定まる拠点状況との相関（第１相関）、前記拠点状況の遷移と拠点活動（発注量）との相関（第２相関）を算出する。すなわち、実績学習部５１は、第１相関を用いることで、前記週毎の利益を最大化するための最適な前記拠点状況を提案することが可能となり、第２相関を用いることで、前記最適な拠点状況にするために最適な拠点活動（発注量）を提案することが可能となる。

実績学習部５１は、この２つの相関を結合することにより、活動提案モデル５１１について、前記拠点状況実績データにより定まる拠点状況に応じた最適拠点活動を提案するようにパラメータを調整する。

前記実績相関学習アルゴリズムおよび前記活動提案学習アルゴリズムは、本実施形態では特にアルゴリズムを限定するものではないが、１つの実施形態として、ニューラルネットワーク、もしくは、ニューラルネットワークと他のアルゴリズムの組合せにより実現できる。

ステップＳ００１の後に、ステップＳ００２において、サプライチェーンでの取引シミュレーションが実行される。小売エージェント３０１は、在庫量等の拠点活動模擬データを小売シミュレータ２０１から取得し、当該拠点活動模擬データを用いて、活動提案、活動指示を生成し、当該活動指示を小売Ｓｉｍ２０１へ送信する。小売シミュレータ２０１は、小売エージェント３０１が出力する活動指示に従って、各拠点シミュレータと、取引を実施して、商品を流通させるシミュレーション（公知技術のシミュレーション）を実行する。

ここで、所定の時間単位を１ループとして、シミュレーションを実行するものとする。小売エージェント３０１は、シミュレーションの各ループにおいて、セレクタ５６において信号Ｓを選択する。ここで、実績学習部５１は、小売シミュレータ２０１から、拠点活動模擬データを取得し、拠点活動模擬データから活動提案モデル５１１を用いて活動提案を算出する。ここでいう活動提案とは、最適な拠点状況にするための拠点活動（発注量）を示す。

このとき、実績学習部５１は、活動提案モデル５１１に対して、拠点状況実績データのうち、拠点活動模擬データと重複しないデータ（前記の例においては日毎の来客数、日毎の気温、日毎の天候）には固定値もしくはランダムな値を所与する。

次に、小売エージェント３０１の活動学習部５２は、算出した活動提案と、拠点活動模擬データとから、活動決定モデル５２２を用いて、活動指示を算出する。この活動指示とは、シミュレーションで用いるためのパラメータ（ここでは、発注量）である。活動学習部５２は、算出した活動指示を小売シミュレータ２０１に送出する。なお、活動学習部５２は、当該算出した活動指示をランダムに補正するようにしてもよい。

また、小売エージェント３０１の活動学習部５２は、シミュレーションの各ループにおいて、小売シミュレータ２０１から受領した拠点活動模擬データと、活動提案モデル５１１により得られた活動提案と、活動決定モデル５２２により得られた活動指示とを、模擬活動データベース５４に登録する。

このように、小売エージェント３０１は、拠点活動模擬データと、活動提案モデル５１１により得られた活動提案と、活動決定モデル５２２により得られた活動指示とを対応付けて記憶しておくことで、これらの情報を用いて活動価値評価モデル５２１及び活動決定モデル５２２の学習を適切に実行することができる。

ステップＳ００３において、活動価値モデル評価モデル５２１と活動決定モデル５２２とを学習する。具体的に、学習制御部５０は、活動学習部５２に、活動学習指示を与える。活動学習部５２は、模擬活動データベース５４から、拠点活動模擬データと、活動提案と、活動指示とを読み出す。そして、活動学習部５２は、与えられた拠点アウトカムと、拠点活動模擬データと、活動提案と、活動指示との相関を、所定の活動評価学習アルゴリズムにより算出する。活動学習部５２は、予め拠点アウトカムを記憶しておくようにしてもよい。

そして、活動学習部５２は、拠点活動模擬データと活動提案と活動指示の拠点アウトカムとの相関を、活動価値として出力するように、活動価値モデル５２１のパラメータを調整する。同時に、活動学習部５２は、活動提案と活動模擬データとを入力として、拠点アウトカムを最大にするための活動指示を出力するように、活動決定モデル５２２のパラメータを、所定の活動学習アルゴリズムにより調整する。なお、上記活動価値とは、例えば、売り上げ等である。

ステップＳ００３における活動価値モデル５２１のパラメータの調整の一例をより具体的に説明にする。活動学習部５２は、拠点アウトカムを小売１０１の週毎の前記所定の商品より得られる利益とする。そして、活動学習部５２は、所定の拠点活動模擬データ（在庫量、注残量、入出荷の履歴、受発注の履歴）により定まる小売１０１の拠点模擬状況において、活動提案モデル５１１により所定の活動提案があった場合、ある拠点活動（発注量）により得られる利益を活動価値として予測するように、活動価値モデル５２１のパラメータを調整する。

ここで、拠点活動模擬データには、ステップＳ００３において実行されたシミュレーションの結果が反映されているため、活動価値モデル５２１は、前記過去実績データに含まれない拠点状況における利益や、サプライチェーン全体のシミュレーション応答を加味した利益を予測することができることが特徴となる。

また、ステップＳ００３における活動決定モデル５２２のパラメータの調整の一例を具体的に説明する。まず、活動学習部５２は、拠点アウトカムを小売１０１の週毎の前記所定の商品より得られる利益とする。

また、活動学習部５２は、拠点活動模擬データにより定まる小売１０１の拠点模擬状況とし、活動指示を日毎の発注量とした場合における、パラメータの調整をする。すなわち、活動学習部５２は、上記の場合における、前記週毎の利益を最大化するための最適な前記拠点模擬状況の予測と、前記最適な拠点模擬状況に至る最適な活動指示の予測により、所定の拠点模擬状況における最適な活動指示を出力するようにパラメータを調整する。なお、上記拠点活動模擬データとは、日毎の在庫量、注残量、入出荷の履歴、受発注の履歴等である。

前記活動評価学習アルゴリズムおよび前記活動学習アルゴリズムは、本実施形態では特にアルゴリズムを限定するものではないが、１つの実施の形態として、ニューラルネットワーク、もしくは、ニューラルネットワークと他のアルゴリズムの組合せにより実現できる。

ステップＳ００４においては、小売エージェント３０１は、あらかじめ与えられた所定の数Ｎに従って、ループの終了を判断する。すなわち、ループの回数がＮ（例えば、１００００）未満であれば、ステップＳ００２に戻り、ループの回数がＮ以上であれば、ステップＳ００５に進む。

ステップＳ００５において、活動価値を指標に実績データを用いて活動提案モデル５１１を学習する。具体的には、学習制御部５０は、実績学習部５１に、実績学習指示を与え、ステップＳ００１と同様の処理を行う。ここで、ステップＳ００２とステップＳ００５が異なる点は、ステップＳ００５においては、セレクタ５５は、信号Ｑを選択し、活動価値評価モデルが出力する活動価値を、学習アウトカムとして、実績学習部５１に与える点である。

これにより、実績学習部５１は、活動価値評価モデル５２１が出力する活動価値を最大にするための、活動提案を出力するように、活動提案モデル５１１のパラメータを、活動提案学習アルゴリズムにより調整する。

より具体的には、ステップＳ００１においては、過去実績データに含まれる拠点利益についてパラメータの調整を行っているのに対し、ステップＳ００５においては、活動価値評価モデル５２１を用いる。これにより、前記拠点実績データに含まれない拠点状況における利益や、サプライチェーン全体の応答を加味した利益に対してパラメータを調整することができる。さらに、入力はステップＳ００１と同様に過去実績データを用いることで、シミュレーションでは算出しにくい実績データ（たとえば、日毎の来客数、日毎の気温、日毎の天候）についてもパラメータの調整に反映させることができる。

ステップＳ００６において、モデルパラメータ更新量判定をする。すなわち、小売エージェント３０１は、活動提案モデルのパラメータの調整量の収束を判定する。例えば、活動提案モデル５１１のパラメータ調整量について、ステップＳ００６においての前回の調整量と、今回の調整量とを比較して、その差分の二乗平均平方根が、所定の閾値以上であれば（ステップＳ００７：Ｎｏ）、ステップＳ００２に戻る。当該ステップＳ００２において、小売エージェント３０１は、拠点活動模擬データを再度取得する等、ステップＳ００２以降の処理を行う。

すなわち、実績学習部５１は、上記のように、活動価値評価モデル５２１により得られる活動価値（評価値）と、過去実績データベース５３に記憶されている過去実績データとに基づいて制御対象の挙動に関するデータと活動提案との相関を算出した結果のパラメータの調整量に基づいて、新たに拠点活動模擬データを取得する。このように、小売エージェント３０１は、活動提案モデル５１１のパラメータをより適切な値となるように修正することができる。

また、所定の閾値未満であれば（ステップＳ００７：Ｙｅｓ）、パラメータの調整が収束したものとして判定し、学習制御フローを終了する。

以上のフローにより、最終的に活動提案モデル５１１は、過去実績データに含まれない拠点状況を加味して、拠点アウトカムを最大化するための活動提案を出力するように、パラメータを調整される。

図５は、本実施例における学習管理システム１０について、ネットワーク２１を介して、サーバ１５と、各拠点の端末２１１ないし２１３とを用いて、サービスとして適用する形態を示した図面である。

図５において、各拠点（例えば、小売１０１）には、各端末（例えば、端末２１１）が、それぞれ設置される。また、サーバ１５では、本実施例における学習管理システム１０が稼働する。小売１０１の端末２１１は、ネットワーク２１を介して、学習管理システム１０の、小売エージェント３０１に接続し、拠点実績データを登録する。

図６は、サーバ１５上で動作する学習管理システム１０の、小売エージェント３０１について、端末２１１から拠点実績データを登録する画面２１１１の一例を示した図面である。拠点のオペレータは、画面２１１１を介して、拠点実績データとして、拠点での商品の販売実績、発注実績などを登録する。登録された拠点実績データは、小売エージェント３０１の過去実績データベース５３に登録される。

図７は、サーバ１５上で動作する学習管理システム１０の、小売エージェント３０１について、端末２１１から、学習管理を確認する画面２１１２の一例を示した図面である。拠点のオペレータは、登録した拠点実績データに基づいて、図４における学習フローが実行される様子をシミュレーションモニタにより確認できる。また、小売エージェント３０１の活動提案モデル５１１が出力される活動提案と、活動決定モデル５２２が出力される活動指示とが、それぞれ発注提案、発注指示として確認できる。

なお、本実施例の適用の形態は、図５に限るものではない。例えば、図８に示すように、小売１０１で稼働するＰＯＳ端末２２１と接続するサービスとして適用する形態でもよい。ＰＯＳ端末２２１から直接拠点実績データを登録することで、省力が図れる他、小売１０１において、小売エージェント３０１の活動決定モデル５２２が出力される活動指示に従って自動的に発注するシステムに適用してもよい。

＜作用効果＞
以上説明したように、本発明の一実施の形態では、小売エージェント３０１の実績学習部５１は、拠点アウトカム（所定の評価値）と、過去実績データベース５３に記憶されているデータとに基づいて、活動提案モデル５１１のパラメータを決定する。そして、実績学習部５１及び活動学習部５２は、拠点活動模擬データを取得する。また、実績学習部５１は、所定のタイミングで拠点活動模擬データを活動提案モデルに入力することにより、活動提案を生成する。また、活動学習部５２は、拠点活動模擬データと、実績学習部５１により生成された活動提案とを活動決定モデル５２２に入力することにより、活動指示を生成する。

また、活動学習部５２は、拠点活動模擬データと、活動提案と、活動指示と、所定の評価ロジックとに基づいて、活動決定モデル５２２及び活動価値評価モデル５２１のパラメータを決定する。また、実績学習部５１は、活動価値評価モデル５２１により得られる活動価値（評価値）と、過去実績データベース５３に記憶されている過去実績データとに基づいて、制御対象の挙動に関するデータと活動提案との相関を算出することで、活動価値評価モデル５２１のパラメータを再度決定する。

このように、小売エージェント３０１は、過去実績データベース５３に記憶されているデータを用いて、活動提案モデル５１１のパラメータを決定し、さらに拠点活動模擬データを用いて活動決定モデル５２２及び活動価値評価モデル５２１のパラメータを決定する。これにより、シミュレータとして具現化できず、かつ、過去の実績データに対する変化が大きい複雑系システムにおいて、サブシステムの制御方法のパラメータを適切に決定することができる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。例えば、エネルギー供給網、交通、及び金融等のシステムにおいても成り立つことは言うまでもない。

また、各学習部（実績学習部５１、活動学習部５２）が、各種モデル（活動提案モデル５１１等）を有する場合について述べたが、当該各種モデルが、上記各学習部とは別に保持されるようにしてもよい。また、学習制御部５０が、各学習部を制御する場合について述べたが、この機能を各学習部で有していてもよい。すなわち、各学習部が、自身で動作制御するようにしてもよい。また、実績学習部５１と活動学習部５２とが分離している場合について述べたが、一体の学習部として機能するようにしてもよい。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実現することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ、ＧＰＵ）によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）および／またはインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路（例えばＦＰＧＡやＡＳＩＣ）を含んでいてもよい。

プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

本発明は、所定の制御対象の挙動を学習するシステムに利用可能である。

１０…学習管理システム、１５…サーバ、５０…学習制御部、５１…実績学習部、５２…活動学習部、５３…過去実績データベース、５４…模擬活動データベース、５５…セレクタ、５６…セレクタ、１００…サプライチェーン、１０１…小売、１０２…卸売、１０３…工場、２０１…小売シミュレータ、２０２…卸売シミュレータ、２０３…工場シミュレータ、３０１…小売エージェント、５１１…活動提案モデル、５２１…活動価値評価モデル、５２２…活動決定モデル。

Claims (4)

1. 所定の制御対象の挙動を学習する学習管理システムであって、
   前記制御対象の過去実績データを蓄積する実績データ記憶部と、
   前記制御対象の挙動に関するデータから施策提案データを出力する第一相関モデルを記憶する第一モデル記憶部と、
   前記制御対象の挙動を模擬した模擬状態データと、施策提案データとから施策データを出力する第二相関モデルを記憶する第二モデル記憶部と、
   前記模擬状態データと、施策提案データと、施策データとから施策評価値を出力する第三相関モデルを記憶する第三モデル記憶部と、
   所定の評価値と、前記実績データ記憶部により記憶されている過去実績データとに基づいて、前記制御対象の挙動に関するデータと施策提案データとの相関を算出することで、前記第一相関モデルのパラメータを決定する第一実績学習部と、
   前記制御対象の挙動を模擬した模擬状態データを取得する模擬状態データ取得部と、
   前記模擬状態データ取得部により取得された模擬状態データを前記第一相関モデルに入力することにより施策提案データを生成し、前記模擬状態データ取得部により取得された模擬状態データと、当該施策提案データとを前記第二相関モデルに入力することにより施策データを生成する施策データ生成部と、
   前記模擬状態データ取得部により取得された模擬状態データと、前記施策データ生成部により生成された施策提案データと、前記施策データ生成部により生成された施策データと、所定の評価ロジックとに基づいて、前記第二相関モデル及び前記第三相関モデルのパラメータを決定する活動学習部と、
   前記第三相関モデルにより得られる評価値と、前記実績データ記憶部により記憶されている過去実績データとに基づいて、前記制御対象の挙動に関するデータと施策提案データとの相関を算出することで、前記第一相関モデルのパラメータを再度決定する第二実績学習部と、
   を備える学習管理システム。
2. 請求項１に記載の学習管理システムであって、
   前記模擬状態データ取得部により取得された模擬状態データと、前記施策データ生成部により生成された施策提案データ及び施策データとを対応付けて記憶する模擬活動データ記憶部をさらに備える、学習管理システム。
3. 請求項１に記載の学習管理システムであって、
   前記模擬状態データ取得部は、前記第二実績学習部により決定されたパラメータの調整量に基づいて、新たに模擬状態データを取得する、学習管理システム。
4. 所定の制御対象の挙動を学習する学習管理システムが実行する学習管理方法であって、
   前記学習管理システムは、
   前記制御対象の過去実績データを蓄積する実績データ記憶部と、
   前記制御対象の挙動に関するデータから施策提案データを出力する第一相関モデルを記憶する第一モデル記憶部と、
   前記制御対象の挙動を模擬した模擬状態データと、施策提案データとから施策データを出力する第二相関モデルを記憶する第二モデル記憶部と、
   前記模擬状態データと、施策提案データと、施策データとから施策評価値を出力する第三相関モデルを記憶する第三モデル記憶部と、を備え、
   所定の評価値と、前記実績データ記憶部により記憶されている過去実績データとに基づいて、前記制御対象の挙動に関するデータと施策提案データとの相関を算出することで、前記第一相関モデルのパラメータを決定する第一実績学習ステップと、
   前記制御対象の挙動を模擬した模擬状態データを取得する模擬状態データ取得ステップと、
   前記模擬状態データ取得ステップで取得した模擬状態データを前記第一相関モデルに入力することにより施策提案データを生成し、前記模擬状態データ取得ステップで取得した模擬状態データと、当該施策提案データとを前記第二相関モデルに入力することにより施策データを生成する施策データ生成ステップと、
   前記模擬状態データ取得ステップで取得した模擬状態データと、前記施策データ生成ステップで生成した施策提案データと、前記施策データ生成ステップで生成した施策データと、所定の評価ロジックとに基づいて、前記第二相関モデル及び前記第三相関モデルのパラメータを決定する活動学習ステップと、
   前記第三相関モデルにより得られる評価値と、前記実績データ記憶部により記憶されている過去実績データとに基づいて、前記制御対象の挙動に関するデータと施策提案データとの相関を算出することで、前記第一相関モデルのパラメータを再度決定する第二実績学習ステップと、を実行する学習管理方法。
   

Images