JP7373384B2 - 計算機システム及びスケジューリングシステムの検証方法 - Google Patents

Description

本発明は、製品の生産計画等のスケジュールの生成技術に関する。

医療及び工業等、様々な分野でＡＩを活用したシステムの利用が拡大している。これらのシステムを利用して、人が行っていた業務の自動化が期待されている。本明細書では、ＡＩを活用したシステムをＡＩシステムとも記載する。

ＡＩを実現するアルゴリズム、すなわち、モデルは、学習データを用いた機械学習により生成される。学習データを用いることによって、様々な分野の業務知識をＡＩに取り込むことができる。

しかし、法律の規制及びコンプライアンス等、学習データから取り込むことが困難な業務知識も存在する。また、学習データが少ない場合、十分に業務知識をＡＩに取り込めない場合もある。ＡＩに直接取り込めない業務知識も考慮しなければ、システムとして実用に適さない。したがって、学習データから取り込むことが困難な業務知識については、別途、ロジックを開発し、ＡＩシステムに組み込む必要がある。

ＡＩシステムの開発は、目標の設定、業務の理解及び学習データの準備、開発、並びに精度向上の四つの段階に分けられる。開発してたシステムの精度向上を実現する方法として、特許文献１に記載の技術が知られている。

特許文献１には、「意思決定支援システム１０１によれば、因果関係モデル更新部１０３は、因果関係モデルと、データ分析機能２０２による分析結果とに基づき、因果関係モデルを更新するための仮更新モデルデータを生成する更新情報生成機能２０２と、仮更新モデルデータによる更新の有効性を評価するモデル更新評価機能２１３と、を有し、因果関係モデル管理部１０５は、モデル更新評価機能２１３による評価結果が一定以上の場合に、仮更新モデルデータにより因果関係モデルを更新するモデル登録・更新機能２３１を有する。」ことが記載されている。

特開２０１７－１９４７３０号公報

スケジュールを生成するＡＩシステムの実用性は、扱う問題の困難性、ＡＩのアルゴリズム、学習データの質及び量等、様々な要因に依存する。そのため、ＡＩシステムの導入前には、ＡＩシステムの実用性を判定するための効果検証が行われている。

従来のＡＩシステムの効果検証は、全ての開発を完了させ、実際に動作させる必要がある。そのため、効果検証の結果、実用に至らない場合、ＡＩシステムの開発に要した時間及び工数が無駄になってしまうという問題がある。

本発明は、開発段階のＡＩシステムの効果を検証する方法を提供する。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、スケジュールを生成するスケジューリングシステムを検証する計算機システムであって、前記スケジューリングシステムは、スケジュールの対象に関するデータであって複数のデータ項目を含むエントリを、複数含む対象データの入力を受けつけた場合、一つの前記エントリに含まれる前記複数のデータ項目の値から算出される特徴量に基づいて前記エントリの選択確率を算出するモデルを用いて、順序づけされた複数の前記エントリから構成される前記スケジュールを生成し、前記計算機システムは、演算装置、前記演算装置に接続される記憶装置、前記演算装置に接続されるインタフェースを有する少なくとも一つの計算機を含み、前記モデルの情報を管理する第１記憶部と、検証用の前記対象データから前記エントリを少なくとも一つ選択する選択部と、前記選択部によって選択された前記エントリに含まれる前記複数のデータ項目の値から特徴量を算出し、算出された前記特徴量から構成される特徴量データを生成する特徴量算出部と、前記モデルが扱う特徴量であって、前記特徴量データに含まれていない特徴量を算出する特徴量推定部と、前記モデルの情報、前記特徴量データ、及び前記特徴量推定部によって算出された特徴量を用いて前記エントリの選択確率を算出し、選択確率算出結果として出力する選択確率算出部と、前記選択確率算出結果に基づいて前記スケジュールに含める候補エントリを選択する選択処理を実行し、前記選択処理の結果に基づいて、前記スケジューリングシステムの探索範囲を示す探索範囲情報を生成し、検証結果として前記探索範囲情報を出力する効果推定部と、を備え、前記効果推定部は、前記選択部、前記特徴量算出部、前記特徴量推定部、及び選択確率算出部を連携させた処理から構成されるシミュレーションを複数回実行することによって、複数の前記選択確率算出結果を生成し、前記複数の選択確率算出結果の各々に対して前記選択処理を実行し、前記複数回の選択処理の各々で選択された前記候補エントリの数を用いて前記モデルの探索範囲を評価する値を算出し、前記値を前記探索範囲情報に含める。

本発明によれば、開発段階のＡＩシステムの効果を検証できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

実施例１の計算機システムの構成の一例を示す図である。 実施例１の計算機のハードウェア構成の一例を示す図である。 実施例１の学習データの一例を示す図である。 実施例１の計算機が実行する処理を説明するフローチャートである。 実施例１の特徴量生成部によって生成される特徴量データの一例を示す図である。 実施例１の学習部によって生成されるモデルの構造の一例を示す図である。 実施例１の計算機が実行する処理を説明するフローチャートである。 実施例１の計算機に入力される対象データの一例を示す図である。 実施例１の記憶部に格納される選択指標算出部の処理結果の一例を示す図である。 実施例１の計算機が実行する効果推定処理の一例を説明するフローチャートである。 実施例１の計算機が出力する効果推定情報に基づいて表示される画面の一例を示す図である。 実施例１の計算機が出力する効果推定情報に基づいて表示される画面の一例を示す図である。

以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。

本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。

図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。

図１は、実施例１の計算機システムの構成の一例を示す図である。図２は、実施例１の計算機のハードウェア構成の一例を示す図である。図３は、実施例１の学習データの一例を示す図である。

計算機システムは、複数の計算機１００、１０１、及びデータベース１０２から構成される。計算機１００、計算機１０１、及びデータベース１０２は、直接又はネットワークを介して互いに接続される。ネットワークは、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）及びＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。ネットワークの接続方式は有線及び無線のいずれでもよい。

データベース１０２は、学習データ１３０を格納する。データベース１０２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置でもよいし、記憶装置及びコントローラを有するストレージシステムでもよい。

学習データ１３０は、複数の項目の値を含む入力データ及び教師データを含むエントリを少なくとも一つ含む。図３に示す学習データ１３０には、商品名、在庫数、予想販売数、及び製造可能量を項目として含む入力データと、製造選択を含む教師データと含むエントリが格納される。入力データはスケジュールの対象となる商品に関するデータである。製造選択は実際に選択されたことを示す情報である。

計算機１００は、ＡＩシステムに使用するモデルを生成するための学習処理を実行する計算機である。計算機１００は、プロセッサ２００、メモリ２０１、及び通信装置２０２を有する。各ハードウェアはバスを介して互いに接続される。なお、計算機１００は、記憶装置、キーボード、マウス、及びタッチパネル等の入力装置、並びに、ディスプレイ等の出力装置を有してもよい。

プロセッサ２００は、メモリ２０１に格納されるプログラムを実行する。プロセッサ２００がプログラムにしたがって処理を実行することによって、特定の機能を実現する機能部（モジュール）として動作する。以下の説明では、機能部を主語に処理を説明する場合、プロセッサ２００が当該機能部を実現するプログラムを実行していることを示す。

メモリ２０１は、プロセッサ２００が実行するプログラム及びプログラムが使用するデータを格納する。また、メモリ２０１は、プログラムが一時的に使用するワークエリアを含む。メモリ２０１に格納されるプログラム及びデータについては後述する。

通信装置２０２は、外部装置と通信するための装置である。通信装置２０２は、例えば、ネットワークインタフェースである。

メモリ２０１は、特徴量生成部１１０及び学習部１１１を実現するプログラムを格納する。

特徴量生成部１１０は、入力データに含まれる項目の値から特徴量を算出し、少なくとも一つの特徴量を含む特徴量データを生成する。

学習部１１１は、特徴量生成部１１０によって生成された特徴量データを用いて学習処理を実行する。学習部１１１は、学習処理の結果としてモデルを定義するモデル情報１２０を出力する。ここで、モデルは任意の事象を予測するためのアルゴリズムである。

計算機１０１は、スケジューリング問題を扱うＡＩシステムを実現する計算機である。計算機１０１のハードウェア構成は計算機１００と同一であるため説明を省略する。計算機１０１にはＡＩシステムのシミュレーションに用いる対象データ１６０が入力される。対象データ１６０は、複数の項目の値を含むエントリを少なくとも一つ含む。エントリはスケジュールの対象に関するデータである。

本実施例では、特に、商品の生産計画（スケジュール）を生成するＡＩシステム（スケジューリングシステム）を例に説明する。当該ＡＩシステムは、例えば、生産効率又は利益が最大となる商品の生産計画を生成する。より具体的には、ＡＩシステムは、商品に関する値を含むエントリを複数含む対象データ１６０を受けつけた場合、処理対象のエントリの選択、エントリの特徴量の算出、特徴量及びモデルに基づく商品（生産工程）の選択確率の算出を一連の処理とする処理フローを複数回実行する。ＡＩシステムは各処理フローの結果に基づいて候補エントリを選択し、候補エントリを組み合わせることによって複数の生産計画（スケジュール）を生成する。また、ＡＩシステムは、各生産計画のスコアを算出し、スコアに基づいて最適な生産計画を出力する。

また、ＡＩシステムのシミュレーションは、処理フローのシミュレーションを意味する。ＡＩシステムの開発段階では、処理対象となるエントリの選択ロジック及び選択確率に基づくエントリの選択ロジック等は開発中である。また、前の選択結果を受けて変化する状態値等、外部入力からは定まらない特徴量は不明である。したがって、従来は開発段階のＡＩシステムのシミュレーションを行うことができなかった。そこで、実施例１では、開発段階のＡＩシステムのシミュレーションを実現するための機能及び情報を追加する。

計算機１０１のメモリ２０１は、適合エントリ選択部１４０、特徴量生成部１４１、動的特徴量推定部１４２、選択指標算出部１４３、記憶部１４４、及び効果推定部１４５を実現するプログラムを格納する。

適合エントリ選択部１４０は、処理対象となるエントリの選択ロジックを模擬する機能部であり、対象データ１６０に含まれるエントリの中から所定の条件に合致するエントリを選択する。具体的には、適合エントリ選択部１４０は、効果推定部１４５を介して入力された適合エントリ選択方法に基づいて、所定の数のエントリを選択する。

特徴量生成部１４１は、選択されたエントリに含まれる項目の値から特徴量を算出し、少なくとも一つの特徴量を含む特徴量データを生成する。

動的特徴量推定部１４２は、外部入力からは定まらない特徴量を推定する機能部であり、モデルが扱う特徴量であって、特徴量生成部１４１によって生成された特徴量データに含まれていない特徴量を算出する。ここで、特徴量生成部１４１によって生成されていない特徴量とは、外部入力からは定まらない特徴量を意味する。例えば、商品を生産する工場を想定した場合、工場における商品の在庫数、原材料の在庫数は、生産予定の商品の情報（外部入力）からは一意に定まらない。

以下の説明では、動的特徴量推定部１４２によって生成される特徴量を動的特徴量と記載する。

選択指標算出部１４３は、特徴量、動的特徴量、及びモデル情報１２０を用いて、任意の事象の予測結果を示す値を算出する。本実施例では、エントリの選択指標となる確率（選択確率）が算出される。なお、選択指標算出部１４３は、適合エントリ選択部１４０によって選択された各エントリの選択確率を算出する。

記憶部１４４は、選択指標算出部１４３の処理結果を記憶する。

効果推定部１４５は、選択確率に基づくエントリの選択ロジックを模擬する機能部であり、エントリの選択確率に基づいてエントリを選択する。効果推定部１４５は、ＡＩシステムの効果を検証する機能部でもあり、選択結果に基づいてＡＩシステムの効果を推定し、ＡＩシステムの効果の推定結果を効果推定情報１７０として出力する。また、効果推定部１４５は、ＡＩシステムのシミュレーションを実現するための各種設定情報を受けつけるインタフェースとしても機能する。

具体的には、効果推定部１４５は、適合エントリ選択方法、動的特徴量推定方法、実行回数、及び効果推定方法に関する情報を受けつける。適合エントリ選択方法は、エントリを選択する方法である。動的特徴量推定方法は、動的特徴量を算出する方法である。実行回数は、シミュレーションの実行回数である。効果推定方法は、ＡＩシステムの効果の推定方法である。

適合エントリ選択方法に関する情報には、対象データ１６０に含まれるエントリの選択方法及び選択するエントリの数の決定方法に関する情報が含まれる。対象データ１６０に含まれるエントリの選択方法としては、例えば、ランダムに選択する方法が考えれる。選択するエントリの数の決定方法としては、学習データ１３０の平均個数に基づいて決定する方法が考えられる。

動的特徴量推定方法に関する情報には、動的特徴量の種別毎の推定方法に関する情報が含まれる。例えば、後述する特徴量の一つである余剰在庫日数については、学習データ１３０の同一商品の余剰在庫日数の平均値を動的特徴量として算出し、後述する特徴量の一つである製造可能量については、学習データ１３０の同一商品の製造可能量の平均値を動的特徴量として算出する。

効果推定方法に関する情報には、エントリの選択基準となる選択確率の閾値、選択確率に基づくエントリの選択方法、及びエントリが選択できなかった場合の対処処理に関する情報が含まれる。選択確率に基づくエントリの選択方法は、例えば、選択確率が閾値より大きいエントリの中から、選択確率の上位５位以内のエントリを選択する。対処処理は、例えば、アラート情報を出力する。

図４は、実施例１の計算機１００が実行する処理を説明するフローチャートである。図５は、実施例１の特徴量生成部１１０によって生成される特徴量データの一例を示す図である。図６は、実施例１の学習部１１１によって生成されるモデルの構造の一例を示す図である。

計算機１００は、実行指示を受けつけた場合、又は、周期的に、以下で説明する処理を実行する。

計算機１００は、データベース１０２から学習データ１３０を取得する（ステップＳ１０１）。なお、取得する学習データ１３０の数は任意である。

次に、計算機１００は、一つの学習データ１３０に含まれる一つのエントリから一つの特徴量データを生成する（ステップＳ１０２）。具体的には、以下のような処理が実行される。

（Ｓ１０２－１）特徴量生成部１１０は、学習データ１３０を一つ選択する。

（Ｓ１０２－２）特徴量生成部１１０は、選択された学習データ１３０から一つのエントリを選択する。

（Ｓ１０２－３）特徴量生成部１１０は、選択されたエントリの項目の値から特徴量を算出する。特徴量生成部１１０は、複数の特徴量から構成される特徴量データを生成する。

（Ｓ１０２－４）特徴量生成部１１０は、選択された学習データ１３０に含まれる全てのエントリの特徴量データを生成したか否かを判定する。選択された学習データ１３０に含まれる全てのエントリの特徴量データを生成していない場合、特徴量生成部１１０は、（Ｓ１０２－２）に戻り、同様の処理を実行する。

（Ｓ１０２－５）選択された学習データ１３０に含まれる全てのエントリの特徴量データを生成した場合、特徴量生成部１１０は、全ての学習データ１３０について処理が完了したか否かを判定する。全ての学習データ１３０について処理が完了していない場合、特徴量生成部１１０は、（Ｓ１０２－１）に戻り、同様の処理を実行する。全ての学習データ１３０について処理が完了した場合、特徴量生成部１１０はステップＳ１０２の処理を終了する。

一つの学習データ１３０からは図５に示すようなデータ５００が生成される。データ５００に含まれる一つのエントリが一つの特徴量データに対応する。図５に示す特徴量データは、商品コード、余剰在庫日数、製造可能量、及び正解フラグを含む。以上がステップＳ１０２の処理の説明である。

次に、計算機１００は、特徴量データを用いた学習処理を実行する（ステップＳ１０３）。

具体的には、学習部１１１は、図６に示すようなニューラルネットワークに特徴量データの入力データに対応する各特徴量を入力し、各エントリの選択確率を算出する。また、学習部１１１は、選択確率に基づいてエントリを選択する。当該選択結果と特徴量データの正解フラグとの誤差に基づいてニューラルネットワークの重みを更新し、更新結果をモデル情報１２０に反映する。

なお、モデルはニューラルネットワークでなくてもよい。例えば、モデルは決定木でもよい。また、学習方法は、前述した方法に限定されない。

図７は、実施例１の計算機１０１が実行する処理を説明するフローチャートである。図８は、実施例１の計算機１０１に入力される対象データ１６０の一例を示す図である。図９は、実施例１の記憶部１４４に格納される選択指標算出部１４３の処理結果の一例を示す図である。

計算機１０１は、実行指示を受けつけた場合、以下で説明する処理を実行する。

計算機１０１は、設定情報を受信する（ステップＳ２０１）。具体的には、以下のような処理が実行される。

（Ｓ２０１－１）効果推定部１４５が、適合エントリ選択方法、動的特徴量推定方法、実行回数、及び効果推定方法に関する情報を受けつける。

（Ｓ２０１－２）効果推定部１４５は、適合エントリ選択方法に関する情報を適合エントリ選択部１４０に設定し、動的特徴量推定方法に関する情報を動的特徴量推定部１４２に設定する。また、効果推定部１４５は、実行回数及び効果推定方法を自身に設定する。

（Ｓ２０１－３）効果推定部１４５は、実行回数カウンタに初期値０を設定する。

以上がステップＳ２０１の処理の説明である。

次に、計算機１０１は、対象データ１６０を受信する（ステップＳ２０２）。例えば、計算機１０１は図８に示すような対象データ１６０を受信する。このとき、効果推定部１４５は、実行回数カウンタに１を加算した後、適合エントリ選択部１４０を呼び出す。

次に、計算機１０１は、対象データ１６０に含まれるエントリの中から適合エントリを選択する（ステップＳ２０３）。

具体的には、適合エントリ選択部１４０は、適合エントリ選択方法に基づいて、対象データ１６０に含まれるエントリの中から所定の数のエントリを適合エントリとして選択する。適合エントリ選択部１４０は、選択された適合エントリを効果推定部１４５に出力する。効果推定部１４５は特徴量生成部１４１を起動する。

なお、適合エントリ選択部１４０は、必要に応じて、データベース１０２にアクセスし、学習データ１３０を参照してもよい。例えば、学習データ１３０に関する情報に基づいて、適合エントリを選択し、又は、適合エントリの選択数を決定する場合、適合エントリ選択部１４０は、データベース１０２にアクセスする。

次に、計算機１０１は、適合エントリの特徴量データを生成する（ステップ２０４）。具体的には、以下のような処理が実行される。

（Ｓ２０４－１）特徴量生成部１４１は、適合エントリを一つ選択する。

（Ｓ２０４－２）特徴量生成部１４１は、選択された適合エントリの項目の値から特徴量を算出する。特徴量生成部１４１は、複数の特徴量から構成される特徴量データを生成する。

（Ｓ２０４－３）特徴量生成部１４１は、全ての適合エントリについて処理が完了したか否かを判定する。全ての適合エントリについて処理が完了していない場合、特徴量生成部１４１は、（Ｓ２０４－１）に戻り、同様の処理を実行する。全ての適合エントリについて処理が完了した場合、特徴量生成部１４１は、適合エントリに対応づけられた特徴量データを効果推定部１４５に出力し、ステップＳ２０４の処理を終了する。効果推定部１４５は動的特徴量推定部１４２を呼び出す。

以上がステップＳ２０４の処理の説明である。

次に、計算機１０１は、適合エントリの動的特徴量データを生成する（ステップＳ２０５）。具体的には、以下のような処理が実行される。

（Ｓ２０５－１）動的特徴量推定部１４２は、適合エントリを一つ選択する。

（Ｓ２０５－２）動的特徴量推定部１４２は、動的特徴量推定方法に基づいて動的特徴量を算出し、複数の動的特徴量から構成される動的特徴量データを生成する。

なお、動的特徴量推定部１４２は、必要に応じて、データベース１０２にアクセスし、学習データ１３０を参照してもよい。例えば、学習データ１３０に基づいて、動的特徴量を算出する場合、動的特徴量推定部１４２はデータベース１０２にアクセスする。

（Ｓ２０５－３）動的特徴量推定部１４２は、全ての適合エントリについて処理が完了したか否かを判定する。全ての適合エントリについて処理が完了していない場合、動的特徴量推定部１４２は、（Ｓ２０５－１）に戻り、同様の処理を実行する。全ての適合エントリについて処理が完了した場合、動的特徴量推定部１４２は、適合エントリに対応づけられた動的特徴量データを効果推定部１４５に出力し、ステップＳ２０５の処理を終了する。効果推定部１４５は、選択指標算出部１４３を呼出し、適合エントリの特徴量データ及び動的特徴量データを入力する。

次に、計算機１０１は、モデル情報１２０、特徴量データ、及び動的特徴量データを用いて、適合エントリの選択指標を算出する（ステップＳ２０６）。具体的には、以下のような処理が実行される。

（Ｓ２０６－１）選択指標算出部１４３は、適合エントリを一つ選択する。

（Ｓ２０６－２）選択指標算出部１４３は、選択されたエントリの特徴量データ及び動的特徴量データを、モデル情報１２０で定義されるモデルに入力する。これによって、適合エントリの選択確率が算出される。

（Ｓ２０６－３）選択指標算出部１４３は、全ての適合エントリについて処理が完了したか否かを判定する。全ての適合エントリについて処理が完了していない場合、選択指標算出部１４３は、（Ｓ２０６－１）に戻り、同様の処理を実行する。全ての適合エントリについて処理が完了した場合、選択指標算出部１４３は、適合エントリに対応づけられた選択確率を効果推定部１４５に出力し、ステップＳ２０６の処理を終了する。

以上がステップＳ２０６の処理の説明である。

次に、計算機１０１は、選択指標算出部１４３の処理結果を記録する（ステップＳ２０７）。

具体的には、効果推定部１４５は、各適合エントリに対応づけられた選択確率を含むシミュレーション結果９００を記憶部１４４に格納する。例えば、図９に示すような、シミュレーション結果９００が記憶部１４４に格納される。シミュレーション結果９００には、適合エントリ毎の動的特徴量及び選択確率が含まれる。

ステップＳ２０３からステップＳ２０７までの処理が１回のＡＩシステムのシミュレーションである。１回のシミュレーションによって一つのシミュレーション結果９００が生成される。図９は、Ｎ回のシミュレーションが実行された後の記憶部１４４の状態を示す。

次に、計算機１０１は、シミュレーションを終了するか否かを判定する（ステップＳ２０８）。

具体的には、効果推定部１４５は、実行回数カウンタの値が実行回数の閾値以上であるか否かを判定する。実行回数カウンタの値が実行回数の閾値以上である場合、効果推定部１４５は、シミュレーションを終了すると判定する。

シミュレーションを終了しない場合、計算機１０１は、ステップＳ２０３に戻り、同様の処理を実行する。このとき、効果推定部１４５は、実行回数カウンタに１を加算する。

シミュレーションを終了する場合、計算機１０１は効果推定処理を実行する（ステップＳ２０９）。その後、計算機１０１は処理を終了する。効果推定処理の詳細は図１０を用いて説明する。

図１０は、実施例１の計算機１０１が実行する効果推定処理の一例を説明するフローチャートである。図１１Ａ及び図１１Ｂは、実施例１の計算機１０１が出力する効果推定情報１７０に基づいて表示される画面の一例を示す図である。

効果推定部１４５は、効果推定方法及び記憶部１４４に格納される処理結果（シミュレーション結果９００）に基づいて、各シミュレーション結果９００の候補エントリを選択する（ステップＳ３０１）。

例えば、効果推定部１４５は、シミュレーション結果９００を参照し、選択確率が０．５以上の適合エントリの中から上位５位以内の適合エントリを、候補エントリとして選択する。

次に、効果推定部１４５は、各シミュレーション結果９００の候補エントリの選択結果に基づいて探索範囲情報を生成する（ステップＳ３０２）。

例えば、効果推定部１４５は、各シミュレーション結果９００の候補エントリの数の乗算値を算出する。効果推定部１４５は、算出された値と各シミュレーション結果９００の候補エントリの数に関する情報とを含む探索範囲情報を生成する。なお、前述の演算処理では、候補エントリの数が０のシミュレーション結果９００は除外される。

生産計画の問題における探索範囲はエントリの組合せの数として表される。ＡＩシステムは、１回のシミュレーションによってエントリを絞り込むことによって評価するエントリの組合せの数を削減する。ＡＩシステムは、各シミュレーションによって選択されたエントリを組み合わせることによって所定の数の生産計画を生成する。また、ＡＩシステムは、各生産計画をスコアリングすることによって、最適な生産計画を出力する。シミュレーションによって選択されるエントリが多い場合、エントリの組合せの数、すなわち、生産計画の数も多くなる。これは、探索範囲が広いことを意味する。

探索範囲は、ＡＩシステムに必要なリソース量、演算性能、及び演算時間等を推定するために有用な情報である。そこで、効果推定部１４５は、探索範囲を評価するための情報として、候補エントリの組合せの数に関する値を出力する。

次に、効果推定部１４５は、候補エントリが存在しないシミュレーション結果９００が存在するか否かを判定する（ステップＳ３０３）。すなわち、アラートを通知する必要があるか否かが判定される。

候補エントリが存在しないシミュレーション結果９００が存在しない場合、効果推定部１４５はステップＳ３０５に進む。

候補エントリが存在しないシミュレーション結果９００が存在する場合、効果推定部１４５は、アラート情報を生成し（ステップＳ３０４）、その後、ステップＳ３０５に進む。

候補エントリが存在しない場合、学習データの不足及び特徴量の設計の不備が考えられる。そこで、効果推定部１４５は、候補エントリが存在しないシミュレーション結果９００が存在する場合、学習データの不足及び特徴量の設計不備の少なくともいずれかを通知するアラート情報を生成する。

ステップＳ３０５では、効果推定部１４５は、効果推定情報１７０を出力する（ステップＳ３０５）。その後、効果推定部１４５は効果推定処理を終了する。効果推定情報１７０には、探索範囲情報が含まれる。また、ステップＳ３０３の判定結果がＹＥＳの場合、効果推定情報１７０にはアラート情報が含まれる。

効果推定情報１７０に基づいて、図１１Ａ及び図１１Ｂに示すような画面が表示される。

図１１Ａは、効果推定情報１７０に含まれる探索範囲情報に基づいて表示される画面１１００である。画面１１００には、算出された値と、各シミュレーション結果９００の候補エントリの数に関する情報である表１１０１とが表示される。画面１１００を提示することによって、開発者又はユーザは、探索範囲、すなわち、ＡＩシステムの効果を検証できる。

図１１Ｂは、効果推定情報１７０に含まれるアラート情報に基づいて表示される画面１１１０である。例えば、表１１０１の候補エントリ数の０を操作した場合に切り替える方法が考えられる。画面１１１０には、シミュレーション結果９００とアラートの内容とが表示される。画面１１１０を提示することによって、開発者又はユーザに対する学習データの追加及び特徴量の設計の見直しを促すことができる。

なお、１回のシミュレーション結果に基づいてＡＩシステムの効果を検証してもよい。

なお、計算機１０１が探索範囲情報からリソース量、演算性能、又は演算時間を算出するための情報を保持する場合、計算機１０１は、リソース量、演算性能、又は演算時間を提示してもよい。

以上で説明したように、本発明によれば、開発段階において、ＡＩシステムのシミュレーションを実現し、ＡＩシステムの効果を検証できる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｐｙｔｈｏｎ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。

上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

１００、１０１ 計算機
１０２ データベース
１１０、１４１ 特徴量生成部
１１１ 学習部
１２０ モデル情報
１３０ 学習データ
１４０ 適合エントリ選択部
１４２ 動的特徴量推定部
１４３ 選択指標算出部
１４４ 記憶部
１４５ 効果推定部
１６０ 対象データ
１７０ 効果推定情報
２００ プロセッサ
２０１ メモリ
２０２ 通信装置
９００ シミュレーション結果
１１００、１１１０ 画面

Claims (10)

1. スケジュールを生成するスケジューリングシステムを検証する計算機システムであって、
   前記スケジューリングシステムは、スケジュールの対象に関するデータであって複数のデータ項目を含むエントリを、複数含む対象データの入力を受けつけた場合、一つの前記エントリに含まれる前記複数のデータ項目の値から算出される特徴量に基づいて前記エントリの選択確率を算出するモデルを用いて、順序づけされた複数の前記エントリから構成される前記スケジュールを生成し、
   前記計算機システムは、
   演算装置、前記演算装置に接続される記憶装置、前記演算装置に接続されるインタフェースを有する少なくとも一つの計算機を含み、
   前記モデルの情報を管理する第１記憶部と、
   検証用の前記対象データから前記エントリを少なくとも一つ選択する選択部と、
   前記選択部によって選択された前記エントリに含まれる前記複数のデータ項目の値から特徴量を算出し、算出された前記特徴量から構成される特徴量データを生成する特徴量算出部と、
   前記モデルが扱う特徴量であって、前記特徴量データに含まれていない特徴量を算出する特徴量推定部と、
   前記モデルの情報、前記特徴量データ、及び前記特徴量推定部によって算出された特徴量を用いて前記エントリの選択確率を算出し、選択確率算出結果として出力する選択確率算出部と、
   前記選択確率算出結果に基づいて前記スケジュールに含める候補エントリを選択する選択処理を実行し、前記選択処理の結果に基づいて、前記スケジューリングシステムの探索範囲を示す探索範囲情報を生成し、検証結果として前記探索範囲情報を出力する効果推定部と、を備え、
   前記効果推定部は、
   前記選択部、前記特徴量算出部、前記特徴量推定部、及び選択確率算出部を連携させた処理から構成されるシミュレーションを複数回実行することによって、複数の前記選択確率算出結果を生成し、
   前記複数の選択確率算出結果の各々に対して前記選択処理を実行し、
   前記複数回の選択処理の各々で選択された前記候補エントリの数を用いて前記モデルの探索範囲を評価する値を算出し、
   前記値を前記探索範囲情報に含めることを特徴とする計算機システム。
2. 請求項１に記載の計算機システムであって、
   前記効果推定部は、
   前記選択部、前記特徴量算出部、前記特徴量推定部、及び選択確率算出部を連携させた処理から構成されるシミュレーションを複数回実行することによって、複数の前記選択確率算出結果を生成し、
   前記複数の選択確率算出結果の各々に対して前記選択処理を実行し、
   前記複数回の選択処理の各々の結果を分析し、
   前記分析の結果に基づいて、前記モデルを生成するための学習データの不足及び前記特徴量の設計の見直しの少なくともいずれかを通知するアラートの出力が必要であるか否かを判定し、
   前記アラートの出力が必要であると判定された場合、前記判定の根拠となる前記選択処理の結果を含むアラート情報を出力することを特徴とする計算機システム。
3. 請求項１に記載の計算機システムであって、
   前記モデルを生成するために用いた学習データを格納する第２記憶部を備え、
   前記選択部は、前記第２記憶部に格納される学習データを分析し、
   前記分析の結果に基づいて、前記検証用の対象データから選択する前記エントリの数を決定することを特徴とする計算機システム。
4. 請求項１に記載の計算機システムであって、
   前記モデルを生成するために用いた学習データを格納する第２記憶部を備え、
   前記特徴量推定部は、前記第２記憶部に格納される学習データを分析し、
   前記分析の結果に基づいて、前記特徴量データに含まれていない特徴量を推定することを特徴とする計算機システム。
5. 請求項１に記載の計算機システムであって、
   前記選択部における前記エントリの選択方法、前記特徴量推定部における前記特徴量データに含まれていない特徴量の算出方法、前記選択処理の実行回数、及び前記選択確率に基づく前記候補エントリの選択方法に関する情報の入力を受けつけることを特徴とする計算機システム。
6. 計算機システムが実行する、スケジュールを生成するスケジューリングシステムの検証方法であって、
   前記スケジューリングシステムは、スケジュールの対象に関するデータであって複数のデータ項目を含むエントリを、複数含む対象データの入力を受けつけた場合、一つの前記エントリに含まれる前記複数のデータ項目の値から算出される特徴量に基づいて前記エントリの選択確率を算出するモデルを用いて、順序づけされた複数の前記エントリから構成される前記スケジュールを生成し、
   前記計算機システムは、
   演算装置、前記演算装置に接続される記憶装置、前記演算装置に接続されるインタフェースを有する少なくとも一つの計算機を含み、
   前記モデルの情報を管理し、
   前記スケジューリングシステムの検証方法は、
   前記演算装置が、検証用の前記対象データから前記エントリを少なくとも一つ選択する第１のステップと、
   前記演算装置が、前記選択されたエントリに含まれる前記複数のデータ項目の値から特徴量を算出し、算出された前記特徴量から構成される特徴量データを生成する第２のステップと、
   前記演算装置が、前記モデルが扱う特徴量であって、前記特徴量データに含まれていない特徴量を算出する第３のステップと、
   前記演算装置が、前記モデルの情報、前記特徴量データ、及び前記第３のステップで算出された特徴量を用いて前記エントリの選択確率を算出し、選択確率算出結果として出力する第４のステップと、
   前記演算装置が、前記選択確率算出結果に基づいて前記スケジュールに含める候補エントリを選択する選択処理を実行し、前記選択処理の結果に基づいて、前記スケジューリングシステムの探索範囲を示す探索範囲情報を生成し、検証結果として前記探索範囲情報を出力する第５のステップと、を含み、
   前記第５のステップは、
   前記演算装置が、前記第１のステップ、前記第２のステップ、前記第３のステップ、及び前記第４のステップから構成されるシミュレーションを複数回実行することによって、複数の前記選択確率算出結果を生成するステップと、
   前記演算装置が、前記複数の選択確率算出結果の各々に対して前記選択処理を実行するステップと、
   前記演算装置が、前記複数回の選択処理の各々で選択された前記候補エントリの数を用いて算出される値を含む前記探索範囲情報を出力するステップと、を含むことを特徴とするスケジューリングシステムの検証方法。
7. 請求項６に記載のスケジューリングシステムの検証方法であって、
   前記第５のステップは、
   前記演算装置が、前記第１のステップ、前記第２のステップ、前記第３のステップ、及び前記第４のステップから構成されるシミュレーションを複数回実行することによって、複数の前記選択確率算出結果を生成するステップと、
   前記演算装置が、前記複数の選択確率算出結果の各々に対して前記選択処理を実行するステップと、
   前記演算装置が、前記複数回の選択処理の各々の結果を分析するステップと、
   前記演算装置が、前記分析の結果に基づいて、前記モデルを生成するための学習データの不足及び前記特徴量の設計の見直しの少なくともいずれかを通知するアラートの出力が必要であるか否かを判定するステップと、
   前記アラートの出力が必要であると判定された場合、前記演算装置が、前記判定の根拠となる前記選択処理の結果を含むアラート情報を出力するステップと、を含むことを特徴とするスケジューリングシステムの検証方法。
8. 請求項６に記載のスケジューリングシステムの検証方法であって、
   前記計算機システムは、前記モデルを生成するために用いた学習データを管理し、
   前記第１のステップは、
   前記演算装置が、前記学習データを分析するステップと、
   前記演算装置が、前記分析の結果に基づいて、前記検証用の対象データから選択する前記エントリの数を決定するステップと、を含むことを特徴とするスケジューリングシステムの検証方法。
9. 請求項６に記載のスケジューリングシステムの検証方法であって、
   前記計算機システムは、前記モデルを生成するために用いた学習データを管理し、
   前記第３のステップは、
   前記演算装置が、前記学習データを分析するステップと、
   前記演算装置が、前記分析の結果に基づいて、前記特徴量データに含まれていない特徴量を推定するステップと、を含むことを特徴とするスケジューリングシステムの検証方法。
10. 請求項６に記載のスケジューリングシステムの検証方法であって、
    前記演算装置が、前記第１のステップにおける前記エントリの選択方法、前記第３のステップにおける前記特徴量データに含まれていない特徴量の算出方法、前記選択処理の実行回数、及び前記選択確率に基づく前記候補エントリの選択方法に関する情報の入力を受けつけるステップを含むことを特徴とするスケジューリングシステムの検証方法。

Images