JP7332425B2 - 計算機システム - Google Patents

Description

本開示は計算機システムに関する。

本開示の背景技術として、例えば、特開２０１７－０７２８８２号公報（特許文献１）が知られている。特許文献１は、「情報処理装置１０は、時系列に連続する複数の単位期間ごとの、管理対象のシステム１の状態を示す状態情報を、所定の条件でクラスタリングする。次に情報処理装置１０は、クラスタリングにより生成された複数のクラスタそれぞれを状態の遷移元および遷移先とする。さらに情報処理装置１０は、複数の単位期間それぞれの状態情報が属するクラスタの時間変化に基づいて、遷移元と遷移先との組ごとの、遷移元から遷移先へのシステム１の状態の遷移確率を示す、遷移確率行列２を生成する。そして情報処理装置１０は、遷移確率行列２に基づいて、複数の単位期間のうちの第１の単位期間の状態情報に示される状態から、第１の単位期間よりも後の第２の単位期間の状態情報に示される状態への、システム１の状態の遷移が、アノマリか否かを判定する。」ことを開示する（例えば要約参照）。

機械学習モデルは大きな進歩を遂げ、上記例のように、様々な分野に適用されている。一方で、機械学習モデルはブラックボックスであり、その入力から結果を与える根拠が不明である。そのため、機械学習モデルの解釈可能性の要求が高まっている。機械学習モデルの解釈可能性は、機械学習モデルの効率的な改善、機械学習モデルの推定結果の信頼性の向上、機械学習モデルとの連携による人のより適切な意思決定等を可能とする。

特開２０１７－０７２８８２号公報

機械学習モデルが出力した推定の根拠（以下、機械学習モデルの根拠とも呼ぶ）を解釈するためのいくつかの手法がこれまで提案されているが、時系列データを入力とする機械学習モデルにおいて、各時刻における機械学習モデルの推定根拠を適切に解釈し説明できる手法は知られていない。

本開示の一態様は、機械学習モデルの根拠の説明を生成する計算機システムであって、１以上のプロセッサと、前記１以上のプロセッサが実行するプログラムを格納する１以上の記憶装置と、を含み、前記機械学習モデルは、状態が変化する環境において適切な出力を推定し、前記１以上のプロセッサは、エピソードを取得し、前記エピソードは異なる時刻のステップを含み、前記ステップの各ステップは前記環境の状態及び前記状態における前記機械学習モデルの選択した出力を示し、前記エピソードにおいて、変化する１以上の指標に基づき１以上の連続するステップからなる複数のフェーズを構成し、前記複数のフェーズにおける前記機械学習モデルの根拠を説明するデータを生成する。

本開示の一態様によれば、変化する状態に対する適切な出力を推定する機械学習モデルにおける推定根拠を、より適切に説明することができる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。

計算機システムのハードウェア構成例を示す図である。ができる。 計算機システムのソフトウェア構成例を示す図である。 ポリシモデル及び環境モデルの動作を模式的に示している。 エピソードデータベースの構成例を示す。 計算機システムにおけるプログラムモジュール間の動作の一例を示す図である。 ベースライン選択テーブルの構成例を示す。 説明生成サーバの一つのエピソードに対する処理のフローチャートを示す。 図７のフローチャートにおける、ベースライン選択テーブル作成ステップの詳細のフローチャートを示す。 図７のフローチャートにおける、クラスタリングステップの詳細のフローチャートを示す。 クレーンシミュレーションにおけるクレーンを模式的に示す。 ポリシモデルへの入力及び出力の一部の時間変化の例を示す。 クレーン制御におけるエピソードテーブルの構成例を示す。 ユーザデータを入力するためのＧＵＩ画像の例を示す。 クレーン制御の例における、ユーザ入力データの例を示す。 クレーン制御の例における、ベースライン選択テーブルの例を示す。 図１５に示すベースライン選択テーブルに従って、エピソードにおいて複数のフェーズを構成する例を示す。 説明データから生成される説明画像の例を示す。 説明データから生成されるサリエンシビデオの一つのフレーム画像を示す。 工場及び工場へ投入するアイテムを制御するシステムの構成例を模式的に示す。 アイテム投入順序制御の例における、ユーザ入力データの例を示す。 アイテム投入順序制御の例における、ベースライン選択テーブルの例を示す。 図２１に示すベースライン選択テーブルに従って、エピソードにおいて複数のフェーズを構成する例を示す。

以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明は、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。

図１は、計算機システムのハードウェア構成例を示す図である。図１に示す計算機システムは、強化学習サーバ１００、説明生成サーバ１１０、及びユーザ端末１２０を含む。各装置はネットワーク１４０を介して互いに接続される。なお、ネットワーク１４０の種類は任意であり、例えば、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）及びＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等である。また、ネットワーク１４０の接続方式は有線又は無線のいずれでもよい。

強化学習サーバ１００は、強化学習により生成されたポリシモデル（エージェント又は強化学習モデル）及びポリシモデルが動作する環境を提供する環境モデルを格納する。ポリシモデルは、訓練データを使用して訓練済みである。強化学習サーバ１００は、１回のシミュレーション処理において、所定の終了条件を満たすまでポリシモデルと環境モデルとの間の相互作用を複数回実行する。以下において、シミュレーション処理の回数の単位をエピソードと呼び、シミュレーション処理におけるエージェント及び環境間の相互作用の回数の単位をステップと呼ぶ。

強化学習サーバ１００のハードウェア構成は、ＣＰＵ１０１、メモリ１０２、ストレージ装置１０３、及びネットワークインタフェース１０４を含む。ハードウェア構成要素は内部バスを介して通信する。ＣＰＵ１０１は、メモリ１０２に格納されるプログラムを実行する。メモリ１０２は、ＣＰＵ１０１が実行するプログラム及び当該プログラムに必要な情報を格納する。また、メモリ１０２は、プログラムが一時的に使用するワークエリアを含む。

ストレージ装置１０３は、データを永続的に格納する。ストレージ装置１０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶媒体、又は不揮発性メモリ等が考えられる。なお、メモリ１０２に格納されるプログラム及び情報は、ストレージ装置１０３に格納されてもよい。この場合、ＣＰＵ１０１は、ストレージ装置１０３からプログラム及び情報を読み出し、メモリ１０２にプログラム及び情報をロードし、また、メモリ１０２にロードされたプログラムを実行する。ネットワークインタフェース１０４は、ネットワークを介して他の装置と接続する。

説明生成サーバ１１０は、ポリシモデルの推定根拠（ポリシモデルの根拠とも呼ぶ）を解釈し、その説明を生成する。説明生成サーバ１１０のハードウェア構成は、ＣＰＵ１１１、メモリ１１２、ストレージ装置１１３、及びネットワークインタフェース１１４を含む。ハードウェア構成要素は内部バス等を介して通信する。

ＣＰＵ１１１、メモリ１１２、ストレージ装置１１３、及びネットワークインタフェース１１４は、ＣＰＵ１０１、メモリ１０２、ストレージ装置１０３、及びネットワークインタフェース１０４と同様のハードウェア構成要素である。

ユーザ端末１２０は、ユーザが使用する端末である。ユーザ端末１２０は、ポリシモデルの説明文を生成するためのユーザ入力を受け付け、ポリシモデルの推定根拠の説明をユーザに提示する。ユーザ端末１２０のハードウェア構成は、ＣＰＵ１２１、メモリ１２２、ストレージ装置１２３、ネットワークインタフェース１２４、入力装置１２５、及び出力装置１２６を含む。ハードウェア構成要素は内部バスを介して通信する。

ＣＰＵ１２１、メモリ１２２、ストレージ装置１２３、及びネットワークインタフェース１２４は、ＣＰＵ１０１、メモリ１０２、ストレージ装置１０３、及びネットワークインタフェース１０４と同様のハードウェア構成要素である。

入力装置１２５は、データ等を入力するための装置であり、キーボード、マウス、及びタッチパネル等を含む。出力装置１２６は、データ等を出力するための装置であり、ディスプレイ及びタッチパネル等を含む。

上記装置において、ＣＰＵがプログラムにしたがって処理を実行することによって、所定の機能を有する機能部として動作する。以下の説明では、プログラムを主語に処理を説明する場合、ＣＰＵ又はＣＰＵが実装されている装置が、当該機能部を実現するプログラムを実行していることを表す。

図１の構成例において、異なる計算機が、シミュレーションの実行、及び、説明文の生成のタスクをそれぞれ実行する。他の例において、一つの計算機が二つのタスクを実行してもよい。例えば、強化学習サーバ１００及び説明生成サーバ１１０を一つの計算機上で稼働する仮想計算機として実現してもよい。

上述のように、計算機システムは、１以上のプロセッサ及び非一過性の記憶媒体を含む１以上の記憶装置を含む１以上の計算機で構成することができる。メモリ、ストレージ装置又はそれらの組み合わせは記憶装置である。ＣＰＵはプロセッサの例である。プロセッサは、単一の処理ユニットまたは複数の処理ユニットで構成することができ、単一もしくは複数の演算ユニット、又は複数の処理コアを含むことができる。プロセッサは、１又は複数の中央処理装置、マイクロプロセッサ、マイクロ計算機、マイクロコントローラ、デジタル信号プロセッサ、ステートマシン、ロジック回路、グラフィック処理装置、チップオンシステム、及び／又は制御指示に基づき信号を操作する任意の装置として実装することができる。

図２は、計算機システムのソフトウェア構成例を示す図である。強化学習サーバ１００は、シミュレータ２００及びエピソードデータベース２０４を格納する。シミュレータ２００は、メモリ１０２に格納され、ＣＰＵ１０１により実行されるプログラムモジュールであり、ポリシモデル２０１及び環境モデル２０２を含む。

図３は、ポリシモデル２０１及び環境モデル２０２の動作を模式的に示している。ポリシモデル２０１は、強化学習におけるエージェントとして機能する。図３は、深層Ｑ学習の例を示す。ポリシモデル２０１は、深層Ｑネットワーク３０１及びａｒｇｍａｘ関数３０２を含む。深層Ｑネットワーク３０１は深層ニューラルネットワークであり、入力層、中間層及び出力層を含む。

ポリシモデル２０１は、環境モデル２０２から出力される環境の状態Ｓの情報を取得し、取得した情報及び施策に基づいて行動を選択する。また、ポリシモデル２０１は、選択した行動に関する情報を環境モデル２０２に出力する。具体的には、ポリシモデル２０１は、環境の状態Ｓを表す複数の特徴量Ｓ＿１～Ｓ＿Ｎを、入力層への入力として受け付ける。出力層の各ノードの値は、行動候補のＱ値である。ａｒｇｍａｘ関数３０２は、行動候補のＱ値に基づき出力する行動Ａを選択する。

環境モデル２０２は、ポリシモデル２０１が動作する環境として機能する。環境モデル２０２は、ポリシモデル２０１から出力される行動に関する情報を取得し、取得した情報及び現在の環境の状態に基づいて、状態の遷移のシミュレーションを実行する。また、環境モデル２０２は、シミュレーションの結果として遷移後の環境の状態を示す情報をポリシモデル２０１に出力する。

なお、本明細書で開示する機械学習モデルの説明手法は、深層強化学習による深層Ｑネットワークと異なる機械学習のモデルに適用することができ、例えば、模倣学習によるモデルや決定木、出力が行動と異なる機械学習モデル等に適用することができる。

図４は、エピソードデータベース２０４の構成例を示す。エピソードデータベース２０４は、シミュレータ２００によるシミュレーション結果を格納している。エピソードデータベース２０４は、１エピソード単位のシミュレーション実行結果を示すエピソードテーブル３５０を複数含む。エピソードテーブル３５０にはエピソードの順番が付与される。

エピソードテーブル３５０は、ステップ３５１、状態３５２、行動３５３、報酬３５４、及びＫＰＩ（Ｋｅｙ Ｐｅｒｆｏｒｍａｎｃｅ Ｉｎｄｉｃａｔｏｒ）３５５を含む、複数のエントリを含む。エピソードテーブル３５０は、１エピソード内で行われた相互作用（ステップ）の数のエントリを含む。

ステップ３５１は、ステップの識別番号を格納するフィールドである。ステップ３５１に設定される識別番号と、エントリに対応する相互作用の実行順番とは一致する。状態３５２は、環境の状態を示す値を格納するフィールドである。行動３５３は、状態３５２に対応する環境の状態の下で行われた行動を示す情報を格納するフィールドである。報酬３５４は、状態３５２に対応する環境の状態の下で行動３５３に対する行動を行った場合に得られた報酬を格納するフィールドである。

ＫＰＩ３５５は、行動が行われた後のＫＰＩを格納するフィールド群である。ＫＰＩは、何らかの目的のために参照される指標である。格納されているＫＰＩは、ポリシモデル２０１の根拠の説明の生成のために参照され得るインデックス（パラメータ）を含む。例えば、後述するエピソードのステップのクラスタリングにおいて使用されるＫＰＩ、ユーザに指定され得るＫＰＩ、説明画像に含まれ得るＫＰＩ等が含まれる。

本例において、エピソードデータベース２０４は環境モデル２０２を使用したシミュレーション結果を格納している。他の例において、実際の環境におけるポリシモデル２０１の実行結果が格納されていてもよく、シミュレーション環境と実際環境のエピソードが格納されていてもよい。エピソードは、所定の開始条件を満たすステップから、所定の終了条件を満たすステップまでの、ステップの時系列を示す。また、計算機システムにおいて、シミュレータ２００は、省略されてもよい。

図２に戻って、説明生成サーバ１１０は、クラスタリング部２１１、ベースライン選択部２１２、寄与度算出部２１３、及び説明生成部２１４を含む。これらは、メモリ１１２に格納され、ＣＰＵ１１１により実行されるプログラムモジュールである。説明生成サーバ１１０は、さらに、ユーザ入力データ２１５及びベースライン選択テーブル２１６を格納している。

クラスタリング部２１１は、エピソードデータベース２０４から取得されたエピソードにおいて、ステップの複数のクラスタを構成する。クラスタは連続する１以上のステップで構成される。後述するように、一つのクラスタは、環境の状態遷移における一つの状態（フェーズ）のステップで構成される。環境における状態及びその状態のクラスタをフェーズとも呼ぶ。ベースライン選択部２１２は、各フェーズにおいて、寄与度を算出するためのベースラインを決定する。

寄与度算出部２１３は、各フェーズ内の各ステップにおける行動に対する入力特徴量のそれぞれの寄与度を、各ステップにおけるその入力特徴量の値と、指定されたベースラインの入力特徴量の値（入力基準データ）に基づき決定する。寄与度算出部２１３は、入力特徴量の寄与度を、ベースラインの値を基準とする、ステップでのその入力特徴量の相対的な値に基づき決定する。説明生成部２１４は、寄与度算出部２１３が計算した寄与度に基づいて、ポリシモデル２０１の根拠を説明するための説明データを生成する。

寄与度算出部２１３は、任意のアルゴリズムにより寄与度を計算してよい。例えば、寄与度算出部２１３は、ＳＨＡＰ（Ｓｈａｐｌｅｙ Ａｄｄｉｔｉｖｅ Ｅｘｐｌａｎａｔｉｏｎ）、ＬＩＭＥ（Ｌｏｃａｌ Ｉｎｔｅｒｐｒｅｔａｂｌｅ Ｍｏｄｅｌ－Ａｇｎｏｓｔｉｃ Ｅｘｐｌａｎａｔｉｏｎｓ）、Ｉｎｔｅｇｒａｔｅｄ ｇｒａｄｉｅｎｔ等を利用することができる。

ユーザ入力データ２１５は、ユーザ端末１２０から入力されたデータであり、説明生成サーバ１１０がポリシモデル２０１の根拠の説明を生成するために使用される。ベースライン選択テーブル２１６は、フェーズとベースラインとの関係を示す。

ユーザ端末１２０は、説明生成サーバ１１０が提供するインタフェースを操作するためのアプリケーション２２１を格納する。アプリケーション２２１はプログラムモジュールであり、メモリ１２２に格納されて、ＣＰＵ１２１に実行される。ユーザ端末１２０は、説明生成サーバ１１０がポリシモデル２０１の根拠を説明するために使用するユーザデータの入力を、入力装置１２５を介して受け付ける。ユーザ端末１２０は、説明生成サーバ１１０が生成したポリシモデル２０１の根拠についての説明を、出力装置１２６において出力する。

図５は、計算機システムにおけるプログラムモジュール間の動作の一例を示す図である。ベースライン選択部２１２は、ユーザ入力データ２１５に基づいて、ベースライン選択テーブル２１６を生成する。ユーザ入力データ２１５は、エピソードにおけるフェーズを特定するための情報を含む。ユーザ入力データ２１５の詳細は後述する。

図６は、ベースライン選択テーブル２１６の構成例を示す。ベースライン選択テーブル２１６は、フェーズ種別３６１、フェーズ特定方法３６２及びベースライン３６３から構成されるエントリを複数含む。フェーズ種別３６１は、エピソードに適用可能なフェーズの種別を示すフィールドである。

フェーズ特定方法３６２は、フェーズ種別３６１が示す各フェーズ種別を特定するための方法を示すフィールドである。フェーズ特定方法３６２は、各フェーズ種別を特定するために参照すべきＫＰＩ（パラメータ）、数式、基準値等を示す。ベースライン３６３は、フェーズ種別３６１が示す各フェーズ種別における寄与度の計算で使用するベースラインを示す。

図５に戻って、クラスタリング部２１１は、エピソードデータベース２０４から一つのエピソードを取得して、ベースライン選択テーブル２１６が示す方法に従って、エピソードにおいて複数のフェーズを構成する。複数フェーズを含むエピソード２１７が生成される。一つのフェーズは、１以上のステップで構成されている。フェーズは互いに部分的にも重複することなく分離されており、一つのステップは一つのフェーズのみに含まれる。一部のステップは、いずれのフェーズにも含まれていなくてもよい。

寄与度算出部２１３は、複数フェーズを含むエピソード２１７において、各ステップにおける行動に対する入力特徴量それぞれの寄与度を計算する。寄与度算出部２１３は、ステップが含まれるフェーズに対応するベースラインをベースライン選択テーブル２１６から選択し、そのベースラインの入力特徴量の値（入力基準データ）を取得する。寄与度算出部２１３は、入力基準データに基づき、各ステップにおける行動に対する入力特徴量それぞれの寄与度を計算する。

例えば、寄与度算出部２１３は、ポリシモデル２０１に基づき、寄与度を出力する説明用モデルを生成する。寄与度算出部２１３は、ステップの入力特徴量の値と、ベースラインのその入力特徴量の値とから、相対的な値を計算する。寄与度算出部２１３は、入力特徴量それぞれの相対的な値を説明用モデルに入力して、ステップにおける入力特徴量それぞれの行動に対する寄与度を計算する。なお、ベースラインが全てのフェーズに共通であってもよく、ベースラインをベースライン選択テーブル２１６においてベースライン３６３が省略されていてもよい。

説明生成部２１４は、寄与度算出部２１３により計算された寄与度と共に、複数フェーズを含むエピソード２１７を取得する。説明生成部２１４は、取得したデータから、説明データ２２０を生成する。説明生成部２１４は、さらに、ユーザ入力データ２１５に基づいて、説明データ２２０を生成してもよい。

説明データ２２０は、例えば、文章、グラフ、静止画像、動画像等のデータを含むことができる。説明データは、例えば、寄与度の高い特徴量を強調するサリエンシビデオ、フェーズの遷移を示す状態遷移図、各フェーズにおける寄与度の説明文、寄与度の変化を示すグラフ等のデータを含むことができる。

図７は、説明生成サーバ１１０の一つのエピソードに対する処理のフローチャートを示す。説明生成サーバ１１０は、ユーザ端末１２０を介して、ユーザ入力データ２１５を受け付ける（Ｓ１０１）。なお、説明生成サーバ１１０は、ユーザ端末１２０からの新たなユーザ入力データに代えて、予め記憶装置に格納されているユーザ入力データのファイルを使用してもよい。

ベースライン選択部２１２は、ユーザ入力データ２１５に基づき、ベースライン選択テーブル２１６を生成する（Ｓ１０２）。クラスタリング部２１１は、エピソードデータベース２０４から取得したエピソードにおいて、ベースライン選択テーブル２１６に応じて、ステップを複数フェーズにクラスタリングする（Ｓ１０３）。上述のように、ベースライン選択テーブル２１６は、エピソードにおいて形成されるフェーズの情報を示す。

説明生成サーバ１１０は、ステップＳ１０４及びＳ１０５を、エピソードの各フェーズに対して実行する。寄与度算出部２１３は、ベースライン選択テーブル２１６を参照して現在フェーズのベースラインを選択する（Ｓ１０４）。寄与度算出部２１３は、現在フェーズのステップそれぞれにおける入力特徴量それぞれの寄与度を、選択したベースラインの入力基準データに基づき算出する（Ｓ１０５）。上述のように、寄与度算出部２１３は、ポリシモデル２０１に基づき寄与度を出力する説明用モデルを生成し、入力基準データに対する入力特徴量の相対的な値を説明用モデルに入力して、寄与度を得ることができる。

説明生成部２１４は、寄与度算出部２１３により計算された寄与度と共に、複数フェーズを含むエピソード２１７を取得する。説明生成部２１４は、取得したデータから、説明データ２２０を生成する（Ｓ１０６）。説明生成部２１４は、説明データ２２０をユーザ端末１２０に送信し、説明画像を出力装置１２６において表示させる（Ｓ１０７）。

図８は、図７のフローチャートにおける、ベースライン選択テーブル作成ステップＳ１０２の詳細のフローチャートを示す。ベースライン選択部２１２は、ユーザ入力データ２１５を取得する（Ｓ１２１）。ユーザ入力データ２１５は、例えば、ポリシモデル２０１の説明のために参照すべきＫＰＩを示す。ベースライン選択部２１２は、ユーザ入力データ２１５が示す情報に基づいて、エピソードに適用するフェーズを決定する（Ｓ１２２）。例えば、ユーザ入力データ２１５が示すＫＰＩについての情報に対して、直接又は間接に、エピソードに適用するフェーズが予め関連付けられている。

ベースライン選択部２１２は、選択したフェーズそれぞれに対応するフェーズ特定方法及びベースラインの情報を決定する（Ｓ１２３）。フェーズ特定方法及びベースラインは、フェーズに対して予め関連付けられている。ベースライン選択部２１２は、決定したフェーズ特定方法及びベースラインの情報をベースライン選択テーブル２１６に格納する（Ｓ１２４）。

図９は、図７のフローチャートにおける、クラスタリングステップＳ１０３の詳細のフローチャートを示す。クラスタリング部２１１は、エピソードデータベース２０４から、一つのエピソードを取得する（Ｓ１４１）。クラスタリング部２１１は、ベースライン選択テーブル２１６を参照する（Ｓ１４２）。

ベースライン選択テーブル２１６は、エピソードに適用するフェーズ種別３６１及びそれらの特定方法３６２を示す。フェーズ特定方法３６２は、例えば、フェーズ種別を特定する基準となるクラスタリング用ＫＰＩを示す。クラスタリング部２１１は、フェーズ特定方法３６２に従って、エピソードのステップから複数フェーズを形成する（Ｓ１４３）。

上記例は、ユーザ入力データ２１５を参照してベースライン選択テーブル２１６を作成する。他の例において、ベースライン選択テーブル２１６は予め設定されていてもよい。クラスタリング部２１１は、ベースライン選択テーブル２１６が示す予め設定されたルールに従って、エピソードにおいて複数のフェーズを構成する。

上述のように、エピソードにおいて複数のフェーズを構成し、フェーズ毎に根ベースラインを決定することで、時間変化する環境の状態に対するポリシモデルの根拠を、より適切に説明することが可能となる。特定のＫＰＩに基づいてエピソードにおいて複数のフェーズを構成することで、ＫＰＩの観点からより適切な説明が可能となる。また、ユーザ入力データを参照してエピソードに適用するフェーズ種別を決定することで、ユーザによって理解がより容易な説明が可能となる。

以下において、本明細書のポリシモデルの根拠の説明手法を適用した例を説明する。まず、機械操作の一例であるクレーン制御を説明する。図１０は、クレーンシミュレーションにおけるクレーンを模式的に示す。クレーン３７０は、台車３７１及び台車に固定されたワイヤ３７２を含む。物体３７３は、ワイヤ３７２の先端に固定されている。

クレーン３７０は、レール３７５上を、スタート位置３７６からゴール位置３７７に向かって移動して、物体３７３を運ぶ。ポリシモデル２０１は、スタート位置３７６からゴール位置３７７に物体３７３を運ぶために、台車３７１の速度を制御する。ポリシモデル２０１は、台車３７１をスタート位置３７６からゴール位置３７７への方向においてのみ移動させることができる。

また、ポリシモデル２０１は、台車３７１の加速及び減速のみ制御でき、台車３７１を一定大きさで加速させる、又は、同一の大きさで減速させることのみ可能である。台車３７１は、規定の最高速度より速く移動することは不可能である。台車３７１が最高速度で移動しているとき、加速操作が行われると最高速度が維持され、減速操作が行われると速度が低下する。

台車３７１が移動を開始すると、ワイヤ３７２に固定されている物体３７３が、振り子のように振動する。台車３７１の制御の目的は、できるだけ速く物体３７３をゴール位置３７７に運び、かつ、ゴール時に物体３７３が振動していないことである。

より具体的には、台車３７１は、ゴール位置３７７を含む所定のゴール領域３７８で停止することが求められ、ゴール時の物体３７３の振幅が閾値未満であることが求められる。ポリシモデル２０１は、ゴール時の物体３７３の振幅を最小化し、移動時間を最小化し、ゴール位置３７７と最終的な停止位置との差を最小化する、ように台車３７１の加速度（速度）を制御する。

クレーン３７０及び物体３７３の状態が、ポリシモデル２０１へ入力される。具体的には、台車３７１の移動距離ｘ、台車３７１の速度ｖ、ワイヤ３７２の角度φ、物体３７３の角速度ωである。ポリシモデル２０１は、入力データに応じて、加速又は減速のいずれか一方の行動を適切な行動と推定して、出力する。

図１１は、ポリシモデル２０１への入力及び出力の一部の時間変化の例を示す。図１１に示すグラフにおいて、線３９１はポリシモデル２０１の出力（行動）の時間変化を示す。線３９１は交互に繰り返される高レベルと低レベルで構成され、高レベルが加速を示し、低レベルが減速を示す。線３９２は台車３７１の速度ｖの時間変化を示す。線３９３は台車３７１の移動距離ｘの時間変化を示す。線３９４はワイヤ３７２の角度φの時間変化を示す。

図１２は、本例のクレーン制御におけるエピソードテーブル３５０の構成例を示す。上述のように、一つのエピソードは、スタート位置３７６から台車３７１の移動を開始し、ゴール位置３７７の近くで台車３７１を停止させるまで、のステップで構成される。各ステップにおいて、現在の状態（特徴量）３５２の値がポリシモデル２０１に入力され、ポリシモデル２０１が入力に対して行動を出力する。

状態３５２は、台車３７１の移動距離ｘ、台車３７１の速度ｖ、ワイヤ３７２の角度φ、物体３７３の角速度ωを格納する。行動３５３は加速又は減速を示す。ＫＰＩ３５５は、例えば、ゴール位置３７７への到達推定時間、ワイヤ３７２の角度φ、最終停止位置のゴール位置３７７からの誤差等である。

図１３は、ユーザデータを入力するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画像４００の例を示す。例えば、アプリケーション２２１が、ユーザ端末１２０の出力装置１２６（表示装置）において、画像４００を表示する。フィールド４０１は、１又は複数のＫＰＩを選択するための選択リストを表示する。

フィールド４０２は、選択された１又は複数のＫＰＩに対応する状況及びユーザ行動の１以上の組み合わせを入力するためのフィールドである。例えば、アプリケーション２２１は、状況及びユーザ行動の組み合わせのリストを表示し、ユーザにいくつかの組み合わせを選択させる。状況及びユーザ行動の入力は、省略されてもよい。

計算機システムは、ユーザが説明を要求するポリシモデル２０１を指定するＧＵＩ画像をユーザに適用してもよい。ＧＵＩ画像は、ユーザ説明を要求するエピソードの指定を受け付けてもよい。指定されるエピソードは、予めエピソードデータベース２０４に格納されていてもよく、強化学習サーバ１００により新たに生成されたエピソードでもよい。強化学習サーバ１００は、ユーザからの指示に応じて、シミュレータ２００を実行して、新たなエピソードを生成する。

図１４は、図１０を参照して説明したクレーン制御の例における、ユーザ入力データ２１５の例を示す。ユーザ入力データ２１５は、指定されたＫＰＩのリスト４２１及び状況とユーザ行動の組み合わせのリスト４２２を含む。図１４の例において、ＫＰＩは、台車３７１の推定到達時間及びワイヤ３７２の振動角度である。また、状況と行動の三つの組み合わせが示されている。

図１５は、図１０を参照して説明したクレーン制御の例における、ベースライン選択テーブル２１６の例を示す。ベースライン選択部２１２は、ユーザ入力データ２１５に基づき、ベースライン選択テーブル２１６を生成する。例えば、ベースライン選択部２１２は、予め定義されているフェーズから、状況とユーザ行動の組み合わせに対して予め関連付けられているフェーズを選択する。または、ベースライン選択テーブル２１６は、ユーザが入力したＫＰＩに対して予め関連付けられていてもよく、状況と行動の入力が省略されてもよい。

図１５の例において、フェーズ種別３６１は、三つのフェーズを示し、それらは、加速フェーズ、速度維持フェーズ及び減速フェーズである。それらは、それぞれ、移動開始及び加速の組み合わせ、クレーンが最高速に到達及び速度維持の組み合わせ、ゴール位置近くに到着及び減速の組み合わせ、に関連付けられる。

フェーズ特定方法３６２は、エピソードにおいて上記三つのフェーズそれぞれを特定する方法を示す。フェーズ特定方法は、フェーズ種別３６１が示すフェーズに対して予め関連付けられている。ベースライン３６３は、上記三つのフェーズそれぞれにおけるベースラインを示す。ベースラインは、フェーズ種別３６１が示すフェーズに対して予め関連付けられている。

加速フェーズ及び減速フェーズのベースラインは、スタート位置である。スタート位置におけるポリシモデル２０１への入力値が、寄与度算出の基準として使用される。速度維持フェーズのベースラインは平均値である。エピソードにおけるポリシモデル２０１への入力値の平均値が、寄与度算出の基準として使用される。

クラスタリング部２１１は、ベースライン選択テーブル２１６に従って、エピソードにおいて複数のフェーズを構成する。クラスタリング部２１１は、フェーズ特定方法３６２が示す方法に従って、エピソードにおけるフェーズを決定する。本例において、図１６が示すように、エピソードは、加速フェーズ（フェーズ（１））、速度維持フェーズ（フェーズ（２））及び減速フェーズ（フェーズ（３））に分割される。速度維持フェーズ（フェーズ（２））が加速フェーズ（フェーズ（１））に続き、減速フェーズ（フェーズ（３））が速度維持フェーズ（フェーズ（２））に続く。

本例において、クラスタリング部２１１は、台車３７１の速度に基づきフェーズを決定する。台車３７１の速度は、エピソードにおいてフェーズを構成するためのＫＰＩである。クラスタリングのためのＫＰＩは、フェーズ特定方法３６２に示されており、上述のように、ユーザ指定されるＫＰＩから導出される。本例において、ユーザ指定されたＫＰＩとクラスタリングのためのＫＰＩが異なるが、これらが一致していることもある。

寄与度算出部２１３は、ベースライン選択テーブル２１６が示す三つのフェーズそれぞれにおいて、対応するベースラインの入力基準データをエピソードから取得し、各ステップにおける入力特徴量（状態要素）それぞれの寄与度を算出する。説明生成部２１４は、エピソードのフェーズ毎の寄与度に基づいて、ポリシモデル２０１の説明データ２２０を生成する。

図１７は、説明データ２２０から生成される説明画像の例４５０を示す。説明画像４５０は、それぞれ異なる種類の説明画像を示す複数のセクションを含む。複数の種類の説明画像を表示することで、ユーザの理解を深めることができる。なお、以下に説明するセクションの一部は省略されていてもよい。

セクション４５１は、行動の時間変化のグラフ、特定の入力特徴量（状態の要素）の時間変化、及び特定のＫＰＩの時間変化のグラフを示す。特定のＫＰＩは、例えば、ＧＵＩ画像４００においてユーザにより指定されたＫＰＩや、クラスタリングにおいて使用されたＫＰＩである。グラフにおいて、フェーズが矩形で示されている。セクション４５１におけるグラフは模式図であり、図１１が示すグラフとは一致していない。これらグラフにより、ポリシモデル２０１が動作する環境の時間変化及びそれに対する行動を、ユーザが容易に認識することができる。

セクション４５２は、フェーズの変化を示す状態遷移図を示す。セクション４５２は、複数のフェーズ、それらの順序及びフェーズ変化のトリガの情報を示す。示されるフェーズは、クラスタリング部２１１によるエピソードのクラスタリングにより決まるフェーズに対応する。フェーズ遷移のトリガは、例えば、遷移前後のフェーズの組み合わせに対して予め設定されている。フェーズ遷移を示す状態遷移図により、ユーザが、説明の基準となるフェーズを容易に認識できる。

セクション４５３は、入力特徴量の寄与度の時間変化のグラフを示す。図１７は、模式的に、二つの入力特徴量（状態要素）Ｓ＿１、Ｓ＿２の寄与度の時間変化を示している。これにより、ユーザが寄与度の時間変化及び寄与度間の関係を容易に認識することができる。

セクション４５４は、ポリシモデル２０１の根拠の説明文を示す。セクション４５４は、例えば、指定されたステップにおけるポリシモデル２０１の根拠を説明する。ステップの指定は、例えば、セクション４５１における行動の時間変化のグラフにおいて、特定の点にポインタ置くことによりなされる。説明文は、例えば、行動が選択された理由を寄与度の観点から説明する。説明文は、例えば、寄与度が大きい入力特徴量の情報とフェーズの情報を提示する。説明文により、ユーザは、より容易にポリシモデル２０１の行動の理由を理解することができる。

図１８は、説明データ２２０から生成されるサリエンシビデオの一つのフレーム画像４７０を示す。サリエンシビデオは、ポリシモデルの根拠を説明する画像（動画像）の例である。サリエンシビデオは、移動する台車３７１及び物体３７３の動きを表現する。サリエンスビデオは、その時々の寄与度が高い入力特徴量を示すように、画像内の一部を強調して表示する。図１８の画像４７０において、台車３７１及びレール３７５（の一部）が強調表示されている。

図１８の例において、台車３７１は速度ｖと対応付けられ、レール３７５は移動距離ｘと対応付けられている。また、例えば、ワイヤ３７２はワイヤの角度φと対応付けられ、物体３７３は物体の角速度ωと対応付けられる。図１８に示す画像４７０は、ポリシモデル２０１によるこの時の行動の決定に対して、台車３７１の速度と移動距離の寄与度が大きいことを示す。例えば、寄与度が所定の閾値を超える場合に、その寄与度に対応する画像要素が強調表示される。

サリエンシビデオにより、ユーザは直感的に、容易に、ポリシモデル２０１の行動に大きき寄与している要素を認識することができる。サリエンシビデオは、図１７に示す画像４５０と同時表示されてもよい。また、図１７に示す画像４５０及びサリエンシビデオの一方のみが提供されてもよい。図１７及び図１８が示す説明画像は一例であって、計算機システムは、他の任意の態様で、ポリシモデル２０１の根拠を説明する画像を生成してもよい。

次に、複数の装置を含む工場に投入するアイテムの順序を制御する例を説明する。図１９は、工場及び工場へ投入するアイテムを制御するシステムの構成例を模式的に示す。ディスパッチャ５１０は、ポリシモデル２０１の出力にしたがって、複数の装置５０１を有する工場５００に投入するアイテム５２１をキュー５２０から選択する。キュー５２０からのアイテム５２１の選択が、ポリシモデル２０１が出力する行動である。装置５０１、アイテム５２１、及び工場５００の状態等が環境として定義され、環境モデル２０２によりシミュレートされる。

図１９に示すシステムでは、装置５０１毎に、投入時間、投入されたアイテム５２１の種別、アイテム５２１の温度、装置５０１の状態、装置５０１への次のアイテム５２１の投入待ち時間等の状態データが取得される。また、各アイテム５２１に、納期や種別等の属性情報が与えられている。ＫＰＩとしては、アイテム５２１の処理に要する処理時間及び納期余裕時間等のアイテム５２１個々のＫＰＩや、平均処理時間及び納期順守率等のシステム全体のＫＰＩが考えられる。

図２０は、図１９を参照して説明したアイテム投入順序制御の例における、ユーザ入力データ２１５の例を示す。上述のように、図１３に示すＧＵＩ画像４００を介して又は予め格納されているファイルから、ユーザ入力データ２１５が取得される。ユーザ入力データ２１５は、指定されたＫＰＩのリスト４２１及び状況とユーザ行動の組み合わせのリスト４２２を含む。

図２０の例において、ＫＰＩは、工場５００内のアイテムの総待機時間と、工場５００内のアイテムの総納期遅れ時間である。一つのアイテムの待機時間は、アイテムが工場５００に投入されてから、現在までの装置５０１での待機時間の合計である。総待機時間は、工場５００内に存在する全てのアイテムの待機時間の合計である。一つのアイテムの納期遅れ時間は、当該アイテムの納期からの経過時間である。現在時刻が納期前である場合、納期遅れ時間はゼロである。総納期遅れ時間は、工場５００内に存在する全てのアイテムの納期遅れ時間の合計である。

ユーザ入力データ２１５は、状況と行動の四つの組み合わせを示している。総待機時間が減少し、総納期遅れ時間が減少する状況において、ユーザ行動は現在プランを維持する。総待機時間が減少し、総納期遅れ時間が増加する状況において、ユーザ行動は現在プランを一部変更する。総待機時間が増加し、総納期遅れ時間が減少する状況において、ユーザ行動は現在プランを一部変更する。総待機時間が増加し、総納期遅れ時間が増加する状況において、ユーザ行動は現在プランを大きく変更する。

図２１は、図１９を参照して説明したアイテム投入順序制御の例における、ベースライン選択テーブル２１６の例を示す。上述のように、ベースライン選択部２１２は、図２０に示すユーザ入力データ２１５に基づき、図２１に示すベースライン選択テーブル２１６を生成する。図２１の例において、フェーズ種別３６１は、四つのフェーズを示す。

フェーズ（Ｌ－、Ｒ－）において、総待機時間Ｌが減少し、総納期遅れ時間Ｒが減少する。フェーズ（Ｌ－、Ｒ＋）において、総待機時間Ｌが減少し、総納期遅れ時間Ｒが増加する。フェーズ（Ｌ＋、Ｒ－）において、総待機時間Ｌが増加し、総納期遅れ時間Ｒが減少する。フェーズ（Ｌ＋、Ｒ＋）において、総待機時間Ｌが増加し、総納期遅れ時間Ｒが増加する。フェーズは、それぞれ、ユーザ入力データ２１５の状況に対応している。

フェーズ特定方法３６２は、フェーズ種別３６１の各フェーズを特定するために使用するＫＰＩとして、総待機時間Ｌ及び総納期遅れ時間Ｒを示す。本例において、二つのＫＰＩがエピソードをフェーズに分割するために使用され、それらはユーザ指定されたＫＰＩと一致している。ベースライン３６３は、各フェーズのベースラインとして、所定のフェーズを指定する。寄与度の計算において、例えば、ベースラインフェーズにおける入力特徴量の平均値が使用される。

フェーズ特定方法及びベースラインの組み合わせは、フェーズ種別それぞれに、予め関連付けられている。関連付けは、ＫＰＩの種別毎に定義されていてもよく、複数のＫＰＩに対して共通の関連付け定義が適用されてもよい。例えば、フェーズ種別、フェーズ特定方法及びベースラインの組み合わせは、任意のＫＰＩに対して定義される。ベースライン選択テーブル２１６は、ユーザが入力したＫＰＩに対して予め関連付けられていてもよく、状況と行動の入力が省略されてもよい。

クラスタリング部２１１は、図２１に示すベースライン選択テーブル２１６に従って、エピソードにおいて複数のフェーズを構成する。総待機時間Ｌ及び総納期遅れ時間Ｒの変化の傾向は、連続するステップにおける総待機時間Ｌ及び総納期遅れ時間Ｒの値に基づき決定することができる。クラスタリング部２１１は、エピソードにおける総待機時間Ｌ及び総納期遅れ時間Ｒの変化を予め定められたルールに従って解析して、エピソードにおけるフェーズを構成するステップ及びフェーズの種類を決定することができる。

図２２は、図２１に示すベースライン選択テーブル２１６に従って、クラスタリング部２１１が、エピソードにおいて複数のフェーズを構成する例を示す。クラスタリング部２１１は、総待機時間Ｌ及び総納期遅れ時間Ｒに基づきフェーズを決定する。図２２の例において、四つのフェーズが構成されている。それらは、初期フェーズ、フェーズ（Ｌ＋、Ｒ＋）、フェーズ（Ｌ－、Ｒ＋）及びフェーズ（Ｌ－、Ｒ－）である。この順で、フェーズが遷移している。図２２に示す例において、ベースライン選択テーブル２１６が示す四つのフェーズの内の三つが適用されている。

寄与度算出部２１３は、初期フェーズに対して予め設定されているベースライン、ベースライン選択テーブル２１６が示すフェーズそれぞれに対応するベースライン、の入力基準データをエピソードから取得する。初期フェーズの入力基準データは、例えば初期フェーズにおける入力特徴量の平均値である。寄与度算出部２１３は、各ステップにおける入力特徴量（状態要素）それぞれの寄与度を算出する。

説明生成部２１４は、エピソードのフェーズ毎の寄与度に基づいて、ポリシモデル２０１の説明データ２２０を生成する。説明生成部２１４は、ポリシモデルの根拠を説明するため、図１７を参照して説明したような様々なグラフや文章を含む画像を作成してもよく、図１８を説明したようなサリエンシビデオを生成してもよい。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成・機能・処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。

１００ 強化学習サーバ、１０１ ＣＰＵ、１０２ メモリ、１０３ ストレージ装置、１０４ ネットワークインタフェース、１１０ 説明生成サーバ、１１２ メモリ、１１３ ストレージ装置、１１４ ネットワークインタフェース、１２０ ユーザ端末、１２２ メモリ、１２３ ストレージ装置、１２４ ネットワークインタフェース、１２５ 入力装置、１２６ 出力装置、１４０ ネットワーク、２００ シミュレータ、２０１ ポリシモデル、２０２ 環境モデル、２０４ エピソードデータベース、２１１ クラスタリング部、２１２ ベースライン選択部、２１３ 寄与度算出部、２１４ 説明生成部、２１５ ユーザ入力データ、２１６ ベースライン選択テーブル、２１７ 複数フェーズを含むエピソード、２２０ 説明データ、２２１ アプリケーション、３０１ ネットワーク、３０２ ａｒｇｍａｘ関数、３５０ エピソードテーブル、３７０ クレーン、３７１ 台車、３７２ ワイヤ、３７３ 物体、３７５ レール、３７６ スタート位置、３７７ ゴール位置、３７８ ゴール領域、４００ ユーザ入力画像、４５０ 説明画像、４７０ サリエンシビデオの画像、５００ 工場、５０１ 装置、５１０ ディスパッチャ、５２０ キュー、５２１ アイテム

Claims (12)

1. 機械学習モデルの根拠の説明を生成する計算機システムであって、
   １以上のプロセッサと、
   前記１以上のプロセッサが実行するプログラムを格納する１以上の記憶装置と、を含み、
   前記機械学習モデルは、状態が変化する環境において適切な出力を推定し、
   前記１以上のプロセッサは、
   エピソードを取得し、前記エピソードは異なる時刻のステップを含み、前記ステップの各ステップは前記環境の状態及び前記状態における前記機械学習モデルの選択した出力を示し、
   前記エピソードにおいて、変化する１以上の指標に基づき１以上の連続するステップからなる複数のフェーズを構成し、
   前記複数のフェーズにおける前記機械学習モデルの根拠を説明するデータを生成する、計算機システム。
2. 請求項１に記載の計算機システムであって、
   前記１以上のプロセッサは、前記複数のフェーズそれぞれに対して前記機械学習モデルの根拠を説明するための基準を決定し、前記基準に基づいて前記機械学習モデルの根拠を説明するデータを生成する、計算機システム。
3. 請求項２に記載の計算機システムであって、
   前記１以上のプロセッサは、ユーザ入力に従って前記１以上の指標を決定する、計算機システム。
4. 請求項３に記載の計算機システムであって、
   前記１以上のプロセッサは、前記エピソードに適用するフェーズ種別、前記フェーズ種別を特定する方法及び前記フェーズ種別それぞれの基準を示す情報を、前記ユーザ入力に応じて生成する、計算機システム。
5. 請求項１に記載の計算機システムであって、
   出力装置をさらに含み、
   前記出力装置は、前記機械学習モデルの根拠を説明するサリエンシビデオを表示する、計算機システム。
6. 請求項１に記載の計算機システムであって、
   出力装置をさらに含み、
   前記出力装置は、前記機械学習モデルの根拠を説明する、フェーズの変化の状態遷移図を表示する、計算機システム。
7. 計算機システムが、機械学習モデルの根拠の説明を生成する方法であって、
   前記機械学習モデルは、状態が変化する環境において適切な出力を推定し、
   前記方法は、前記計算機システムが、
   エピソードを取得し、前記エピソードは異なる時刻のステップを含み、前記ステップの各ステップは前記環境の状態及び前記状態における前記機械学習モデルの選択した出力を示し、
   前記エピソードにおいて、変化する１以上の指標に基づき１以上の連続するステップからなる複数のフェーズを構成し、
   前記複数のフェーズにおける前記機械学習モデルの根拠を説明するデータを生成する、方法。
8. 請求項７に記載の方法であって、
   前記計算機システムが、前記複数のフェーズそれぞれに対して前記機械学習モデルの根拠を説明するための基準を決定し、前記基準に基づいて前記機械学習モデルの根拠を説明するデータを生成する、方法。
9. 請求項８に記載の方法であって、
   前記計算機システムが、ユーザ入力に従って前記１以上の指標を決定する、方法。
10. 請求項９に記載の方法であって、
    前記計算機システムが、前記エピソードに適用するフェーズ種別、前記フェーズ種別を特定する方法及び前記フェーズ種別それぞれの基準を示す情報を、前記ユーザ入力に応じて生成する、方法。
11. 請求項７に記載の方法であって、
    前記計算機システムが、前記機械学習モデルの根拠を説明するサリエンシビデオを表示する、方法。
12. 請求項７に記載の方法であって、
    前記計算機システムが、前記機械学習モデルの根拠を説明する、フェーズの変化の状態遷移図を表示する、方法。

Images