JP7448026B2 - 検知プログラム、モデル生成プログラム、検知方法、モデル生成方法、検知装置及びモデル生成装置 - Google Patents

検知プログラム、モデル生成プログラム、検知方法、モデル生成方法、検知装置及びモデル生成装置 Download PDF

Info

Publication number
JP7448026B2
JP7448026B2 JP2022551471A JP2022551471A JP7448026B2 JP 7448026 B2 JP7448026 B2 JP 7448026B2 JP 2022551471 A JP2022551471 A JP 2022551471A JP 2022551471 A JP2022551471 A JP 2022551471A JP 7448026 B2 JP7448026 B2 JP 7448026B2
Authority
JP
Japan
Prior art keywords
machine learning
data
learning model
training data
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022551471A
Other languages
English (en)
Other versions
JPWO2022064570A1 (ja
JPWO2022064570A5 (ja
Inventor
佳寛 大川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2022064570A1 publication Critical patent/JPWO2022064570A1/ja
Publication of JPWO2022064570A5 publication Critical patent/JPWO2022064570A5/ja
Application granted granted Critical
Publication of JP7448026B2 publication Critical patent/JP7448026B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Description

本発明は、訓練データを用いたモデル生成技術に関する。
近年、企業等で利用されている情報システムに対して、データの判定機能、分類機能等を有する機械学習モデルの導入が進んでいる。以下、情報システムを「システム」と表記する。機械学習モデルは、システム開発時に学習させた訓練データの通りに判定、分類を行うため、システム運用中に入力データの傾向が変化すると、機械学習モデルの精度が劣化する。
図２１は、入力データの傾向の変化による機械学習モデルの劣化を説明するための図である。ここで説明する機械学習モデルは、入力データを第１クラス、第２クラス、第３クラスのいずれかに分類するモデルであり、システム運用前に、訓練データに基づき、予め訓練されているものとする。
図２１において、分布１Ａは、システム運用初期の入力データの分布を示す。分布１Ｂは、システム運用初期からＴ１時間経過した時点の入力データの分布を示す。分布１Ｃは、システム運用初期から更にＴ２時間経過した時点の入力データの分布を示す。時間経過に伴って、入力データの傾向（特徴量等）が変化するものとする。たとえば、入力データが画像であれば、同一の被写体を撮影した画像であっても、季節や時間帯に応じて、入力データの傾向が変化する。
決定境界３は、モデル適用領域３ａ～３ｃの境界を示すものである。たとえば、モデル適用領域３ａは、第１クラスに属する訓練データが分布する領域である。モデル適用領域３ｂは、第２クラスに属する訓練データが分布する領域である。モデル適用領域３ｃは、第３クラスに属する訓練データが分布する領域である。
星印は、第１クラスに属する入力データであり、機械学習モデルに入力した際に、モデル適用領域３ａに分類されることが正しい。三角印は、第２クラスに属する入力データであり、機械学習モデルに入力した際に、モデル適用領域３ｂに分類されることが正しい。丸印は、第３クラスに属する入力データであり、機械学習モデルに入力した際に、モデル適用領域３ｃに分類されることが正しい。
分布１Ａでは、全ての入力データが正常なモデル適用領域に分布している。すなわち、星印の入力データがモデル適用領域３ａに位置し、三角印の入力データがモデル適用領域３ｂに位置し、丸印の入力データがモデル適用領域３ｃに位置している。
分布１Ｂでは、入力データの傾向が変化したため、全ての入力データが、正常なモデル適用領域に分布しているものの、星印の入力データの分布がモデル適用領域３ｂの方向に変化している。
分布１Ｃでは、入力データの傾向が更に変化し、星印の一部の入力データが、決定境界３を跨いで、モデル適用領域３ｂに移動しており、適切に分類されておらず、正解率が低下している（機械学習モデルの精度が劣化している）。
ここで、運用中の機械学習モデルの精度劣化を検知する技術として、Ｔ２統計量（Hotelling's T-square）を用いる従来技術がある。この従来技術では、入力データおよび正常データ（訓練データ）のデータ群を主成分分析し、入力データのＴ２統計量を算出する。Ｔ２統計量は、標準化した各主成分の原点からデータまでの距離の二乗を合計したものである。従来技術は、入力データ群のＴ２統計量の分布の変化を基にして、機械学習モデルの精度劣化を検知する。たとえば、入力データ群のＴ２統計量は、異常値データの割合に対応する。
A.Shabbak and H. Midi,"An Improvement of the Hotelling Statistic in Monitoring Multivariate Quality Characteristics",Mathematical Problems in Engineering (2012) 1-15.
しかしながら、上述した従来技術では、機械学習モデルの精度劣化を引き起こす可能性のあるデータの分布の変化を検知することができないという問題がある。
たとえば、元々の情報量が非常に大きい高次元（数千～数万次元）データでは、従来技術のように、主成分分析により次元を削減すると、ほとんどの情報が失われてしまう。そのため、分類や判定を行うための重要な情報（特徴量）まで落ちてしまい、機械学習モデルの精度劣化を引き起こす可能性のあるデータの分布の変化を検知することができない。
１つの側面では、本発明は、機械学習モデルの精度劣化を引き起こす可能性のあるデータの分布の変化を検知することができるモデル生成プログラム、モデル生成方法及びモデル生成装置を提供することを目的とする。
１つの態様において、モデル生成プログラムは、第１の複数のデータの第１の機械学習モデルへの入力に応じて、第１の機械学習モデルから出力された結果を取得する処理をコンピュータに実行させる。モデル生成プログラムは、結果に基づいて、第１の複数のデータから第２の複数のデータを選択する処理をコンピュータに実行させる。モデル生成プログラムは、第２の複数のデータを入力とし、第１の機械学習モデルに含まれる複数のパラメータのうち一部のパラメータを固定した状態で機械学習を実行することによって、第２の機械学習モデルを生成する処理をコンピュータに実行させる。
機械学習モデルの精度劣化を引き起こす可能性のあるデータの分布の変化を検知することができる。
図１は、参考技術を説明するための図である。 図２は、監視対象の機械学習モデルの精度劣化を検知する仕組みを説明するための図である。 図３は、参考技術の処理を説明するための図（１）である。 図４は、参考技術の処理を説明するための図（２）である。 図５は、参考技術の問題を説明するための図である。 図６は、本実施形態に係るモデル生成装置の処理を説明するための図である。 図７は、本実施形態に係るモデル生成装置の構成を示す機能ブロック図である。 図８は、訓練データセットのデータ構造の一例を示す図である。 図９は、訓練データの一例を示す図である。 図１０は、機械学習モデルの一例を説明するための図である。 図１１は、インスペクターテーブルのデータ構造の一例を示す図である。 図１２は、訓練データテーブルのデータ構造の一例を示す図である。 図１３は、運用データテーブルのデータ構造の一例を示す図である。 図１４は、各インスペクターの分類結果の一例を示す図である。 図１５は、検知部の処理を説明するための図である。 図１６は、本実施形態に係るモデル生成装置の処理手順を示すフローチャート（１）である。 図１７は、機械学習処理の処理手順を示すフローチャートである。 図１８は、本実施形態に係るモデル生成装置の処理手順を示すフローチャート（２）である。 図１９は、本実施形態に係るモデル生成装置の効果を説明するための図である。 図２０は、本実施形態に係るモデル生成装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図２１は、入力データの傾向の変化による機械学習モデルの劣化を説明するための図である。
以下に、本願の開示するモデル生成プログラム、モデル生成方法及びモデル生成装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
本実施形態の説明を行う前に、機械学習モデルの精度劣化を検知する参考技術について説明する。参考技術では、異なる条件でモデル適用領域を狭めた複数の監視器を用いて、機械学習モデルの精度劣化を検知する。以下の説明では、監視器を「インスペクター」と表記する。
図１は、参考技術を説明するための図である。機械学習モデル１０は、訓練データを用いて機械学習を実行した機械学習モデルである。参考技術では、機械学習モデル１０の精度劣化を検知する。訓練データは、機械学習モデル１０のパラメータについて、機械学習を実行する場合に用いられ、正解ラベルが対応付けられる。なお、参考技術では、検証データを用いて、機械学習モデル１０を検証する。
インスペクター１１Ａ，１１Ｂ，１１Ｃは、それぞれ異なる条件でモデル適用領域が狭められ、異なる決定境界を有する。インスペクター１１Ａ～１１Ｃは、それぞれ決定境界が異なるため、同一の入力データを入力しても、出力結果が異なる場合がある。参考技術では、インスペクター１１Ａ～１１Ｃの出力結果の違いを基にして、機械学習モデル１０の精度劣化を検知する。
図１に示す例では、インスペクター１１Ａ～１１Ｃを示すが、他のインスペクターを用いて、精度劣化を検知してもよい。インスペクター１１Ａ～１１Ｃの機械学習モデルにはＤＮＮ（Deep Neural Network）を利用する。インスペクター１１Ａを、機械学習モデル１０と同一の訓練データを用いて機械学習を実行した機械学習モデルとする。
図２は、監視対象の機械学習モデルの精度劣化を検知する仕組みを説明するための図である。図２では、インスペクター１１Ａ，１１Ｂを用いて説明を行う。インスペクター１１Ａの決定境界を決定境界１２Ａとし、インスペクター１１Ｂの決定境界を決定境界１２Ｂとする。決定境界１２Ａと、決定境界１２Ｂとの位置はそれぞれ異なっており、モデル適用領域が異なる。
入力データがモデル適用領域４Ａに位置する場合には、入力データは、インスペクター１１Ａによって、第１クラスに分類される。入力データがモデル適用領域５Ａに位置する場合には、入力データは、インスペクター１１Ａによって、第２クラスに分類される。
入力データがモデル適用領域４Ｂに位置する場合には、入力データは、インスペクター１１Ｂによって、第１クラスに分類される。入力データがモデル適用領域５Ｂに位置する場合には、入力データは、インスペクター１１Ｂによって、第２クラスに分類される。
たとえば、運用初期の時間Ｔ１において、入力データＤＴ１をインスペクター１１Ａに入力すると、入力データＤＴ１はモデル適用領域４Ａに位置するため、「第１クラス」に分類される。入力データＤＴ１をインスペクター１１Ｂに入力すると、入力データＤＴ１はモデル適用領域４Ｂに位置するため、「第１クラス」に分類される。入力データＤＴ１を入力した場合の分類結果が、インスペクター１１Ａと、インスペクター１１Ｂとで同一であるため「劣化なし」と判定される。
運用初期から時間経過した時間Ｔ２において、入力データの傾向が変化して、入力データＤＴ２となる。入力データＤＴ２をインスペクター１１Ａに入力すると、入力データＤＴ２はモデル適用領域４Ａに位置するため、「第１クラス」に分類される。一方、入力データＤＴ２をインスペクター１１Ｂに入力すると、入力データＤＴ２はモデル適用領域４Ｂに位置するため、「第２クラス」に分類される。入力データＤＴ２を入力した場合の分類結果が、インスペクター１１Ａと、インスペクター１１Ｂとで異なるため「劣化あり」と判定される。
ここで、参考技術では、モデル適用範囲を狭めたインスペクターを生成する場合、監視対象となる機械学習モデルと同じ訓練データのデータセットから、スコアの低い訓練データを除外した訓練データのデータセットを用いて、インスペクターの機械学習を実行する。以下の説明では、訓練データのデータセットを「訓練データセット」と表記する。訓練データセットには、複数の訓練データが含まれる。たとえば、機械学習モデルが訓練データに対して分類（推論）を行う際に途中で算出される値が、スコアとなる。
図３は、参考技術の処理を説明するための図（１）である。図３では、説明の便宜上、訓練データの正解ラベル（分類クラス）が、第１クラスまたは第２クラスである場合について説明する。丸印は、正解ラベルが第１クラスの訓練データである。三角印は、正解ラベルが第２クラスの訓練データである。
分布３０Ａは、インスペクター１１Ａを作成する訓練データセットの分布を示す。インスペクター１１Ａを訓練する場合の訓練データセットを、監視対象の機械学習モデル１０を訓練する場合の訓練データセットと同一の訓練データセットとする。第１クラスのモデル適用領域３１Ａと、第２クラスのモデル適用領域３２Ａとの決定境界を、決定境界３３Ａとする。
インスペクター１１Ａに、既存の機械学習モデル（ＤＮＮ）を用いた場合、各訓練データに対するスコアの値は、その機械学習モデルの決定境界に近いほど、小さな値となる。従って、複数の訓練データのうち、スコアの小さな訓練データを訓練データセットから除外した、新たな訓練データセットを用いて訓練することで、機械学習モデルの適用領域を狭めたインスペクターを生成することができる。
分布３０Ａにおいて、領域３４に含まれる各訓練データは、決定境界３３Ａから離れているため、スコアが高い。領域３５に含まれている各訓練データは、決定境界３３Ａから近いため、スコアが低い。参考技術を実行する装置は、分布３０Ａに含まれる訓練データセットから、領域３５に含まれる各訓練データを削除した、新たな訓練データセットを作成する。以下の説明では、参考技術を実行する装置を「参考装置」と表記する。
参考装置は、新たな訓練データセットによって、機械学習モデルの機械学習を実行することで、インスペクター１１Ｂを生成する。分布３０Ｂは、インスペクター１１Ｂを生成する新たな訓練データセットの分布を示す。第１クラスのモデル適用領域３１Ｂと、第２クラスのモデル適用領域３２Ｂとの決定境界を、決定境界３３Ｂとする。新たな訓練データセットでは、決定境界３３Ａに近い領域３５の各訓練データが除外されているため、決定境界３３Ｂの位置が移動し、第１クラスのモデル適用領域３１Ｂが、第１クラスのモデル適用領域３１Ａよりも狭くなっている。
図４は、参考技術の処理を説明するための図（２）である。参考装置は、訓練データから分類クラスを指定して、スコアの低いデータを除外することで、特定の分類クラスのモデル適用領域を狭める。
ここで、各訓練データには、分類クラスを示す正解ラベルが対応付けられている。参考装置が、第１クラスに対応するモデル適用領域を狭めたインスペクター１１Ｂを生成する処理について説明する。参考装置は、訓練データセットから、正解ラベルが「第１クラス」となる訓練データであって、スコアの低い訓練データを除外した第１訓練データセットを用いて、インスペクター１１Ｂの機械学習を実行する。
ここで、分布３０Ａは、インスペクター１１Ａを生成する訓練データセットの分布を示す。インスペクター１１Ａを生成する訓練データセットは、監視対象の機械学習モデル１０を機械学習する場合に用いる訓練データセットと同じものとする。第１クラスのモデル適用領域３１Ａと、第２クラスのモデル適用領域３２Ａとの決定境界を、決定境界３３Ａとする。
参考装置は、分布３０Ａに含まれる訓練データセットの正解ラベルが「第１クラス」となる各訓練データを、インスペクター１１Ａに入力することで、訓練データのスコアを算出し、スコアが閾値未満となる訓練データを特定する。参考装置は、特定した訓練データを、分布３０Ａに含まれる訓練データセットから除外した新たな第１訓練データセットを作成する。正解ラベルが「第２クラス」となる訓練データは、第１訓練データセットに残る。
参考装置は、第１訓練データセットを用いて、インスペクター１１Ｂの機械学習を実行する。分布３０Ｂは、第１訓練データセットの分布を示す。第１クラスのモデル適用領域３１Ｂと、第２クラスのモデル適用領域３２Ｂとの決定境界を、決定境界３３Ｂとする。第１訓練データセットでは、決定境界３３Ａに近い各訓練データが除外されているため、決定境界３３Ｂの位置が移動し、第１クラスのモデル適用領域３１Ｂが、第１クラスのモデル適用領域３１Ａよりも狭くなっている。
続いて、参考装置が、第２クラスに対応するモデル適用領域を狭めたインスペクター１１Ｃを作成する処理について説明する。参考装置は、訓練データセットから、正解ラベルが「第２クラス」となる訓練データであって、スコアの低い訓練データを除外した第２訓練データセットを用いて、インスペクター１１Ｃの機械学習を実行する。
参考装置は、分布３０Ａに含まれる訓練データセットの正解ラベルが「第２クラス」となる各訓練データを、インスペクター１１Ａに入力することで、訓練データのスコアを算出し、スコアが閾値未満となる訓練データを特定する。参考装置は、特定した訓練データを、分布３０Ａに含まれる訓練データセットから除外した新たな第２訓練データセットを作成する。正解ラベルが「第１クラス」となる訓練データは、第２訓練データセットに残る。
参考装置は、第２訓練データセットを用いて、インスペクター１１Ｃの機械学習を実行する。分布３０Ｃは、第２訓練データセットの分布を示す。第１クラスのモデル適用領域３１Ｃと、第２クラスのモデル適用領域３２Ｃとの決定境界を、決定境界３３Ｃとする。第２訓練データセットでは、決定境界３３Ａに近い各訓練データが除外されているため、決定境界３３Ｃの位置が移動し、第２クラスのモデル適用領域３２Ｃが、第２クラスのモデル適用領域３２Ａよりも狭くなっている。
上記のように、参考技術では、監視対象の機械学習モデルの機械学習で用いた訓練データセットから、スコアの低い訓練データを分類クラス毎に除外した訓練データセットを用いて、インスペクターの機械学習を実行することで、モデル適用領域を狭めている。
ここで、参考技術の問題について説明する。参考技術では、ある特定の分類クラスのモデル適用範囲を狭めたインスペクターの機械学習を実行する場合の計算コストが、監視対象の機械学習モデルの機械学習を実行する計算コストと同程度になる。このため、分類クラスの数が多くなると、分類クラスに対応した複数のインスペクターの機械学習を実行する場合の計算コストも比例して増加する。
また、機械学習を実行した複数のインスペクターを用いて監視対象の機械学習モデルの精度低下を検知した後に、低下した精度を回復させるために、最新の訓練データセットを用いて、機械学習モデルおよび各分類クラスのインスペクターの機械学習を再度実行することになる。
図５は、参考技術の問題を説明するための図である。図５のグラフＧ１の横軸は、経過時間に対応する軸であり、縦軸は、機械学習モデルの正解率に対応する軸である。線分ｌ１は、経過時間と、機械学習モデルの正解率との関係を示す。線分ｌ１が正解率Ｒ１以下となったタイミングｔ１、ｔ２、ｔ３において、機械学習モデルの精度が許容性能を下回り、機械学習モデルおよび各インスペクターの機械学習が再度実行される。
たとえば、分類クラスの数をｎｃとすると、監視対象の機械学習モデルと、ｎｃ個のインスペクターの機械学習が、タイミングｔ１、ｔ２、ｔ３において実行される。このため、参考技術では、機械学習モデルおよび各インスペクターの継続的な運用に係る計算コストが大きくなる。
次に、本実施形態に係るモデル生成装置の処理の一例について説明する。図６は、本実施形態に係るモデル生成装置の処理を説明するための図である。本実施形態に係るモデル生成装置は、下記の処理を行うことで、インスペクター２１Ａ～２１Ｃの機械学習を実行する。本実施形態では、インスペクター２１Ａ～２１Ｃの機械学習モデルを、ＤＮＮによって実現する。
たとえば、インスペクター２１Ａ～２１Ｃは、ニューラルネットワークの構造を有し、入力層、複数の隠れ層、出力層を持つ。入力層、複数の隠れ層、出力層は、複数のノードがエッジで結ばれる構造となっている。複数の隠れ層、出力層は、活性化関数と呼ばれる関数とバイアス値とを持ち、エッジは、重みを持つ。以下の説明では、複数の隠れ層、出力層に設定されるバイアス値、重みを「パラメータ」と表記する。また、入力層、複数の隠れ層、出力層をまとめて、「複数の層」と表記する。
モデル生成装置は、訓練データセット２２Ａを用いて、インスペクター２１Ａの機械学習を実行する。これによって、インスペクター２１Ａの複数の層のパラメータが訓練される。訓練データセット２２Ａは、監視対象となる機械学習モデルの機械学習を実行する場合の訓練データセットと同一の訓練データセットとする。モデル生成装置は、インスペクター２１Ａの機械学習を実行した後に、訓練データセット２２Ａの各訓練データを、インスペクター２１Ａに入力して、各訓練データの「第１クラス」のスコア、および、「第２クラス」のスコアを算出する。
モデル生成装置は、訓練データセット２２Ａから、正解ラベル「第１クラス」の訓練データであって、スコアが閾値未満となる訓練データを除外した訓練データセット２２Ｂを作成する。正解ラベル「第２クラス」の訓練データは、訓練データセット２２Ｂに残る。
モデル生成装置は、訓練データセット２２Ａから、正解ラベル「第２クラス」の訓練データであって、スコアが閾値未満となる訓練データを除外した訓練データセット２２Ｃを作成する。正解ラベル「第１クラス」の訓練データは、訓練データセット２２Ｃに残る。
モデル生成装置は、インスペクター２１Ａの機械学習を実行することで訓練されたパラメータと同一のパラメータを、インスペクター２１Ｂおよびインスペクター２１Ｃの複数の層に設定する。
モデル生成装置は、訓練データセット２２Ｂを入力として、インスペクター２１Ｂの機械学習を実行する。モデル生成装置は、インスペクター２１Ｂの機械学習を実行する場合に、複数の層に設定された複数のパラメータのうち、一部のパラメータを固定した状態で、機械学習を実行する。図６に示す例では、インスペクター２１Ｂの複数の層２１Ｂ－１の各パラメータを固定し、複数の層２１Ｂ－２の各パラメータを微調整（ファインチューニング）する。
モデル生成装置は、誤差逆伝播法による機械学習を実行することで、訓練データセット２２Ｂの各訓練データをインスペクター２１Ｂに入力した場合の出力結果が、各訓練データの正解ラベルに近づくように、複数の層２１Ｂ－２のパラメータを訓練する。
モデル生成装置は、訓練データセット２２Ｃを入力として、インスペクター２１Ｃの機械学習を実行する。モデル生成装置は、インスペクター２１Ｃの機械学習を実行する場合に、複数の層に設定された複数のパラメータのうち、一部のパラメータを固定した状態で、機械学習を実行する。図６に示す例では、インスペクター２１Ｃの複数の層２１Ｃ－１の各パラメータを固定し、複数の層２１Ｃ－２のパラメータを微調整（ファインチューニング）する。
モデル生成装置は、誤差逆伝播法による機械学習を実行することで、訓練データセット２２Ｃの各訓練データをインスペクター２１Ｃに入力した場合の出力結果が、各訓練データの正解ラベルに近づくように、複数の層２１Ｃ－２のパラメータを訓練する。
上記のように、モデル生成装置は、インスペクター２１Ｂ，２１Ｃの機械学習を実行する場合に、インスペクター２１Ａの訓練済みの複数のパラメータを流用し、一部のパラメータを固定した状態で、機械学習を実行する。このため、インスペクター２１Ｂ，２１Ｃの計算コストを、インスペクター２１Ａの計算コストより少ない計算コストで実現することができる。インスペクター２１Ｂ，２１Ｃの計算コストを少ない計算コストで実現できるので、機械学習モデルの継続的な運用監視にかかる計算コストを削減できる。
また、インスペクター２１Ａ～２１Ｃでは、それぞれ異なる条件でモデル適用領域が狭められ、異なる決定境界を有する。インスペクター１１Ａ～１１Ｃは、それぞれ決定境界が異なるため、同一の入力データを入力しても、出力結果が異なる場合がある。すなわち、モデル生成装置が訓練したインスペクター１１Ａ～１１Ｃの出力結果の違いを基にして、機械学習モデルの精度劣化を引き起こす可能性のあるデータの分布の変化を検知することができる。
次に、本実施形態に係るモデル生成装置の構成の一例について説明する。図７は、本実施形態に係るモデル生成装置の構成を示す機能ブロック図である。図７に示すように、本実施形態に係るモデル生成装置は、通信部１１０と、入力部１２０と、出力部１３０と、記憶部１４０と、制御部１５０とを有する。第１生成部１５１、第２生成部１５２は、生成部の一例である。
通信部１１０は、ネットワークを介して、外部装置（図示略）とデータ通信を実行する。たとえば、通信部１１０は、外部装置から後述する訓練データセット１４１等を受信する。
入力部１２０は、データを入力するための装置またはインタフェースである。
出力部１３０は、制御部１５０からのデータを出力する。
記憶部１４０は、データや制御部１５０が実行するプログラムなどを記憶する記憶装置の一例であり、たとえば、ハードディスクやメモリなどである。記憶部１４０は、訓練データセット１４１、機械学習モデルデータ１４２、インスペクターテーブル１４３、訓練データテーブル１４４、運用データテーブル１４５、出力結果テーブル１４６を記憶する。
訓練データセット１４１は、訓練データに関する各種の情報を保持する。図８は、訓練データセットのデータ構造の一例を示す図である。図８に示すように、この訓練データセットは、レコード番号と、訓練データと、正解ラベルとを対応付ける。レコード番号は、訓練データと、正解ラベルとの組を識別する番号である。訓練データは、メールスパムのデータ、電気需要予測、株価予測、ポーカーハンドのデータ、画像データ等に対応する。正解ラベルは、第１クラス、第２クラス、第３クラスの各分類クラスのうち、いずれかの分類クラスを一意に識別する情報である。
図９は、訓練データの一例を示す図である。図９では、訓練データを画像データとして説明を行うが、訓練データは、メールスパムのデータ、電気需要予測、株価予測、ポーカーハンドのデータであってもよい。訓練データＴＤ１，２は、Ｔシャツの画像データであり、正解ラベル「第１クラス」に対応付けられる。訓練データＴＤ３，４は、ズボンの画像データであり、正解ラベル「第２クラス」に対応付けられる。訓練データＴＤ５，６は、プルオーバーの画像データであり、正解ラベル「第３クラス」に対応付けられる。
機械学習モデルデータ１４２は、機械学習モデルのデータである。図１０は、機械学習モデルの一例を説明するための図である。図１０に示すように、機械学習モデル５０は、ニューラルネットワークの構造を有し、入力層５０ａ、隠れ層５０ｂ、出力層５０ｃを持つ。入力層５０ａ、隠れ層５０ｂ、出力層５０ｃは、複数のノードがエッジで結ばれる構造となっている。隠れ層５０ｂ、出力層５０ｃは、活性化関数と呼ばれる関数とバイアス値とを持ち、エッジは、重みを持つ。複数の層には、バイアス値、重み等のパラメータが設定される。
入力層５０ａに含まれる各ノードに、データ（データの特徴量）を入力すると、隠れ層５０ｂを通って、出力層５０ｃのノード５１ａ，５１ｂ，５１ｃから、各クラスの確率が出力される。たとえば、ノード５１ａから、第１クラスの確率が出力される。ノード５１ｂから、第２クラスの確率が出力される。ノード５１ｃから、第３クラスの確率が出力される。各クラスの確率は、出力層５０ｃの各ノードから出力される値を、ソフトマックス（Softmax）関数に入力することで、算出される。本実施形態では、ソフトマックス関数に入力する前の値が「スコア」となる。
たとえば、正解ラベル「第１クラス」に対応する訓練データを、入力層５０ａに含まれる各ノードに入力した場合に、ノード５１ａから出力される値であって、ソフトマックス関数に入力する前の値を、入力した訓練データのスコアとする。正解ラベル「第２クラス」に対応する訓練データを、入力層５０ａに含まれる各ノードに入力した場合に、ノード５１ｂから出力される値であって、ソフトマックス関数に入力する前の値を、入力した訓練データのスコアとする。正解ラベル「第３クラス」に対応する訓練データを、入力層５０ａに含まれる各ノードに入力した場合に、ノード５１ｃから出力される値であって、ソフトマックス関数に入力する前の値を、入力した訓練データのスコアとする。
機械学習モデル５０に関しては、訓練データセット１４１を入力として、機械学習を実行済みとする。機械学習モデル５０の機械学習を実行する場合、訓練データセット１４１の各訓練データを入力層５０ａに入力し、出力層５０ｃの各ノードの出力結果が、入力した訓練データの正解ラベルに近づくように、機械学習モデル５０のパラメータが訓練される。たとえば、機械学習モデル５０は、誤差逆伝搬法によって、パラメータが訓練される。
図７の説明に戻る。インスペクターテーブル１４３は、機械学習モデル５０の精度劣化を検知する複数のインスペクターのデータを保持するテーブルである。図１１は、インスペクターテーブルのデータ構造の一例を示す図である。図１１に示すように、このインスペクターテーブル１４３は、識別情報と、インスペクターとを対応付ける。識別情報は、インスペクターを識別する情報である。インスペクターは、モデル識別情報に対応するインスペクターのデータである。インスペクターのデータは、図１０で説明した機械学習モデル５０と同様にして、ニューラルネットワークの構造を有し、入力層、隠れ層、出力層を持つ。また、各インスペクターには、それぞれ固有の複数のパラメータが設定される。
以下の説明では、識別情報「Ｍ０」のインスペクターを、「インスペクターＭ０」と表記する。識別情報「Ｍ１」のインスペクターを、「インスペクターＭ１」と表記する。識別情報「Ｍ２」のインスペクターを、「インスペクターＭ２」と表記する。識別情報「Ｍ３」のインスペクターを、「インスペクターＭ３」と表記する。
訓練データテーブル１４４は、各インスペクターを学習するための複数の訓練データセットを有する。図１２は、訓練データテーブルのデータ構造の一例を示す図である。図１２に示すように、訓練データテーブル１４４は、データ識別情報と、訓練データセットとを有する。データ識別情報は、訓練データセットを識別する情報である。訓練データセットは、各インスペクターの機械学習を実行する場合に用いられる訓練データセットである。
データ識別情報「Ｄ１」の訓練データセットは、訓練データセット１４１から、正解ラベル「第１クラス」の訓練データであって、スコアの低い訓練データを除外した訓練データセットである。以下の説明では、データ識別情報「Ｄ１」の訓練データセットを、「訓練データセットＤ１」と表記する。
データ識別情報「Ｄ２」の訓練データセットは、訓練データセット１４１から、正解ラベル「第２クラス」の訓練データであって、スコアの低い訓練データを除外した訓練データセットである。以下の説明では、データ識別情報「Ｄ２」の訓練データセットを、「訓練データセットＤ２」と表記する。
データ識別情報「Ｄ３」の訓練データセットは、訓練データセット１４１から、正解ラベル「第３クラス」の訓練データであって、スコアの低い訓練データを除外した訓練データセットである。以下の説明では、データ識別情報「Ｄ３」の訓練データセットを、「訓練データセットＤ３」と表記する。
運用データテーブル１４５は、時間経過に伴って、追加される運用データセットを有する。図１３は、運用データテーブルのデータ構造の一例を示す図である。図１３に示すように、運用データテーブル１４５は、データ識別情報と、運用データセットとを有する。データ識別情報は、運用データセットを識別する情報である。運用データセットは、複数の運用データが含まれる。運用データは、メールスパムのデータ、電気需要予測、株価予測、ポーカーハンドのデータ、画像データ等に対応する。
データ識別情報「Ｃ０」の運用データセットは、運用開始時（ｔ＝０）において収集された運用データセットである。以下の説明では、データ識別情報「Ｃ０」の運用データセットを、「運用データセットＣ０」と表記する。
データ識別情報「Ｃ１」の運用データセットは、運用開始時からＴ１時間経過後に収集された運用データセットである。以下の説明では、データ識別情報「Ｃ１」の運用データセットを、「運用データセットＣ１」と表記する。
データ識別情報「Ｃ２」の運用データセットは、運用開始時からＴ２（Ｔ２＞Ｔ１）時間経過後に収集された運用データセットである。以下の説明では、データ識別情報「Ｃ２」の運用データセットを、「運用データセットＣ２」と表記する。
データ識別情報「Ｃ３」の運用データセットは、運用開始時からＴ３（Ｔ３＞Ｔ２）時間経過後に収集された運用データセットである。以下の説明では、データ識別情報「Ｃ３」の運用データセットを、「運用データセットＣ３」と表記する。
図示を省略するが、運用データセットＣ０～Ｃ３に含まれる各運用データには、運用データを一意に識別する「運用データ識別情報」が付与されるものとする。運用データセットＣ０～Ｃ３は、外部装置からモデル生成装置１００にデータストリームされ、モデル生成装置１００は、データストリームされた運用データセットＣ０～Ｃ３を、運用データテーブル１４５に登録する。
出力結果テーブル１４６は、各インスペクターＭ０～Ｍ３に、各運用データセットＣ０～Ｃ３を入力した際の、各インスペクターＭ０～Ｍ３の出力結果を登録するテーブルである。
図７の説明に戻る。制御部１５０は、モデル生成装置１００全体を司る処理部であり、第１生成部１５１、選択部１５２、第２生成部１５３、検知部１５４を有する。制御部１５０は、たとえば、プロセッサ等である。
第１生成部１５１は、訓練データセット１４１を取得し、訓練データセット１４１を訓練前のインスペクターＭ０に入力し、インスペクターＭ０の機械学習を実行する。訓練データセット１４１は、機械学習モデル５０の機械学習を実行する場合に用いられる訓練データセットである。
第１生成部１５１は、訓練データセット１４１の各訓練データを、インスペクターＭ０の入力層に入力し、出力層の各ノードの出力結果が、入力した訓練データの正解ラベルに近づくように、インスペクターＭ０の複数の層の複数のパラメータを訓練する。
第１生成部１５１は、訓練済みのインスペクターＭ０のデータを、インスペクターテーブル１４３に登録する。インスペクターＭ０のデータには、インスペクターＭ０の複数の層に設定される複数のパラメータが含まれる。本実施形態では一例として、インスペクターＭ０Ａに、ｎ層が含まれ、訓練された各層のパラメータをθ１～θｎとする。
選択部１５２は、訓練データセット１４１に含まれる各訓練データのスコアを算出し、訓練データセット１４１から、スコアが閾値未満となる訓練データ以外の訓練データを選択し、訓練データセットＤ１～Ｄ３を生成する。
選択部１５２が、「訓練データセットＤ１」を生成する処理について説明する。選択部１５２は、訓練データセット１４１の訓練データのうち、正解ラベル「第１クラス」の訓練データを、インスペクターＭ０に入力し、スコアを算出する。選択部１５２は、スコアが閾値以上となる場合に、正解ラベル「第１クラス」の訓練データを、訓練データセットＤ１の訓練データとして選択する。選択部１５２は、正解ラベル「第１クラス」の他の訓練データについても上記処理を繰り返し実行する。
選択部１５２は、訓練データセット１４１の訓練データのうち、正解ラベル「第２クラス」、「第３クラス」の訓練データについては、そのまま、訓練データセットＤ１の訓練データとして選択する。
選択部１５２が、「訓練データセットＤ２」を生成する処理について説明する。選択部１５２は、訓練データセット１４１の訓練データのうち、正解ラベル「第２クラス」の訓練データを、インスペクターＭ０に入力し、スコアを算出する。選択部１５２は、スコアが閾値以上となる場合に、正解ラベル「第２クラス」の訓練データを、訓練データセットＤ２の訓練データとして選択する。選択部１５２は、正解ラベル「第２クラス」の他の訓練データについても上記処理を繰り返し実行する。
選択部１５２は、訓練データセット１４１の訓練データのうち、正解ラベル「第１クラス」、「第３クラス」の訓練データについては、そのまま、訓練データセットＤ２の訓練データとして選択する。
選択部１５２が、「訓練データセットＤ３」を生成する処理について説明する。選択部１５２は、訓練データセット１４１の訓練データのうち、正解ラベル「第３クラス」の訓練データを、インスペクターＭ０に入力し、スコアを算出する。選択部１５２は、スコアが閾値以上となる場合に、正解ラベル「第３クラス」の訓練データを、訓練データセットＤ３の訓練データとして選択する。選択部１５２は、正解ラベル「第３クラス」の他の訓練データについても上記処理を繰り返し実行する。
選択部１５２は、訓練データセット１４１の訓練データのうち、正解ラベル「第１クラス」、「第２クラス」の訓練データについては、そのまま、訓練データセットＤ３の訓練データとして選択する。
第２生成部１５３は、訓練データテーブル１４４を基にして、機械学習を実行することで、インスペクターＭ１，Ｍ２，Ｍ３を生成する。
第２生成部１５３が、「インスペクターＭ１」を生成する処理について説明する。第２生成部１５３は、訓練データセットＤ１を入力とし、インスペクターＭ１の複数のパラメータとして、インスペクターＭ０の複数のパラメータを流用し、一部のパラメータを固定した状態で、機械学習を実行することで、インスペクターＭ１を生成する。
たとえば、インスペクターＭ０の流用する複数のパラメータをθ１～θｎとする。第２生成部１５３は、インスペクターＭ１の複数の層のパラメータの初期値を、パラメータθ１～θｎに設定する。第２生成部１５３は、訓練データセットＤ１を入力とし、機械学習を実行する場合に、インスペクターＭ１のパラメータθ１～θｎのうち、θ１～θｎ－２を固定し、θｎ－１，θｎを訓練する。第２生成部１５３は、訓練済みのインスペクターＭ１のデータを、インスペクターテーブル１４３に登録する。
第２生成部１５３が、「インスペクターＭ２」を生成する処理について説明する。第２生成部１５３は、訓練データセットＤ２を入力とし、インスペクターＭ２の複数のパラメータとして、インスペクターＭ０の複数のパラメータを流用し、一部のパラメータを固定した状態で、機械学習を実行することで、インスペクターＭ２を生成する。
たとえば、インスペクターＭ０の流用する複数のパラメータをθ１～θｎとする。第２生成部１５３は、インスペクターＭ２の複数の層のパラメータの初期値を、パラメータθ１～θｎに設定する。第２生成部１５３は、訓練データセットＤ２を入力とし、機械学習を実行する場合に、インスペクターＭ２のパラメータθ１～θｎのうち、θ１～θｎ－２を固定し、θｎ－１，θｎを訓練する。第２生成部１５３は、訓練済みのインスペクターＭ２のデータを、インスペクターテーブル１４３に登録する。
第２生成部１５３が、「インスペクターＭ３」を生成する処理について説明する。第２生成部１５３は、訓練データセットＤ３を入力とし、インスペクターＭ３の複数のパラメータとして、インスペクターＭ０の複数のパラメータを流用し、一部のパラメータを固定した状態で、機械学習を実行することで、インスペクターＭ３を生成する。
たとえば、インスペクターＭ０の流用する複数のパラメータをθ１～θｎとする。第２生成部１５３は、インスペクターＭ３の複数の層のパラメータの初期値を、パラメータθ１～θｎに設定する。第２生成部１５３は、訓練データセットＤ３を入力とし、機械学習を実行する場合に、インスペクターＭ３のパラメータθ１～θｎのうち、θ１～θｎ－２を固定し、θｎ－１，θｎを訓練する。第２生成部１５３は、訓練済みのインスペクターＭ３のデータを、インスペクターテーブル１４３に登録する。
ここで、インスペクターＭ０，Ｍ１，Ｍ２，Ｍ３の分類結果の一例について説明する。図１４は、各インスペクターの分類結果の一例を示す図である。グラフＧ２－０は、インスペクターＭ０の分類結果を示す。グラフＧ２－１は、インスペクターＭ１の分類結果を示す。グラフＧ２－２は、インスペクターＭ２の分類結果を示す。グラフＧ２－３は、インスペクターＭ３の分類結果を示す。各グラフの横軸は、データの第１特徴量に対応する軸であり、縦軸は、データの第２特徴量に対応する軸である。
各グラフにおいて、マル印のデータは、第１クラスに分類されたデータである。四角印のデータは、第２クラスに分類されたデータである。三角印のデータは、第３クラスに分類されたデータである。グラフＧ２－１に示すように、インスペクターＭ１では、第１クラスのモデル適用領域が、他のインスペクターＭ０，Ｍ２，Ｍ３のモデル適用領域も狭くなっている。グラフＧ２－２に示すように、インスペクターＭ２では、第２クラスのモデル適用領域が、他のインスペクターＭ０，Ｍ１，Ｍ３のモデル適用領域も狭くなっている。グラフＧ２－３に示すように、インスペクターＭ３では、第３クラスのモデル適用領域が、他のインスペクターＭ０，Ｍ１，Ｍ２のモデル適用領域も狭くなっている。
図７の説明に戻る。検知部１５４は、出力結果テーブル１４６を基にして、機械学習モデルの精度劣化を引き起こす可能性のあるデータの分布の変化を検知する。検知部１５４は、インスペクターＭ０～Ｍ３に、運用データテーブル１４５の運用データセットＣ０，Ｃ１，Ｃ２，Ｃ３を入力し、出力結果を取得する。検知部１５４は、インスペクターＭ０～Ｍ３の出力結果を、出力結果テーブル１４６に登録する。
検知部１５４は、インスペクターＭ０～Ｍ３の出力結果のうち、いずれかの出力結果が他の出力結果と異なる場合に、機械学習モデル５０の精度劣化を引き起こす可能性（あるいは、精度劣化を引き起こす予兆）のあるデータの分布の変化を検知する。検知部１５４は、データの分布の変化を検知した旨を、外部装置に通知する。
図１５は、検知部の処理を説明するための図である。ここでは一例として、インスペクターＭ０，Ｍ１を用いて説明を行う。便宜的に、インスペクターＭ０の決定境界を決定境界７０Ａとし、インスペクターＭ１の決定境界を決定境界７０Ｂとする。決定境界７０Ａと、決定境界７０Ｂとの位置はそれぞれ異なっており、モデル適用領域が異なる。以下の説明では、運用データセットに含まれる一つの運用データを適宜、「インスタンス」と表記する。
インスタンスがモデル適用領域７１Ａに位置する場合には、インスタンスは、インスペクターＭ０によって、第１クラスに分類される。インスタンスがモデル適用領域７２Ａに位置する場合には、インスタンスは、インスペクターＭ０によって、第２クラスに分類される。
インスタンスがモデル適用領域７１Ｂに位置する場合には、インスタンスは、インスペクターＭ１によって、第１クラスに分類される。インスタンスがモデル適用領域７２Ｂに位置する場合には、インスタンスは、インスペクターＭ１によって、第２クラスに分類される。
たとえば、運用初期の時間Ｔ１において、インスタンスＩ１Ｔ１をインスペクターＭ０に入力すると、インスタンスＩ１Ｔ１はモデル適用領域７１Ａに位置するため、「第１クラス」に分類される。インスタンスＩ２Ｔ１をインスペクターＭ０に入力すると、インスタンスＩ２Ｔ１はモデル適用領域７１Ａに位置するため、「第１クラス」に分類される。インスタンスＩ３Ｔ１をインスペクターＭ０に入力すると、インスタンスＩ３Ｔ１はモデル適用領域７２Ａに位置するため、「第２クラス」に分類される。
運用初期の時間Ｔ１において、インスタンスＩ１Ｔ１をインスペクターＭ１に入力すると、インスタンスＩ１Ｔ１はモデル適用領域７１Ｂに位置するため、「第１クラス」に分類される。インスタンスＩ２Ｔ１をインスペクターＭ１に入力すると、インスタンスＩ２Ｔ１はモデル適用領域７１Ｂに位置するため、「第１クラス」に分類される。インスタンスＩ３Ｔ１をインスペクターＭ１に入力すると、インスタンスＩ３Ｔ１はモデル適用領域７２Ｂに位置するため、「第２クラス」に分類される。
運用初期の時間Ｔ１において、インスタンスＩ１Ｔ１，Ｉ２Ｔ１，Ｉ３Ｔ１をインスペクターＭ０，Ｍ１に入力した際に分類される分類結果がそれぞれ同一であるため、検知部１５４は、機械学習モデル５０の精度劣化を検知しない。
ところで、運用初期から時間経過した時間Ｔ２において、インスタンスの傾向が変化して、インスタンスＩ１Ｔ１，Ｉ２Ｔ１，Ｉ３Ｔ１は、インスタンスＩ１Ｔ２，Ｉ２Ｔ２，Ｉ３Ｔ２となる。インスタンスＩ１Ｔ２をインスペクターＭ０に入力すると、インスタンスＩ１Ｔ２はモデル適用領域７１Ａに位置するため、「第１クラス」に分類される。インスタンスＩ２Ｔ２をインスペクターＭ０に入力すると、インスタンスＩ２Ｔ１はモデル適用領域７１Ａに位置するため、「第１クラス」に分類される。インスタンスＩ３Ｔ２をインスペクターＭ０に入力すると、インスタンスＩ３Ｔ２はモデル適用領域７２Ａに位置するため、「第２クラス」に分類される。
運用初期から時間経過した時間Ｔ２において、インスタンスＩ１Ｔ２をインスペクターＭ１に入力すると、インスタンスＩ１Ｔ２はモデル適用領域７２Ｂに位置するため、「第２クラス」に分類される。インスタンスＩ２Ｔ２をインスペクターＭ１に入力すると、インスタンスＩ２Ｔ２はモデル適用領域７１Ｂに位置するため、「第１クラス」に分類される。インスタンスＩ３Ｔ２をインスペクターＭ１に入力すると、インスタンスＩ３Ｔ２はモデル適用領域７２Ｂに位置するため、「第２クラス」に分類される。
運用初期から時間経過した時間Ｔ２において、インスタンスＩ１Ｔ１をインスペクターＭ０，Ｍ１に入力した際に分類される分類結果がそれぞれ異なるため、検知部１５４は、機械学習モデル５０の精度劣化を引き起こす可能性のあるデータの分布の変化を検知する。また、検知部１５４は、精度劣化の要因となったインスタンスＩ１Ｔ２を検知することができる。
次に、本実施形態に係るモデル生成装置の処理手順の一例について説明する。図１６は、本実施形態に係るモデル生成装置の処理手順を示すフローチャート（１）である。図１６に示すように、モデル生成装置１００は、監視対象の機械学習モデル５０の機械学習を実行した場合に使用した訓練データセット１４１を取得する（ステップＳ１０１）。
モデル生成装置１００の第１生成部１５１は、訓練データセット１４１を入力として、インスペクターＭ０の機械学習を実行する（ステップＳ１０２）。第１生成部１５１は、インスペクターＭ０のパラメータをインスペクターテーブル１４３に保存する（ステップＳ１０３）。
モデル生成装置１００の選択部１５２は、ｉ＝１に設定する（ステップＳ１０４）。選択部１５２は、インスペクターＭ０に第ｉクラスの訓練データを入力し、訓練データに関するスコアを算出する（ステップＳ１０５）。選択部１５２は、スコアが閾値以上となる訓練データを選択することで、訓練データセットＤｉを作成し、訓練データテーブルに登録する（ステップＳ１０６）。
選択部１５２は、ｉ＝Ｎでない場合に（ステップＳ１０７，Ｎｏ）、ｉ＝ｉ＋１を実行し（ステップＳ１０８）、ステップＳ１０５に移行する。一方、選択部１５２は、ｉ＝Ｎである場合に（ステップＳ１０７，Ｙｅｓ）、ステップＳ１０９に移行する。
第２生成部１５３は、機械学習処理を実行する（ステップＳ１０９）。第２生成部１５３は、訓練済みの複数のインスペクターのデータを、インスペクターテーブル１４３に登録する（ステップＳ１１０）。
次に、図１６のステップＳ１０９に示した機械学習処理の処理手順について説明する。図１７は、機械学習処理の処理手順を示すフローチャートである。図１７に示すように、モデル生成装置１００の第２生成部１５３は、ｉ＝１に設定する（ステップＳ２０１）。
第２生成部１５３は、インスペクターＭ０の複数のパラメータを、インスペクターＭｉに設定する（ステップＳ２０２）。第２生成部１５３は、訓練データセットＤｉを入力とし、インスペクターＭｉに含まれる複数のパラメータのうち、一部のパラメータを固定した状態で、機械学習を実行する（ステップＳ２０３）。
第２生成部１５３は、ｉ＝Ｎでない場合に（ステップＳ２０４，Ｎｏ）、ｉ＝ｉ＋１を実行し（ステップＳ２０５）、ステップＳ２０２に移行する。一方、第２生成部１５３は、ｉ＝Ｎである場合に（ステップＳ２０４，Ｙｅｓ）、機械学習処理を終了する。
図１８は、本実施形態に係るモデル生成装置の処理手順を示すフローチャート（２）である。図１８に示すように、モデル生成装置１００の検知部１５４は、運用データテーブル１４５から、運用データセットを取得する（ステップＳ３０１）。検知部１５４は、運用データセットからインスタンスを１つ選択する（ステップＳ３０２）。
検知部１５５は、選択したインスタンスを各インスペクターＭ０～Ｍ３に入力し、出力結果を取得し、出力結果テーブル１４６に登録する（ステップＳ３０３）。検知部１５５は、出力結果テーブル１４６を参照し、各出力結果が異なるか否かを判定する（ステップＳ３０４）。
検知部１５４は、各出力結果が異ならない場合には（ステップＳ３０５，Ｎｏ）、ステップＳ３０８に移行する。検知部１５４は、各出力結果が異なる場合には（ステップＳ３０５，Ｙｅｓ）、ステップＳ３０６に移行する。
検知部１５４は、精度劣化を検知する（ステップＳ３０６）。検知部１５４は、精度劣化を検知した旨を外部装置に通知する（ステップＳ３０７）。モデル生成装置１００は、全てのインスタンスを選択したか否かを判定する（ステップＳ３０８）。
モデル生成装置１００は、全てのインスタンスを選択した場合には（ステップＳ３０８，Ｙｅｓ）、処理を終了する。一方、モデル生成装置１００は、全てのインスタンスを選択していない場合には（ステップＳ３０８，Ｎｏ）、ステップＳ３０９に移行する。検知部１５４は、運用データセットから、未選択のインスタンスを１つ選択し（ステップＳ３０９）、ステップＳ３０３に移行する。
次に、本実施形態に係るモデル生成装置１００の効果について説明する。モデル生成装置１００は、インスペクターＭ１～Ｍ３の機械学習を実行する場合に、インスペクターＭ０の訓練済みの複数のパラメータを流用し、一部のパラメータを固定した状態で、機械学習を実行する。このため、インスペクターＭ１～Ｍ３の計算コストを、インスペクターＭ０の計算コストより少ない計算コストで実現することができる。インスペクターＭ１～Ｍ３の計算コストを少ない計算コストで実現できるので、機械学習モデルの継続的な運用監視にかかる計算コストを削減できる。
図１９は、本実施形態に係るモデル生成装置の効果を説明するための図である。図１９において、ｔ１－Ｍ０は、参考装置が、インスペクターＭ０を訓練する場合に要する時間である。ｔ１－Ｍ１は、参考装置が、インスペクターＭ１を訓練する場合に要する時間である。ｔ１－Ｍ２は、参考装置が、インスペクターＭ２を訓練する場合に要する時間である。ｔ１－Ｍ３は、参考装置が、インスペクターＭ３を訓練する場合に要する時間である。
たとえば、ｔ１－Ｍ０は「４９．９秒」、ｔ１－Ｍ１は「３３．９２秒」、ｔ１－Ｍ２は「３１．８７秒」、ｔ１－Ｍ３は「３４．３秒」となる。このため、参考装置が、インスペクターＭ０～Ｍ３を訓練する時間は、「１５０．０３秒」となる。
ｔ２－Ｍ０は、モデル生成装置１００が、インスペクターＭ０を訓練する場合に要する時間である。ｔ２－Ｍ１は、モデル生成装置１００が、インスペクターＭ１を訓練する場合に要する時間である。ｔ２－Ｍ２は、モデル生成装置１００が、インスペクターＭ２を訓練する場合に要する時間である。ｔ２－Ｍ３は、モデル生成装置１００が、インスペクターＭ３を訓練する場合に要する時間である。
たとえば、ｔ２－Ｍ０は「４９．９秒」、ｔ２－Ｍ１は「１０．５７秒」、ｔ２－Ｍ２は「１０．５９秒」、ｔ２－Ｍ３は「１１．１８秒」となる。このため、モデル生成装置１００が、インスペクターＭ０～Ｍ３を訓練する時間は、「８２．２８秒」となる。
図１９に示すように、参考装置がインスペクターＭ０～Ｍ３を訓練する時間よりも、モデル生成装置１００がインスペクターＭ０～Ｍ３を訓練する時間のほうが短くなり、計算コストを削減することができる。
また、インスペクターＭ１～Ｍ３では、それぞれ異なる条件でモデル適用領域が狭められ、異なる決定境界を有する。インスペクターＭ１～Ｍ３は、それぞれ決定境界が異なるため、同一の入力データを入力しても、出力結果が異なる場合がある。すなわち、モデル生成装置１００は、運用データセットのデータを、インスペクターＭ１～Ｍ３の出力結果の違いを基にして、機械学習モデルの精度劣化を引き起こす可能性のあるデータの分布の変化を検知することができる。
モデル生成装置１００は、訓練データセット１４１を入力とした機械学習を実行することで、インスペクターＭ０を生成する。これによって、インスペクターＭ１～Ｍ３に初期設定する複数のパラメータを訓練することができる。
モデル生成装置１００は、訓練データセット１４１の各訓練データを、インスペクターＭ０に入力して、各訓練データのスコアを取得し、スコアが閾値以上となる訓練データを用いて、インスペクターＭ１～Ｍ３の機械学習を実行する場合の訓練データとして選択する。これによって、それぞれ異なる条件でモデル適用領域が狭められ、異なる決定境界を有するインスペクターＭ１～Ｍ３を生成することができる。
モデル生成装置１００は、機械学習モデルの精度劣化を引き起こす可能性のあるデータの分布の変化を検知した場合に、かかるデータの分布の変化を外部装置に通知する。これによって、機械学習モデル５０の精度劣化を外部装置に通知することができる。
次に、本実施例に示したモデル生成装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２０は、本実施形態に係るモデル生成装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
図２０に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、有線または無線ネットワークを介して、外部装置等との間でデータの授受を行うインタフェース装置２０５とを有する。コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１～２０７は、バス２０８に接続される。
ハードディスク装置２０７は、第１生成プログラム２０７ａ、選択プログラム２０７ｂ、第２生成プログラム２０７ｃ、検知プログラム２０７ｄを有する。ＣＰＵ２０１は、第１生成プログラム２０７ａ、選択プログラム２０７ｂ、第２生成プログラム２０７ｃ、検知プログラム２０７ｄを読み出してＲＡＭ２０６に展開する。
第１生成プログラム２０７ａは、第１生成プロセス２０６ａとして機能する。選択プログラム２０７ｂは、選択プロセス２０６ｂとして機能する。第２生成プログラム２０７ｃは、第２生成プロセス２０６ｃとして機能する。検知プログラム２０７ｄは、検知プロセス２０６ｄとして機能する。
第１生成プロセス２０６ａの処理は、第１生成部１５１の処理に対応する。選択プロセス２０６ｂの処理は、選択部１５２の処理に対応する。第２生成プロセス２０６ｃの処理は、第２生成部１５３の処理に対応する。検知プロセス２０６ｄの処理は、検知部１５４の処理に対応する。
なお、各プログラム２０７ａ～２０７ｄついては、必ずしも最初からハードディスク装置５０７に記憶させておかなくてもよい。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ～２０７ｄを読み出して実行するようにしてもよい。
１００ モデル生成装置
１１０ 通信部
１２０ 入力部
１３０ 出力部
１４０ 記憶部
１４１ 訓練データセット
１４２ 機械学習モデルデータ
１４３ インスペクターテーブル
１４４ 訓練データテーブル
１４５ 運用データテーブル
１４６ 出力結果テーブル
１５０ 制御部
１５１ 第１生成部
１５２ 選択部
１５３ 第２生成部
１５４ 検知部

Claims (9)

  1. 第１の機械学習モデルへ第３の複数のデータを入力することにより前記第１の機械学習モデルから出力された第１の結果と、第１の複数のデータの前記第１の機械学習モデルへの入力に応じて前記第１の機械学習モデルから出力された結果に基づいて前記第１の複数のデータから選択された第２の複数のデータを訓練データとし、前記第１の機械学習モデルに含まれる複数のパラメータのうち一部のパラメータを固定した状態で機械学習を実行することによって生成された第２の機械学習モデルへ前記第３の複数のデータを入力することにより前記第２の機械学習モデルから出力された第２の結果とを基にして、前記第１の複数のデータの分布の変化を検知する、
    処理をコンピュータに実行させることを特徴とする検知プログラム。
  2. 前記検知する処理によって、前記第１の複数のデータの分布の変化が検知された場合に、前記第１の機械学習モデルの精度劣化に関する情報を通知する、
    処理を更に前記コンピュータに実行させることを特徴とする請求項１に記載の検知プログラム。
  3. 第１の複数のデータの第１の機械学習モデルへの入力に応じて前記第１の機械学習モデルから出力された結果に基づいて前記第１の複数のデータから選択された第２の複数のデータを訓練データとし、前記第１の機械学習モデルに含まれる複数のパラメータのうち一部のパラメータを固定した状態で機械学習を実行することによって第２の機械学習モデルを生成する
    処理をコンピュータに実行させ、
    前記第２の機械学習モデルは、第１の機械学習モデルへ第３の複数のデータを入力することにより前記第１の機械学習モデルから出力された第１の結果と、前記第２の機械学習モデルへ前記第３の複数のデータを入力することにより前記第２の機械学習モデルから出力された第２の結果とを基にした、前記第１の複数のデータの分布の変化を検知する処理に用いられる、
    ことを特徴とするモデル生成プログラム。
  4. 前記第１の複数のデータに基づいて機械学習を実行することで、前記第１の機械学習モデルを生成する、
    処理を更に前記コンピュータに実行させることを特徴とする請求項３に記載のモデル生成プログラム。
  5. 前記結果は、前記第１の機械学習モデルが前記第１の複数のデータのそれぞれに対する最終結果を出力する途中で算出されたスコアであり、
    前記第１の複数のデータのうち、前記スコアが閾値以上となる前記第２の複数のデータを前記訓練データとして選択する処理を更に前記コンピュータに実行させることを特徴とする請求項３に記載のモデル生成プログラム。
  6. 第１の機械学習モデルへ第３の複数のデータを入力することにより前記第１の機械学習モデルから出力された第１の結果と、第１の複数のデータの前記第１の機械学習モデルへの入力に応じて前記第１の機械学習モデルから出力された結果に基づいて前記第１の複数のデータから選択された第２の複数のデータを訓練データとし、前記第１の機械学習モデルに含まれる複数のパラメータのうち一部のパラメータを固定した状態で機械学習を実行することによって生成された第２の機械学習モデルへ前記第３の複数のデータを入力することにより前記第２の機械学習モデルから出力された第２の結果とを基にして、前記第１の複数のデータの分布の変化を検知する、
    処理をコンピュータに実行させることを特徴とする検知方法。
  7. 第１の複数のデータの第１の機械学習モデルへの入力に応じて前記第１の機械学習モデルから出力された結果に基づいて前記第１の複数のデータから選択された第２の複数のデータを訓練データとし、前記第１の機械学習モデルに含まれる複数のパラメータのうち一部のパラメータを固定した状態で機械学習を実行することによって第２の機械学習モデルを生成する
    処理をコンピュータが実行し、
    前記第２の機械学習モデルは、第１の機械学習モデルへ第３の複数のデータを入力することにより前記第１の機械学習モデルから出力された第１の結果と、前記第２の機械学習モデルへ前記第３の複数のデータを入力することにより前記第２の機械学習モデルから出力された第２の結果とを基にした、前記第１の複数のデータの分布の変化を検知する処理に用いられる、
    ことを特徴とするモデル生成方法。
  8. 第１の機械学習モデルへ第３の複数のデータを入力することにより前記第１の機械学習モデルから出力された第１の結果と、第１の複数のデータの前記第１の機械学習モデルへの入力に応じて前記第１の機械学習モデルから出力された結果に基づいて前記第１の複数のデータから選択された第２の複数のデータを訓練データとし、前記第１の機械学習モデルに含まれる複数のパラメータのうち一部のパラメータを固定した状態で機械学習を実行することによって生成された第２の機械学習モデルへ前記第３の複数のデータを入力することにより前記第２の機械学習モデルから出力された第２の結果とを基にして、前記第１の複数のデータの分布の変化を検知する検知部
    を有することを特徴とする検知装置。
  9. 第１の複数のデータの第１の機械学習モデルへの入力に応じて前記第１の機械学習モデルから出力された結果に基づいて前記第１の複数のデータから選択された第２の複数のデータを訓練データとし、前記第１の機械学習モデルに含まれる複数のパラメータのうち一部のパラメータを固定した状態で機械学習を実行することによって第２の機械学習モデルを生成する生成部を有し、
    前記第２の機械学習モデルは、第１の機械学習モデルへ第３の複数のデータを入力することにより前記第１の機械学習モデルから出力された第１の結果と、前記第２の機械学習モデルへ前記第３の複数のデータを入力することにより前記第２の機械学習モデルから出力された第２の結果とを基にした、前記第１の複数のデータの分布の変化を検知する処理に用いられる、
    ことを特徴とするモデル生成装置。
JP2022551471A 2020-09-23 2020-09-23 検知プログラム、モデル生成プログラム、検知方法、モデル生成方法、検知装置及びモデル生成装置 Active JP7448026B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/035841 WO2022064570A1 (ja) 2020-09-23 2020-09-23 モデル生成プログラム、モデル生成方法及びモデル生成装置

Publications (3)

Publication Number Publication Date
JPWO2022064570A1 JPWO2022064570A1 (ja) 2022-03-31
JPWO2022064570A5 JPWO2022064570A5 (ja) 2023-03-08
JP7448026B2 true JP7448026B2 (ja) 2024-03-12

Family

ID=80845575

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022551471A Active JP7448026B2 (ja) 2020-09-23 2020-09-23 検知プログラム、モデル生成プログラム、検知方法、モデル生成方法、検知装置及びモデル生成装置

Country Status (3)

Country Link
US (1) US20230186165A1 (ja)
JP (1) JP7448026B2 (ja)
WO (1) WO2022064570A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018063504A (ja) 2016-10-12 2018-04-19 株式会社リコー 生成モデル学習方法、装置及びプログラム
JP2020052935A (ja) 2018-09-28 2020-04-02 三菱電機インフォメーションシステムズ株式会社 学習済みモデルを生成する方法、データを分類する方法、コンピュータおよびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018063504A (ja) 2016-10-12 2018-04-19 株式会社リコー 生成モデル学習方法、装置及びプログラム
JP2020052935A (ja) 2018-09-28 2020-04-02 三菱電機インフォメーションシステムズ株式会社 学習済みモデルを生成する方法、データを分類する方法、コンピュータおよびプログラム

Also Published As

Publication number Publication date
JPWO2022064570A1 (ja) 2022-03-31
WO2022064570A1 (ja) 2022-03-31
US20230186165A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
Ceylan et al. Software defect identification using machine learning techniques
US11599884B2 (en) Identification of behavioral pattern of simulated transaction data
JP7400827B2 (ja) 検出方法、検出プログラムおよび情報処理装置
US11347972B2 (en) Training data generation method and information processing apparatus
US20220222581A1 (en) Creation method, storage medium, and information processing apparatus
JP7306469B2 (ja) 検出方法、検出プログラムおよび情報処理装置
US11461793B2 (en) Identification of behavioral pattern of simulated transaction data
JP7458268B2 (ja) 情報処理装置、情報処理方法、コンピュータプログラム及び情報処理システム
JP7272455B2 (ja) 検出方法、検出プログラム及び情報処理装置
US20220230028A1 (en) Determination method, non-transitory computer-readable storage medium, and information processing device
US20250032882A1 (en) Artificial intelligence assisted live sports data quality assurance
JP7448026B2 (ja) 検知プログラム、モデル生成プログラム、検知方法、モデル生成方法、検知装置及びモデル生成装置
JP7306468B2 (ja) 検出方法、検出プログラムおよび情報処理装置
JP4997524B2 (ja) 多変数決定木構築システム、多変数決定木構築方法および多変数決定木を構築するためのプログラム
JP7322962B2 (ja) 生成方法、生成プログラムおよび情報処理装置
JP7424507B2 (ja) 検知プログラム、検知方法および検知装置
JP7212292B2 (ja) 学習装置、学習方法および学習プログラム
JP4308113B2 (ja) データ分析装置及びその方法、プログラム
US20220222579A1 (en) Deterioration detection method, non-transitory computer-readable storage medium, and information processing device
US20230196291A1 (en) Methods and systems for monitoring projects and providing alerts and recommendations
JP7675562B2 (ja) 学習装置、方法およびプログラム
Werth et al. Dynamic landscape analysis for open-ended stacking
US20060074830A1 (en) System, method for deploying computing infrastructure, and method for constructing linearized classifiers with partially observable hidden states
US20220215272A1 (en) Deterioration detection method, computer-readable recording medium storing deterioration detection program, and information processing apparatus
US20220237459A1 (en) Generation method, computer-readable recording medium storing generation program, and information processing apparatus

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240212

R150 Certificate of patent or registration of utility model

Ref document number: 7448026

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150