JP7322962B2 - 生成方法、生成プログラムおよび情報処理装置 - Google Patents
生成方法、生成プログラムおよび情報処理装置 Download PDFInfo
- Publication number
- JP7322962B2 JP7322962B2 JP2021553251A JP2021553251A JP7322962B2 JP 7322962 B2 JP7322962 B2 JP 7322962B2 JP 2021553251 A JP2021553251 A JP 2021553251A JP 2021553251 A JP2021553251 A JP 2021553251A JP 7322962 B2 JP7322962 B2 JP 7322962B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- inspector
- data
- class
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Testing And Monitoring For Control Systems (AREA)
Description
図1は、実施例1にかかる精度劣化検出装置10を説明する図である。図1に示す精度劣化検出装置10は、学習済みの機械学習モデル(以下では、単に「モデル」と記載する場合がある)を用いて入力データの判定(分類)を実行する一方で、機械学習モデルの精度を監視して精度状態をリアルタイムに表示するコンピュータ装置の一例である。
図4は、実施例1にかかる精度劣化検出装置10の機能構成を示す機能ブロック図である。図4に示すように、精度劣化検出装置10は、通信部11、記憶部12、制御部20を有する。
図9は、実施例1にかかる処理の流れを示すフローチャートである。図9に示すように、処理が開始されると(S101:Yes)、インスペクターモデル生成部21は、機械学習モデル15のデータ数よりもデータ数を削減するなどによりインスペクターモデル用の教師データを生成する(S102)。そして、インスペクターモデル生成部21は、生成した教師データ内の訓練データを用いて、インスペクターモデル用の訓練を実行して、インスペクターモデルを生成する(S103)。
上述したように、精度劣化検出装置10は、監視対象の学習済みの機械学習モデル15の出力とインスペクターモデルの出力との合致率が、機械学習モデル15の出力の正解率に概ね比例するので、機械学習モデル15の信頼性の測定に合致率の値を用いる。このように、精度劣化検出装置10は、合致率を信頼性の測定に用いることで、機械学習モデル15の出力の正誤情報(人間の正誤の判断)が不要となり、自動で信頼性をモニタリングすることができる。
次に、機械学習モデル15として画像分類器を用いて、インスペクターモデルによる精度劣化を検出する具体例を説明する。画像分類器とは、入力した画像をクラス(カテゴリ)ごとに分類する機械学習モデルである。例えば、アパレルの通信販売サイトや個人間で衣料品を売買するオークションサイト等では、衣料品の画像をサイトにアップロードし、その衣料品のカテゴリをサイト上に登録する。サイトにアップロードした画像のカテゴリの自動登録を行うために、機械学習モデルを用いて、画像から衣料品のカテゴリの予測を行っている。システム運用中に、アップロードする衣料品の画像の傾向(データ分布)が変化すると、機械学習モデルの精度が劣化していく。一般技術では、手動で予測結果の正誤を確認し、正解率を算出して、モデル精度劣化を検知していた。そこで、実施例1による手法を適用することで、予測結果の正誤情報を用いることなく、モデル精度劣化を検知する。
図14は、実施例2にかかる精度劣化検出装置50の機能構成を示す機能ブロック図である。図14に示すように、精度劣化検出装置50は、通信部51、記憶部52、制御部60を有する。
図17は、実施例2にかかる処理の流れを示すフローチャートである。図17に示すように、処理が開始されると(S201:Yes)、周期特定部61は、教師データの周期を特定し(S202)、周期ごとの教師データを抽出する(S203)。例えば、周期特定部61は、ユーザ指定や教師データが撮像された日時を参照することで、季節や時間帯などに区分して教師データを抽出する。
上述したように、実施例2にかかる精度劣化検出装置50は、監視対象の機械学習モデル15の入力データの分布変化の周期を確認し、1周期をインスペクターモデル数で分割した期間内の入力データを抽出し、各インスペクターモデルの訓練データとする。実施例2にかかる精度劣化検出装置50は、上記訓練データを学習した各期間のインスペクターモデルをモデル精度劣化検知に利用し、合致率を算出する。実施例2にかかる精度劣化検出装置50は、合致率が低下した場合でも、1個以上のインスペクターモデルの合致率が高い場合は、精度劣化発生と判定せず、全てのインスペクターモデルの合致率が低下して、初めて精度劣化発生と判定する。
次に、実施例2の具体例を説明する。画像分類器として利用する機械学習モデル15は、10クラス分類を行うDNNを用いた分類器であり、教師データを1000個/1クラス、訓練回数を100エポックとして訓練されている。また、インスペクターモデル(夏用)は、10クラス分類を行うDNNを用いた検出器であり、6月から8月に取得された教師データを200個/1クラス、訓練回数を100エポックとして訓練されている。
また、上記実施例で用いたデータ例、数値、各閾値、特徴量空間、ラベル数、インスペクターモデル数、具体例、周期等は、あくまで一例であり、任意に変更することができる。また、入力データや学習方法などもあくまで一例であり、任意に変更することができる。また、学習モデルには、ニューラルネットワークなど様々な手法を採用することができる。
例えば、上記実施例では、各クラスのモデル適用領域に属する入力データの合致率を求める例を説明したが、これに限定されるものではない。例えば、機械学習モデル15の出力結果とインスペクターモデルの出力結果との合致率により精度劣化を検出することもできる。
また、各精度劣化検出装置は、精度劣化が検出された場合に、インスペクターモデルの判定結果を正解情報として、機械学習モデル15を再学習することもできる。例えば、各精度劣化検出装置は、各入力データを説明変数、各入力データに対するインスペクターモデルの判定結果を目的変数とした再学習データを生成して、機械学習モデル15を再学習することもできる。なお、インスペクターモデルが複数ある場合は、機械学習モデル15との合致率が低いインスペクターモデルを採用することができる。
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
図21は、ハードウェア構成例を説明する図である。ここでは、実施例1の精度劣化検出装置10を例にして説明するが、他の実施例の精度劣化検出装置も同様のハードウェア構成を有する。図21に示すように、精度劣化検出装置10は、通信装置10a、HDD(Hard Disk Drive)10b、メモリ10c、プロセッサ10dを有する。また、図21に示した各部は、バス等で相互に接続される。
11 通信部
12 記憶部
13 教師データDB
14 入力データDB
15 機械学習モデル
16 インスペクターモデルDB
20 制御部
21 インスペクターモデル生成部
22 設定部
23 劣化検出部
24 分類部
25 監視部
26 表示制御部
27 報知部
Claims (6)
- コンピュータが、
出力変化の監視対象である学習済みモデルの訓練に用いられた教師データの周期を複数の期間に分割し、
前記複数の期間それぞれに対応するとともに前記学習済みモデルの出力結果の変化を検出する複数の検出モデルそれぞれを、該当する期間に属する教師データを用いて生成する、
処理を実行することを特徴とする生成方法。 - 前記生成する処理は、前記複数の期間それぞれに対応した前記複数の検出モデルそれぞれの生成に際して、前記学習済みモデルの訓練に利用された前記教師データの数よりも少なく、かつ、前記複数の期間のうち該当する期間に属する教師データを用いた機械学習により、入力データに対する出力するラベルの範囲を特定するモデル適用領域が異なる前記複数の検出モデルそれぞれを生成することを特徴とする請求項1に記載の生成方法。
- 前記分割する処理は、前記教師データを収集された季節ごとに分割し、
前記生成する処理は、各季節に対応する前記複数の検出モデルそれぞれと、前記各季節のうち該当する季節に属する教師データとに基づく教師有学習により、前記複数の検出モデルそれぞれを生成することを特徴とする請求項1に記載の生成方法。 - 前記分割する処理は、前記教師データを収集された時間帯ごとに分割し、
前記生成する処理は、各時間帯に対応する前記複数の検出モデルそれぞれと、前記各時間帯のうち該当する時間帯に属する教師データとに基づく教師有学習により、前記複数の検出モデルそれぞれを生成することを特徴とする請求項1に記載の生成方法。 - コンピュータに、
出力変化の監視対象である学習済みモデルの訓練に用いられた教師データの周期を複数の期間に分割し、
前記複数の期間それぞれに対応するとともに前記学習済みモデルの出力結果の変化を検出する複数の検出モデルそれぞれを、該当する期間に属する教師データを用いて生成する、
処理を実行させることを特徴とする生成プログラム。 - 出力変化の監視対象である学習済みモデルの訓練に用いられた教師データの周期を複数の期間に分割し、
前記複数の期間それぞれに対応するとともに前記学習済みモデルの出力結果の変化を検出する複数の検出モデルそれぞれを、該当する期間に属する教師データを用いて生成する、
制御部を有することを特徴とする情報処理装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/041807 WO2021079485A1 (ja) | 2019-10-24 | 2019-10-24 | 生成方法、生成プログラムおよび情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021079485A1 JPWO2021079485A1 (ja) | 2021-04-29 |
JP7322962B2 true JP7322962B2 (ja) | 2023-08-08 |
Family
ID=75619705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021553251A Active JP7322962B2 (ja) | 2019-10-24 | 2019-10-24 | 生成方法、生成プログラムおよび情報処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220222545A1 (ja) |
JP (1) | JP7322962B2 (ja) |
WO (1) | WO2021079485A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20240046150A1 (en) * | 2021-06-11 | 2024-02-08 | Hitachi Solutions, Ltd. | Ai quality monitoring system |
WO2023132176A1 (ja) * | 2022-01-04 | 2023-07-13 | 株式会社 東芝 | 判定装置、検査システム、判定方法、プログラム、及び記憶媒体 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016152053A1 (ja) | 2015-03-23 | 2016-09-29 | 日本電気株式会社 | 精度推定モデル生成システムおよび精度推定システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6513314B1 (ja) * | 2018-07-30 | 2019-05-15 | 楽天株式会社 | 判定システム、判定方法及びプログラム |
-
2019
- 2019-10-24 JP JP2021553251A patent/JP7322962B2/ja active Active
- 2019-10-24 WO PCT/JP2019/041807 patent/WO2021079485A1/ja active Application Filing
-
2022
- 2022-03-30 US US17/708,145 patent/US20220222545A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016152053A1 (ja) | 2015-03-23 | 2016-09-29 | 日本電気株式会社 | 精度推定モデル生成システムおよび精度推定システム |
Non-Patent Citations (2)
Title |
---|
KADAM, Vinayak Shweta,A Survey on Classification of Concept Drift with Stream Data,HAL archives-ouvertes.fr [online],米国,2019年03月, https://hal.archives-ouvertes.fr/hal-02062610 |
松澤 裕史 Hirofumi MATSUZAWA,教師付き学習を用いた教師なし変化解析手法 Unsupervised Change Analysis Using Supervised Learning,電子情報通信学会論文誌 (J93-D) 第6号 THE IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS (JAPANESE EDITION),日本,社団法人電子情報通信学会 THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS,2010年06月01日,第J93-D巻,p.816-p.825 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021079485A1 (ja) | 2021-04-29 |
WO2021079485A1 (ja) | 2021-04-29 |
US20220222545A1 (en) | 2022-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10719774B2 (en) | Method and system for health monitoring and fault signature identification | |
EP3364157A1 (en) | Method and system of outlier detection in energy metering data | |
JP6871877B2 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
US20220222545A1 (en) | Generation method, non-transitory computer-readable storage medium, and information processing device | |
JP7268756B2 (ja) | 劣化抑制プログラム、劣化抑制方法および情報処理装置 | |
US20240103950A1 (en) | Method, computing device and computer program for detecting abnormal behavior of process equipment | |
CN112036426A (zh) | 利用高维传感器数据的多数表决进行无监督异常检测和责任的方法和系统 | |
CN117155706B (zh) | 网络异常行为检测方法及其系统 | |
Yilmaz et al. | Per-device adaptive test for analog/RF circuits using entropy-based process monitoring | |
US11132790B2 (en) | Wafer map identification method and computer-readable recording medium | |
JP2021089116A (ja) | 情報処理装置、情報処理方法、プログラム及び学習済みモデルの生成方法 | |
JP7371694B2 (ja) | 劣化検出方法、劣化検出プログラムおよび情報処理装置 | |
US20220230028A1 (en) | Determination method, non-transitory computer-readable storage medium, and information processing device | |
JP7363910B2 (ja) | 表示方法、表示プログラム及び情報処理装置 | |
JP7371695B2 (ja) | 劣化検出方法、劣化検出プログラムおよび情報処理装置 | |
JP7207566B2 (ja) | 生成方法、生成プログラムおよび情報処理装置 | |
JP7207565B2 (ja) | 生成方法、生成プログラムおよび情報処理装置 | |
JP7283563B2 (ja) | 生成方法、生成プログラムおよび情報処理装置 | |
JP7371696B2 (ja) | 劣化検出方法、劣化検出プログラムおよび情報処理装置 | |
JP7363912B2 (ja) | 表示方法、表示プログラム及び情報処理装置 | |
JP7363911B2 (ja) | 表示方法、表示プログラム及び情報処理装置 | |
Lenhard et al. | Die level predictive modeling to reduce latent reliability defect escapes | |
JP7287093B2 (ja) | 学習プログラム、学習方法および学習装置 | |
JP7345006B1 (ja) | 学習モデル生成方法及び検査装置 | |
JP7375934B2 (ja) | 学習装置、推定装置、学習方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220302 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230627 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230710 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7322962 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |