JP7371696B2 - 劣化検出方法、劣化検出プログラムおよび情報処理装置 - Google Patents
劣化検出方法、劣化検出プログラムおよび情報処理装置 Download PDFInfo
- Publication number
- JP7371696B2 JP7371696B2 JP2021553247A JP2021553247A JP7371696B2 JP 7371696 B2 JP7371696 B2 JP 7371696B2 JP 2021553247 A JP2021553247 A JP 2021553247A JP 2021553247 A JP2021553247 A JP 2021553247A JP 7371696 B2 JP7371696 B2 JP 7371696B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- data
- class
- training data
- inspector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006866 deterioration Effects 0.000 title claims description 142
- 238000001514 detection method Methods 0.000 title claims description 107
- 230000010365 information processing Effects 0.000 title claims description 6
- 238000012549 training Methods 0.000 claims description 108
- 238000000034 method Methods 0.000 claims description 36
- 230000008859 change Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 18
- 230000002123 temporal effect Effects 0.000 claims 1
- 238000010801 machine learning Methods 0.000 description 106
- 238000010586 diagram Methods 0.000 description 50
- 238000010200 validation analysis Methods 0.000 description 30
- 238000012544 monitoring process Methods 0.000 description 25
- 230000007423 decrease Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 230000002159 abnormal effect Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000012795 verification Methods 0.000 description 7
- 241000282326 Felis catus Species 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing And Monitoring For Control Systems (AREA)
Description
図1は、実施例1にかかる精度劣化検出装置10を説明する図である。図1に示す精度劣化検出装置10は、学習済みの機械学習モデル(以下では、単に「モデル」と記載する場合がある)を用いて入力データの判定(分類)を実行する一方で、機械学習モデルの精度を監視して精度劣化を検出するコンピュータ装置の一例である。
図4は、実施例1にかかる精度劣化検出装置10の機能構成を示す機能ブロック図である。図4に示すように、精度劣化検出装置10は、通信部11、記憶部12、制御部209を有する。
図10は、処理の流れを示すフローチャートである。図10に示すように、処理が開始されると(S101:Yes)、インスペクターモデル生成部21は、各インスペクターモデル用の教師データを生成し(S102)、生成した教師データ内の訓練データを用いて、各インスペクターモデル用の訓練を実行して、各インスペクターモデルを生成する(S103)。
上述したように、精度劣化検出装置10は、モデル適用領域の範囲を監視対象の機械学習モデルより狭めた少なくとも1つ以上のインスペクターモデルを生成する。そして、精度劣化検出装置10は、クラスごとに機械学習モデルの出力と各インスペクターモデルの出力との合致率の分布変化を測定する。この結果、精度劣化検出装置10は、高次元データの多クラス分類問題に対しても、モデル精度劣化を検出することができ、機械学習モデル15出力の正誤情報を用いずに、入力データの傾向の時間変化に起因する学習済みモデルの機能劣化を検出することができる。
次に、機械学習モデル15として画像分類器を用いて、インスペクターモデルによる精度劣化を検出する具体例を説明する。画像分類器とは、入力した画像をクラス(カテゴリ)ごとに分類する機械学習モデルである。例えば、アパレルの通信販売サイトや個人間で衣料品を売買するオークションサイト等では、衣料品の画像をサイトにアップロードし、その衣料品のカテゴリをサイト上に登録する。サイトにアップロードした画像のカテゴリの自動登録を行うために、機械学習モデルを用いて、画像から衣料品のカテゴリの予測を行っている。システム運用中に、アップロードする衣料品の画像の傾向(データ分布)が変化すると、機械学習モデルの精度が劣化していく。一般技術では、手動で予測結果の正誤を確認し、正解率を算出して、モデル精度劣化を検知していた。そこで、実施例1による手法を適用することで、予測結果の正誤情報を用いることなく、モデル精度劣化を検知する。
また、上記実施例で用いたデータ例、数値、各閾値、特徴量空間、ラベル数、インスペクターモデル数、具体例等は、あくまで一例であり、任意に変更することができる。また、入力データや学習方法などもあくまで一例であり、任意に変更することができる。また、学習モデルには、ニューラルネットワークなど様々な手法を採用することができる。
実施例1では、教師データの数を削減することで、モデル適用範囲の異なる複数のインスペクターモデルを生成する例を説明したが、これに限定されるものではなく、例えば訓練回数(エポック数)を削減することで、モデル適用範囲の異なる複数のインスペクターモデルを生成することもできる。また、教師データの数ではなく、教師データに含まれる訓練データの数を削減することで、モデル適用範囲の異なる複数のインスペクターモデルを生成することもできる。
例えば、上記実施例では、各クラスのモデル適用領域に属する入力データの合致率を求める例を説明したが、これに限定されるものではない。例えば、機械学習モデル15の出力結果とインスペクターモデルの出力結果との合致率により精度劣化を検出することもできる。
実施例3では、その他クラスの訓練データには、元々の訓練データセットと同形式であるが無関係なデータセットからランダムに抽出した画像データを用いる具体例を説明したが、これに限定されるものではない。例えば、表などのデータの場合には、各項目にランダムな値を設定した、その他クラスの教師データを生成することもできる。
また、精度劣化検出装置10は、精度劣化が検出された場合に、インスペクターモデルの判定結果を正解情報として、機械学習モデル15を再学習することもできる。例えば、精度劣化検出装置10は、各入力データを説明変数、各入力データに対するインスペクターモデルの判定結果を目的変数とした再学習データを生成して、機械学習モデル15を再学習することもできる。なお、インスペクターモデルが複数ある場合は、機械学習モデル15との合致率が低いインスペクターモデルを採用することができる。
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
図25は、ハードウェア構成例を説明する図である。図25に示すように、精度劣化検出装置10は、通信装置10a、HDD(Hard Disk Drive)10b、メモリ10c、プロセッサ10dを有する。また、図25に示した各部は、バス等で相互に接続される。
11 通信部
12 記憶部
13 教師データDB
14 入力データDB
15 機械学習モデル
16 インスペクターモデルDB
20 制御部
21 インスペクターモデル生成部
22 閾値設定部
23 劣化検出部
24 分類部
25 監視部
26 報知部
Claims (7)
- コンピュータが、
訓練データを用いて訓練された学習済みモデルに対して入力データを入力したときの第一の出力結果を取得し、
前記訓練データから訓練データの数よりも少ない数の訓練データを抽出し、抽出した訓練データを用いて訓練された検出モデルに対して、前記入力データを入力したときの第二の出力結果を取得し、
前記第一の出力結果と前記第二の出力結果との合致率に基づいて、データの傾向の時間変化に起因する前記学習済みモデルの精度劣化を検出する
処理を実行することを特徴とする劣化検出方法。 - 前記訓練データの数より少ない数の前記学習済みモデルにおいて未学習の訓練データを取得し、取得した訓練データを用いて訓練された第二検出モデルに対して、前記入力データを入力したときの第三の出力結果を取得する処理を前記コンピュータが実行することを特徴とする請求項1に記載の劣化検出方法。
- 前記取得する処理は、前記学習済みモデルに用いられた訓練データの数よりも少なく、かつ、訓練データの数がそれぞれ異なる各訓練データを用いて訓練された複数の検出モデルそれぞれに対して、前記入力データを入力したときの各第二の出力結果を取得し、
前記検出する処理は、前記第一の出力結果と前記各第二の出力結果との各合致率に基づいて、前記学習済みモデルの精度劣化を検出することを特徴とする請求項1に記載の劣化検出方法。 - 前記取得する処理は、前記複数の検出モデルそれぞれに対して、前記入力データを入力したときの各第二の出力結果を取得し、
前記検出する処理は、前記複数の検出モデルそれぞれの出力クラスごとに、前記第一の出力結果と前記第二の出力結果との合致率を算出し、閾値未満の合致率が発生した場合に、前記学習済みモデルの精度劣化を検出することを特徴とする請求項3に記載の劣化検出方法。 - 前記学習済みモデルの精度劣化が検出された場合に、前記第二の出力結果を正解情報とする再学習データを生成し、
前記再学習データを用いて、前記学習済みモデルの再学習を実行する処理を前記コンピュータが実行することを特徴とする請求項1に記載の劣化検出方法。 - コンピュータに、
訓練データを用いて訓練された学習済みモデルに対して入力データを入力したときの第一の出力結果を取得し、
前記訓練データから訓練データの数よりも少ない数の訓練データを抽出し、抽出した訓練データを用いて訓練された検出モデルに対して、前記入力データを入力したときの第二の出力結果を取得し、
前記第一の出力結果と前記第二の出力結果との合致率に基づいて、データの傾向の時間変化に起因する前記学習済みモデルの精度劣化を検出する
処理を実行させることを特徴とする劣化検出プログラム。 - 訓練データを用いて訓練された学習済みモデルに対して入力データを入力したときの第一の出力結果を取得する第一取得部と、
前記訓練データから訓練データの数よりも少ない数の訓練データを抽出し、抽出した訓練データを用いて訓練された検出モデルに対して、前記入力データを入力したときの第二の出力結果を取得する第二取得部と、
前記第一の出力結果と前記第二の出力結果との合致率に基づいて、データの傾向の時間変化に起因する前記学習済みモデルの精度劣化を検出する検出部と
を有することを特徴とする情報処理装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/041803 WO2021079481A1 (ja) | 2019-10-24 | 2019-10-24 | 劣化検出方法、劣化検出プログラムおよび情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021079481A1 JPWO2021079481A1 (ja) | 2021-04-29 |
JP7371696B2 true JP7371696B2 (ja) | 2023-10-31 |
Family
ID=75619757
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021553247A Active JP7371696B2 (ja) | 2019-10-24 | 2019-10-24 | 劣化検出方法、劣化検出プログラムおよび情報処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220215272A1 (ja) |
JP (1) | JP7371696B2 (ja) |
WO (1) | WO2021079481A1 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016152053A1 (ja) | 2015-03-23 | 2016-09-29 | 日本電気株式会社 | 精度推定モデル生成システムおよび精度推定システム |
-
2019
- 2019-10-24 JP JP2021553247A patent/JP7371696B2/ja active Active
- 2019-10-24 WO PCT/JP2019/041803 patent/WO2021079481A1/ja active Application Filing
-
2022
- 2022-03-27 US US17/705,342 patent/US20220215272A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016152053A1 (ja) | 2015-03-23 | 2016-09-29 | 日本電気株式会社 | 精度推定モデル生成システムおよび精度推定システム |
Non-Patent Citations (1)
Title |
---|
坂本悠輔 ほか,教師なし学習における非データ分布依存型コンセプトドリフト検出手法の検証,情報処理学会研究報告[online],日本,一般社団法人情報処理学会,2015年02月24日,Vol.2015-MPS-102, No6,pp.1-6,[retrieved on 2019.12.20], Retrieved from the Internet: <URL: http://id.nii.ac.jp/1001/00113254> |
Also Published As
Publication number | Publication date |
---|---|
US20220215272A1 (en) | 2022-07-07 |
JPWO2021079481A1 (ja) | 2021-04-29 |
WO2021079481A1 (ja) | 2021-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200211325A1 (en) | System and method for outlier detection in gaming | |
US20220222545A1 (en) | Generation method, non-transitory computer-readable storage medium, and information processing device | |
CN112036426A (zh) | 利用高维传感器数据的多数表决进行无监督异常检测和责任的方法和系统 | |
Yilmaz et al. | Adaptive multidimensional outlier analysis for analog and mixed signal circuits | |
US11132790B2 (en) | Wafer map identification method and computer-readable recording medium | |
CN114662602A (zh) | 一种离群点检测方法、装置、电子设备及存储介质 | |
US20220230028A1 (en) | Determination method, non-transitory computer-readable storage medium, and information processing device | |
JP7371696B2 (ja) | 劣化検出方法、劣化検出プログラムおよび情報処理装置 | |
JP7371694B2 (ja) | 劣化検出方法、劣化検出プログラムおよび情報処理装置 | |
JP7363910B2 (ja) | 表示方法、表示プログラム及び情報処理装置 | |
JP7272455B2 (ja) | 検出方法、検出プログラム及び情報処理装置 | |
JP7283563B2 (ja) | 生成方法、生成プログラムおよび情報処理装置 | |
JP7207566B2 (ja) | 生成方法、生成プログラムおよび情報処理装置 | |
EP4287083A1 (en) | Determination program, determination apparatus, and method of determining | |
JP7207565B2 (ja) | 生成方法、生成プログラムおよび情報処理装置 | |
JP7371695B2 (ja) | 劣化検出方法、劣化検出プログラムおよび情報処理装置 | |
US20220207307A1 (en) | Computer-implemented detection method, non-transitory computer-readable recording medium, and computing system | |
JP7424507B2 (ja) | 検知プログラム、検知方法および検知装置 | |
US20230186165A1 (en) | Computer-readable recording medium storing model generation program, model generation method, and model generation device | |
JP7287093B2 (ja) | 学習プログラム、学習方法および学習装置 | |
Almog et al. | Diagnosis for post concept drift decision trees repair | |
JP2022147502A (ja) | 機械学習プログラム、機械学習方法および情報処理装置 | |
WO2021079484A1 (ja) | 作成方法、作成プログラムおよび情報処理装置 | |
JP2023112250A (ja) | データ処理装置、データ処理システム、及び、データ処理方法 | |
CN115907954A (zh) | 账户的识别方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231002 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7371696 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |