JP6871352B1 - 学習装置、学習方法および学習プログラム - Google Patents
学習装置、学習方法および学習プログラム Download PDFInfo
- Publication number
- JP6871352B1 JP6871352B1 JP2019230922A JP2019230922A JP6871352B1 JP 6871352 B1 JP6871352 B1 JP 6871352B1 JP 2019230922 A JP2019230922 A JP 2019230922A JP 2019230922 A JP2019230922 A JP 2019230922A JP 6871352 B1 JP6871352 B1 JP 6871352B1
- Authority
- JP
- Japan
- Prior art keywords
- model
- data
- loss
- unit
- update
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000013016 learning Effects 0.000 title claims abstract description 153
- 238000000034 method Methods 0.000 title claims abstract description 96
- 230000008569 process Effects 0.000 claims abstract description 66
- 238000004364 calculation method Methods 0.000 claims description 69
- 238000000605 extraction Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 abstract description 13
- 238000012545 processing Methods 0.000 description 29
- 230000005856 abnormality Effects 0.000 description 14
- 238000012800 visualization Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000013500 data storage Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000003066 decision tree Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 1
- 235000011941 Tilia x europaea Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004571 lime Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
以下の実施形態では、第1の実施形態に係る学習装置10の構成、学習装置10の処理の流れを順に説明し、最後に第1の実施形態による効果を説明する。
まず、図1を用いて、学習装置10の構成を説明する。図1は、第1の実施形態に係る学習装置の構成例を示すブロック図である。学習装置10は、予め用意された学習データを用いて、モデルの重みを更新する処理を繰り返す学習処理を行う。学習装置10では、学習処理においてアトリビューションのノイズが減少することを保証するために、学習の終了条件にモデルの精度だけではなく、アトリビューションの値を考慮する。例えば、学習装置10は、アトリビューションのスパース性を測る尺度(例えば、アトリビューションスコアのL1ノルムやアトリビューションスコアのGINI係数)を学習の終了条件に適用し、精度が一定値以下になりかつスパース度も一定値以上になれば学習を終了とすることができる。
次に、図3を用いて、第1の実施形態に係る学習装置10による処理手順の例を説明する。図3は、第1の実施形態に係る学習装置における学習処理の流れの一例を示すフローチャートである。なお、図3の例では、モデルの解釈性に寄与する値として、アトリビューションを用いる場合を例に説明する。
第1の実施形態に係る学習装置10は、複数のデータを取得し、取得した複数のデータを入力データとしてモデルに入力し、該モデルから出力される出力データを得た場合に、出力データと正解データに基づいて、モデルのロスを計算する。そして、学習装置10は、ロスが計算されるたびに、該ロスに応じてモデルの重みを更新する更新処理を繰り返し行う。また、学習装置10は、モデルの解釈性に寄与する値を計算し、ロスとモデルの解釈性に寄与する値とが所定の条件を満たした場合には、更新処理を終了させる。このため、学習装置10では、モデルの精度を保ちつつ、モデルの解釈性に寄与する値を観測しやすい値で得ることが可能である。
上記した第1の実施形態では、モデルを学習する学習装置について説明したが、第2の実施形態では、学習処理によって得られた学習済みモデルを用いて、アトリビューションを抽出する学習装置について説明する。以下の第2の実施形態では、第2の実施形態に係る学習装置10Aの構成、学習装置10Aの処理の流れを順に説明し、最後に第1の実施形態による効果を説明する。なお、第1の実施形態と同様の構成および処理については説明を省略する。
まず、図4を用いて、学習装置10Aの構成を説明する。図4は、第2の実施形態に係る学習装置の構成例を示すブロック図である。学習装置10Aは、例えば、工場やプラントなどの監視対象設備に設置されるセンサによって取得された複数のデータを収集し、収集された複数のデータを入力として、監視対象設備の異常を予測するための学習済モデルを用いて、監視対象設備の特定センサの推定値を出力する。また、学習装置10Aは、このように出力された推定値から異常度を算出してもよい。
次に、図7を用いて、第2の実施形態に係る学習装置10Aによる処理手順の例を説明する。図7は、第2の実施形態に係る学習装置におけるアトリビューション抽出処理の流れの一例を示すフローチャートである。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUやGPUおよび当該CPUやGPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
また、上記実施形態において説明した情報処理装置が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、実施形態に係る学習装置10、10Aが実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。
11 通信処理部
12 制御部
12a 取得部
12b 第一の計算部
12c 更新部
12d 第二の計算部
12e 更新終了部
12f 抽出部
12g 予測部
12h 可視化部
13 記憶部
13a データ記憶部
13b 学習済みモデル記憶部
Claims (7)
- 複数のデータを取得する取得部と、
前記取得部によって取得された複数のデータを入力データとしてモデルに入力し、該モデルから出力される出力データを得た場合に、前記出力データと正解データに基づいて、前記モデルのロスを計算する第一の計算部と、
前記第一の計算部によってロスが計算されるたびに、該ロスに応じて前記モデルの重みを更新する更新処理を繰り返し行う更新部と、
前記モデルの解釈性に寄与する値を計算する第二の計算部と、
前記第一の計算部によって計算されたロスと前記第二の計算部によって計算された値とが所定の条件を満たした場合には、前記更新処理を終了させる更新終了部と、
を有することを特徴とする学習装置。 - 前記第二の計算部は、前記入力データおよび前記出力データに基づいて、入力データの各要素の出力データに対する寄与度であるアトリビューションを計算することを特徴とする請求項1に記載の学習装置。
- 前記更新終了部は、前記第一の計算部によって計算されたロスが所定の閾値以下であって、且つ、前記第二の計算部によって計算された値が所定の閾値以下である場合には、前記更新処理を終了させることを特徴とする請求項1に記載の学習装置。
- 前記更新終了部は、前記第一の計算部によって計算されたロスが前回計算されたロスよりも大きくなることが所定回数連続で続き、且つ、前記第二の計算部によって計算された値が前回計算された値よりも大きくなることが所定回数連続で続いた場合には、前記更新処理を終了させることを特徴とする請求項1に記載の学習装置。
- 前記更新終了部によって更新処理が終了されるまで前記更新部によって更新処理が繰り返し行われた学習済みモデルに入力データを入力し、該学習済みモデルから出力される出力データを得た場合に、前記モデルの解釈性に寄与する値を抽出する抽出部をさらに有することを特徴とする請求項1に記載の学習装置。
- 学習装置によって実行される学習方法であって、
複数のデータを取得する取得工程と、
前記取得工程によって取得された複数のデータを入力データとしてモデルに入力し、該モデルから出力される出力データを得た場合に、前記出力データと正解データに基づいて、前記モデルのロスを計算する第一の計算工程と、
前記第一の計算工程によってロスが計算されるたびに、該ロスに応じて前記モデルの重みを更新する更新処理を繰り返し行う更新工程と、
前記モデルの解釈性に寄与する値を計算する第二の計算工程と、
前記第一の計算工程によって計算されたロスと前記第二の計算工程によって計算された値とが所定の条件を満たした場合には、前記更新処理を終了させる更新終了工程と、
を含むことを特徴とする学習方法。 - 複数のデータを取得する取得ステップと、
前記取得ステップによって取得された複数のデータを入力データとしてモデルに入力し、該モデルから出力される出力データを得た場合に、前記出力データと正解データに基づいて、前記モデルのロスを計算する第一の計算ステップと、
前記第一の計算ステップによってロスが計算されるたびに、該ロスに応じて前記モデルの重みを更新する更新処理を繰り返し行う更新ステップと、
前記モデルの解釈性に寄与する値を計算する第二の計算ステップと、
前記第一の計算ステップによって計算されたロスと前記第二の計算ステップによって計算された値とが所定の条件を満たした場合には、前記更新処理を終了させる更新終了ステップと、
をコンピュータに実行させることを特徴とする学習プログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019230922A JP6871352B1 (ja) | 2019-12-20 | 2019-12-20 | 学習装置、学習方法および学習プログラム |
PCT/JP2020/047396 WO2021125318A1 (ja) | 2019-12-20 | 2020-12-18 | 学習装置、学習方法および学習プログラム |
EP20902706.9A EP4080420A4 (en) | 2019-12-20 | 2020-12-18 | LEARNING DEVICE, LEARNING METHOD AND LEARNING PROGRAM |
CN202080087380.0A CN115023711A (zh) | 2019-12-20 | 2020-12-18 | 学习装置、学习方法以及学习程序 |
JP2021069219A JP7046252B2 (ja) | 2019-12-20 | 2021-04-15 | 学習装置、学習方法および学習プログラム |
US17/842,974 US20220318630A1 (en) | 2019-12-20 | 2022-06-17 | Learning device, learning method, and learning program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019230922A JP6871352B1 (ja) | 2019-12-20 | 2019-12-20 | 学習装置、学習方法および学習プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021069219A Division JP7046252B2 (ja) | 2019-12-20 | 2021-04-15 | 学習装置、学習方法および学習プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6871352B1 true JP6871352B1 (ja) | 2021-05-12 |
JP2021099645A JP2021099645A (ja) | 2021-07-01 |
Family
ID=75801959
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019230922A Active JP6871352B1 (ja) | 2019-12-20 | 2019-12-20 | 学習装置、学習方法および学習プログラム |
JP2021069219A Active JP7046252B2 (ja) | 2019-12-20 | 2021-04-15 | 学習装置、学習方法および学習プログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021069219A Active JP7046252B2 (ja) | 2019-12-20 | 2021-04-15 | 学習装置、学習方法および学習プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220318630A1 (ja) |
EP (1) | EP4080420A4 (ja) |
JP (2) | JP6871352B1 (ja) |
CN (1) | CN115023711A (ja) |
WO (1) | WO2021125318A1 (ja) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0764945A (ja) * | 1993-08-30 | 1995-03-10 | Fujitsu Ltd | ニューラルネットワーク |
-
2019
- 2019-12-20 JP JP2019230922A patent/JP6871352B1/ja active Active
-
2020
- 2020-12-18 EP EP20902706.9A patent/EP4080420A4/en active Pending
- 2020-12-18 CN CN202080087380.0A patent/CN115023711A/zh active Pending
- 2020-12-18 WO PCT/JP2020/047396 patent/WO2021125318A1/ja unknown
-
2021
- 2021-04-15 JP JP2021069219A patent/JP7046252B2/ja active Active
-
2022
- 2022-06-17 US US17/842,974 patent/US20220318630A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4080420A4 (en) | 2024-01-24 |
CN115023711A (zh) | 2022-09-06 |
EP4080420A1 (en) | 2022-10-26 |
JP2021099645A (ja) | 2021-07-01 |
JP2021103596A (ja) | 2021-07-15 |
WO2021125318A1 (ja) | 2021-06-24 |
US20220318630A1 (en) | 2022-10-06 |
JP7046252B2 (ja) | 2022-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11921566B2 (en) | Abnormality detection system, abnormality detection method, abnormality detection program, and method for generating learned model | |
JP6755849B2 (ja) | 人工ニューラルネットワークのクラスに基づく枝刈り | |
US11756349B2 (en) | Electronic control unit testing optimization | |
JP2018195308A (ja) | プロセス及び製造業における業績評価指標のデータに基づく最適化のための方法及びシステム | |
CN107977748B (zh) | 一种多变量扭曲时间序列预测方法 | |
US20210326661A1 (en) | Determining an explanation of a classification | |
CN115640933B (zh) | 生产线缺陷自动管理方法、装置、设备及存储介质 | |
JP2018528511A (ja) | 生産システムにおける出力効率の最適化 | |
JP2020149601A (ja) | データ処理装置、データ処理方法及びデータ処理プログラム | |
KR102493719B1 (ko) | 통합 공기질 예측 시스템 | |
WO2021066194A1 (ja) | 学習装置、学習方法および学習プログラム | |
JP6871352B1 (ja) | 学習装置、学習方法および学習プログラム | |
CN113361194A (zh) | 一种基于深度学习的传感器漂移校准方法、电子设备及存储介质 | |
US20220222402A1 (en) | Information processing device, information processing method, and information processing program | |
JP6889207B2 (ja) | 学習装置、抽出装置、学習方法、抽出方法、学習プログラムおよび抽出プログラム | |
Chumachenko et al. | Application of statistical simulation for measles epidemic process forecasting | |
CN113139332A (zh) | 一种自动化模型构建方法、装置及设备 | |
JP2020166442A (ja) | 情報処理装置、算出方法および算出プログラム | |
JP2023009625A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP6910997B2 (ja) | 情報処理装置、算出方法および算出プログラム | |
JP2021149590A (ja) | 学習装置、学習方法及び学習プログラム | |
Wei | Probabilistic digital twin of water treatment facilities | |
TW202230060A (zh) | 資訊處理裝置、資訊處理方法及資訊處理程式產品 | |
CN116451786A (zh) | 一种基于单变量时序数据生成知识点的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210316 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6871352 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |