JP7267044B2 - データ処理装置、データ処理方法及びデータ処理プログラム - Google Patents
データ処理装置、データ処理方法及びデータ処理プログラム Download PDFInfo
- Publication number
- JP7267044B2 JP7267044B2 JP2019048834A JP2019048834A JP7267044B2 JP 7267044 B2 JP7267044 B2 JP 7267044B2 JP 2019048834 A JP2019048834 A JP 2019048834A JP 2019048834 A JP2019048834 A JP 2019048834A JP 7267044 B2 JP7267044 B2 JP 7267044B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- output
- data
- weight
- multivariate time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本実施の形態に係るデータ処理装置10の構成、データ処理装置10の処理の流れを順に説明し、本実施の形態による効果を説明する。
実施の形態に係るデータ処理装置10は、与えられたタスク(異常検知など)に応じた問題を解き、最終的な出力を計算する。実施の形態に係るデータ処理装置10は、出力の解釈性を高めるための補助として、多変量時系列データの特徴量毎に、モデルの出力に対する寄与度を表す重みを生成する。具体的には、データ処理装置10は、attention機構を有するニューラルネットワークを用いたモデルを用いて、多変量時系列データの特徴量毎に、重みとして、attention(以降、特徴attentionとする。)を生成し、モデルの出力に寄与する特徴量を選別する。なお、寄与度を、その特徴量の、モデルの出力に対する重要度や、その特徴量の、モデルの出力に関する影響度と言い換えてもよい。
次に、モデル122について説明する。図2は、実施の形態におけるモデルの概要を説明する図である。図2では、多変量時系列データとして、複数のセンサデータを処理するモデルMeを例に説明する。
次に、データ処理装置10における学習処理の処理手順について説明する。図5は、実施の形態に係る学習処理の処理手順の一例を示すフローチャートである。
次に、データ処理装置10における特徴attentionの生成処理の処理手順について説明する。運用時には、モデル122にタスクを自動で解かせつつ、アトリビューションマップによってその判断根拠となった特徴量を確認する。図6は、実施の形態に係る特徴attentionの生成処理の処理手順の一例を示すフローチャートである。
ここで、近年、主に自然言語処理の領域において、attentionと呼ばれる技術がニューラルネットで使われている。このattention機構は、従来の再帰型ニューラルネットでは捉えきれないより長期的な単語系列間の依存関係を捉えることに使われる。そして、attention機構は、その副次的な恩恵として、attentionを観察することで、どの単語がタスクにおいて重要であったかを可視化することが可能である。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUやGPU及び当該CPUやGPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
また、上記実施の形態において説明したデータ処理装置10が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、実施の形態に係るデータ処理装置10が実行する処理をコンピュータが実行可能な言語で記述したデータ処理プログラムを作成することもできる。この場合、コンピュータがデータ処理プログラムを実行することにより、上記実施の形態と同様の効果を得ることができる。さらに、かかるデータ処理プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたデータ処理プログラムをコンピュータに読み込ませて実行することにより上記実施の形態と同様の処理を実現してもよい。
11 通信部
12 記憶部
13 制御部
14 出力部
121 多変量時系列データ記憶部
122 モデル
131 受付部
132 学習部
133 生成部
134 出力計算部
Claims (6)
- 多変量時系列データの特徴量毎に、attention機構を用いて、モデルの出力に対する寄与度を表す重みを生成するよう学習されたモデルを用いて、処理対象の多変量時系列データの特徴量毎に重みを生成する生成部と、
前記生成部によって生成された各重みを、各特徴量に対応付けて出力する出力部と、
を有し、
前記生成部は、学習済みの前記モデルが複数ある場合には、その中からいずれかを選択して使用し、
または、
前記生成部は、最後に学習されたモデルを用い、
前記モデルは、多変量時系列データの特徴量毎の特徴ベクトルとして、多変量時系列データである入力データXを置換した置換データX T に、学習した重みW f (∈R F×T )を乗じたfeature map V(∈R F×C )を出力する第1のニューラルネットワークと、多変量時系列データの特徴量毎に前記attention機構を用いて重みを生成する第2のニューラルネットワークと、前記第2のニューラルネットワークから出力された重みと、前記第1のニューラルネットワークから出力されたFeature Map Vと、を掛け合わせたベクトルを求める出力計算ネットワークと、を含むニューラルネットワークであり、
前記出力部は、前記出力計算ネットワークが求めたベクトルを基に、各重みを、各特徴量に対応付けて出力することを特徴とするデータ処理装置。 - 前記第1のニューラルネットワークに学習用の多変量時系列データの特徴量毎の特徴ベクトルを抽出させ、前記第2のニューラルネットワークに前記学習用の多変量時系列データの特徴量毎に重みを生成させ、抽出結果、生成結果及びこれらから計算されたタスクに対する出力結果を基に、前記モデルのうちの前記第2のニューラルネットワークに多変量時系列データの特徴量毎の重みの生成を学習させる学習部
をさらに有することを特徴とする請求項1に記載のデータ処理装置。 - 前記出力部は、各特徴量と各重みとの対応付けを示すデータとして、特徴量毎に、重みの大小を色の濃淡で表現した画像データを出力することを特徴とする請求項1または2に記載のデータ処理装置。
- 前記出力部は、各特徴量と各重みとの対応付けを示すデータとして、前記特徴量と前記重みとの関係をグラフ化した画像データを出力することを特徴とする請求項1または2に記載のデータ処理装置。
- データ処理装置が実行するデータ処理方法であって、
多変量時系列データの特徴量毎に、attention機構を用いて、モデルの出力に対する寄与度を表す重みを生成するよう学習されたモデルを用いて、処理対象の多変量時系列データの特徴量毎に重みを生成する工程と、
前記生成する工程によって生成された各重みを、各特徴量に対応付けて出力する工程と、
を含み、
前記生成する工程は、学習済みの前記モデルが複数ある場合には、その中からいずれかを選択して使用し、
または、
前記生成する工程は、最後に学習されたモデルを用い、
前記モデルは、多変量時系列データの特徴量毎の特徴ベクトルとして、多変量時系列データである入力データXを置換した置換データX T に、学習した重みW f (∈R F×T )を乗じたfeature map V(∈R F×C )を出力する第1のニューラルネットワークと、多変量時系列データの特徴量毎に前記attention機構を用いて重みを生成する第2のニューラルネットワークと、前記第2のニューラルネットワークから出力された重みと、前記第1のニューラルネットワークから出力されたFeature Map Vと、を掛け合わせたベクトルを求める出力計算ネットワークと、を含むニューラルネットワークであり、
前記出力する工程は、前記出力計算ネットワークが求めたベクトルを基に、各重みを、各特徴量に対応付けて出力することを特徴とするデータ処理方法。 - 多変量時系列データの特徴量毎に、attention機構を用いて、モデルの出力に対する寄与度を表す重みを生成するよう学習されたモデルを用いて、処理対象の多変量時系列データの特徴量毎に重みを生成するステップと、
前記生成するステップによって生成された各重みを、各特徴量に対応付けて出力するステップと、
をコンピュータに実行させ、
前記生成するステップは、学習済みの前記モデルが複数ある場合には、その中からいずれかを選択して使用し、
または、
前記生成するステップは、最後に学習されたモデルを用い、
前記モデルは、多変量時系列データの特徴量毎の特徴ベクトルとして、多変量時系列データである入力データXを置換した置換データX T に、学習した重みW f (∈R F×T )を乗じたfeature map V(∈R F×C )を出力する第1のニューラルネットワークと、多変量時系列データの特徴量毎に前記attention機構を用いて重みを生成する第2のニューラルネットワークと、前記第2のニューラルネットワークから出力された重みと、前記第1のニューラルネットワークから出力されたFeature Map Vと、を掛け合わせたベクトルを求める出力計算ネットワークと、を含むニューラルネットワークであり、
前記出力するステップは、前記出力計算ネットワークが求めたベクトルを基に、各重みを、各特徴量に対応付けて出力することを特徴とするデータ処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019048834A JP7267044B2 (ja) | 2019-03-15 | 2019-03-15 | データ処理装置、データ処理方法及びデータ処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019048834A JP7267044B2 (ja) | 2019-03-15 | 2019-03-15 | データ処理装置、データ処理方法及びデータ処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020149601A JP2020149601A (ja) | 2020-09-17 |
JP7267044B2 true JP7267044B2 (ja) | 2023-05-01 |
Family
ID=72432099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019048834A Active JP7267044B2 (ja) | 2019-03-15 | 2019-03-15 | データ処理装置、データ処理方法及びデータ処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7267044B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116600863A (zh) * | 2021-01-21 | 2023-08-15 | 索尼集团公司 | 信息处理方法、信息处理系统、信息终端和计算机程序 |
JPWO2022269690A1 (ja) * | 2021-06-21 | 2022-12-29 | ||
JPWO2023047542A1 (ja) * | 2021-09-24 | 2023-03-30 | ||
WO2023175910A1 (ja) * | 2022-03-18 | 2023-09-21 | 日本電気株式会社 | 意思決定支援システム、意思決定支援方法および記録媒体 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006043007A (ja) | 2004-08-02 | 2006-02-16 | Fujitsu Ltd | 診断支援プログラムおよび診断支援装置 |
JP2010054685A (ja) | 2008-08-27 | 2010-03-11 | Nippon Hoso Kyokai <Nhk> | 音声認識装置及び音声認識プログラム |
JP2017068710A (ja) | 2015-09-30 | 2017-04-06 | 富士通株式会社 | 分散処理システム、学習モデル作成方法、データ処理方法、学習モデル作成プログラムおよびデータ処理プログラム |
WO2018105194A1 (en) | 2016-12-07 | 2018-06-14 | Mitsubishi Electric Corporation | Method and system for generating multi-relevant label |
US20180336466A1 (en) | 2017-05-17 | 2018-11-22 | Samsung Electronics Co., Ltd. | Sensor transformation attention network (stan) model |
JP2019023858A (ja) | 2017-07-21 | 2019-02-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 学習データ生成装置、学習データ生成方法、機械学習方法及びプログラム |
JP2020042645A (ja) | 2018-09-12 | 2020-03-19 | 株式会社日立製作所 | 時系列データ分析装置、時系列データ分析方法、および時系列データ分析プログラム |
-
2019
- 2019-03-15 JP JP2019048834A patent/JP7267044B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006043007A (ja) | 2004-08-02 | 2006-02-16 | Fujitsu Ltd | 診断支援プログラムおよび診断支援装置 |
JP2010054685A (ja) | 2008-08-27 | 2010-03-11 | Nippon Hoso Kyokai <Nhk> | 音声認識装置及び音声認識プログラム |
JP2017068710A (ja) | 2015-09-30 | 2017-04-06 | 富士通株式会社 | 分散処理システム、学習モデル作成方法、データ処理方法、学習モデル作成プログラムおよびデータ処理プログラム |
WO2018105194A1 (en) | 2016-12-07 | 2018-06-14 | Mitsubishi Electric Corporation | Method and system for generating multi-relevant label |
US20180336466A1 (en) | 2017-05-17 | 2018-11-22 | Samsung Electronics Co., Ltd. | Sensor transformation attention network (stan) model |
JP2019023858A (ja) | 2017-07-21 | 2019-02-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 学習データ生成装置、学習データ生成方法、機械学習方法及びプログラム |
JP2020042645A (ja) | 2018-09-12 | 2020-03-19 | 株式会社日立製作所 | 時系列データ分析装置、時系列データ分析方法、および時系列データ分析プログラム |
Non-Patent Citations (1)
Title |
---|
山室 冴,深層学習を用いた時系列データの要約と分類,第10回データ工学と情報マネジメントに関するフォーラム (第16回日本データベース学会年次大会) [Online] ,日本,電子情報通信学会データ工学研究専門委員会 日本データベース学会 情報処理学会データベースシステム研究会,2018年04月17日 |
Also Published As
Publication number | Publication date |
---|---|
JP2020149601A (ja) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7267044B2 (ja) | データ処理装置、データ処理方法及びデータ処理プログラム | |
AU2019201857B2 (en) | Sparse neural network based anomaly detection in multi-dimensional time series | |
CN112655004A (zh) | 用于异常检测和/或预测性维护的计算机实现的方法、计算机程序产品以及系统 | |
JP2019061565A (ja) | 異常診断方法および異常診断装置 | |
WO2018157752A1 (en) | Approximate random number generator by empirical cumulative distribution function | |
CN110345392B (zh) | 输油管道漏点的定位方法及装置 | |
Wang et al. | Kalman filter based fault detection for two-dimensional systems | |
Dewallef et al. | A methodology to improve the robustness of gas turbine engine performance monitoring against sensor faults | |
Islam et al. | Motor bearing fault diagnosis using deep convolutional neural networks with 2d analysis of vibration signal | |
JP2018528511A (ja) | 生産システムにおける出力効率の最適化 | |
EP3132321B1 (en) | Transforming failure samples using conditional models for machine condition monitoring | |
CN113110961B (zh) | 设备异常检测方法、装置、计算机设备及可读存储介质 | |
US10378997B2 (en) | Change detection using directional statistics | |
Noursadeghi et al. | Reduced-order distributed fault diagnosis for large-scale nonlinear stochastic systems | |
Ahmed et al. | On-line process monitoring during transient operations using weighted distance Auto Associative Bilateral Kernel Regression | |
US20220222402A1 (en) | Information processing device, information processing method, and information processing program | |
CN113552804B (zh) | 一种基于qr-frols算法的转子系统narx建模方法 | |
WO2018142694A1 (ja) | 特徴量生成装置、特徴量生成方法及びプログラム | |
Hernandez-Garcia et al. | Multivariate statistical analysis for detection and identification of faulty sensors using latent variable methods | |
Li et al. | Protocol-based zonotopic state and fault estimation for communication-constrained industrial cyber-physical systems | |
Xie et al. | Fault detection based on probabilistic kernel partial least square regression for industrial processes | |
JP7127477B2 (ja) | 学習方法、装置及びプログラム、並びに設備の異常診断方法 | |
CN114450645A (zh) | 智能过程异常检测和趋势预估系统 | |
WO2016122561A1 (en) | Synthesizing a graph | |
Krishnan et al. | Deep learning inspired prognostics scheme for applications generating big data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210624 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230419 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7267044 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |