JP6210867B2 - データ関連性解析システムおよびデータ管理装置 - Google Patents
データ関連性解析システムおよびデータ管理装置 Download PDFInfo
- Publication number
- JP6210867B2 JP6210867B2 JP2013252249A JP2013252249A JP6210867B2 JP 6210867 B2 JP6210867 B2 JP 6210867B2 JP 2013252249 A JP2013252249 A JP 2013252249A JP 2013252249 A JP2013252249 A JP 2013252249A JP 6210867 B2 JP6210867 B2 JP 6210867B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- original data
- similarity
- relevance
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
Transform)、SURF(Speed-Up
Robust Features)などの、特徴量を使って特徴ベクトル化する。温度や振動数などの時系列かつ連続的なデータは、AR(Autoregressive)モデル等の統計モデルのパラメータとして特徴ベクトル化する。アラームやログのような時系列かつ非連続なデータは、後述の方法で特徴ベクトル化する。なお、もともとハッシュを生成しやすいベクトル表現となっているのならば、特徴ベクトルを生成する処理(ステップ1S102)は実施しなくてもよい。
Eliminating Search Algorithm)等の他の手法を用いてもよい。
x,y:任意の特徴ベクトル。ステップ1S102で生成される。ベクトルの次元は、データに依存する。
S(x,y):ユーザ類似度関数(真の類似度)。定義は後述。
S_i(x,y):データ項目ID(1D101)がiの類似度。詳細は1D105によって指定される。
Hd(x,y):合成ハッシュ距離(関数)。真の類似度の性質を近似する。定義は後述。
Hd_i(x,y):データ項目ID(1D101)がiの類似度(S_i(x,y))に対応するハッシュ距離(関数)。ハッシング方法(1D103)と、ハッシングパラメータ(1D104)により指定される。
W_i:データ項目ID(1D101)がiの類似度に対する重み。図13のユーザインターフェースでユーザに指定される0以上の値。データ管理上、ユーザ類似度定義情報(1D303)に対応。
S(x,y) = W_0 * S_0(x,y) + W_1 * S_1(x,y) +...
= Σ{W_i * S_i(x,y)}・・・・・(式1)
Hd(x,y) = Σ{W_i * α_i / (1+Hd_i(x,y))}・・・・(式2)
Claims (12)
- データ間の関連性を解析するデータ関連性解析システムであって、
各元データに対し所定演算を適用することで、前記各元データ間の類似度を近似的に算出するために使用する近似値を生成する近似値生成部と、
前記各元データに対応する前記各近似値に基づいて、前記各元データ間の関連性を演算する関連性演算部と、
前記関連性演算部による演算結果を出力する演算結果出力部と、
を備え、
前記関連性演算部は、
予め用意された複数の観点の中から選択した所定の観点ごとに前記各元データの前記近似値同士の距離を算出し、
前記近似値同士の距離が所定の閾値以下である場合は、前記各近似値に対応する前記各元データに基づいて前記各元データ間の類似度を算出し、
前記近似値同士の距離が前記所定の閾値を越える場合は、前記各近似値に対応する前記各元データ間の類似度を前記近似値同士の距離以下の所定値として算出し、
前記算出した各類似度に基づいて前記各元データをクラスタリングすることで前記各元データ間の関連性を演算する、
データ関連性解析システム。 - 前記所定演算は、前記元データ間の類似度を保存するハッシュ演算である、請求項1に記載のデータ関連性解析システム。
- 前記関連性演算部は、三角不等式の条件に基づいて探索範囲を限定し、前記探索範囲内において、前記各元データ間の関連性を演算する、
請求項2に記載のデータ関連性解析システム。 - 前記所定の閾値は、ユーザにより指定される類似度に基づいて算出される、請求項3に記載のデータ関連性解析システム。
- 前記近似値生成部は、前記元データが所定の発生条件が成立するたびに生成される時系列データである場合、前記関連性演算部は、所定期間内に発生した全ての前記元データに基づいて特徴ベクトルを算出し、前記算出した特徴ベクトルをクラスタリングして代表ベクトルを算出し、前記代表ベクトルに対して前記所定演算を行うことで、前記近似値を生成する、請求項4に記載のデータ関連性解析システム。
- 前記近似値生成部は、前記各元データ間の発生時刻の時間差に基づいて前記特徴ベクトルを算出する、請求項5に記載のデータ関連性解析システム。
- 前記関連性演算部は、前記近似値を用いて算出した類似度の評価結果を出力する、請求項6に記載のデータ関連性解析システム。
- 前記関連性演算部は、前記各元データの中からサンプリングした所定の複数の元データ間について算出した類似度と、前記近似値を用いて算出した類似度との相違を評価して出力する、
請求項7に記載のデータ関連性解析システム。 - 前記関連性演算部は、前記所定の観点または前記所定の閾値を変えて繰り返し前記各元データ間の関連性を演算することができ、
前記演算結果出力部は、前記関連性演算部による前記各元データ間の関連性の演算結果の履歴を出力する、
請求項7に記載のデータ関連性解析システム。 - 前記各元データのうち一方の元データは、電力需給調整の実績値を有する一方の需要家に関するデータであり、前記各元データのうち他方の元データは、前記電力需給調整の実績値を有していない他方の需要家に関するデータであり、
前記関連性演算部は、前記各元データ間の関連性として、前記一方の需要家により形成される電力需給調整クラスタのうちいずれのクラスタに前記他方の需要家が属するかを演算する、
請求項1に記載のデータ関連性解析システム。 - 前記近似値生成部は、データを計測する計測装置側に配置されており、
前記関連性演算部および前記演算結果出力部は、前記計測装置と通信可能に設けられる計算機側に設けられる、
請求項1に記載のデータ関連性解析システム。 - データ間の関連性を解析するための計算機に通信可能に接続されるデータ管理装置であって、
各元データを収集する収集部と、
前記各元データに対し所定演算を適用することで、前記各元データ間の類似度を近似的に算出するために使用する近似値を生成する近似値生成部と、
前記各元データと該各元データから生成した前記各近似値とを対応づけて前記計算機に転送する転送部とを備え、
前記各元データおよび前記各近似値を受領した前記計算機は、
予め用意された複数の観点の中から選択した所定の観点ごとに前記各元データの前記近似値同士の距離を算出し、
前記近似値同士の距離が所定の閾値以下である場合は、前記各近似値に対応する前記各元データに基づいて前記各元データ間の類似度を算出し、
前記近似値同士の距離が前記所定の閾値を越える場合は、前記各近似値に対応する前記各元データ間の類似度を前記近似値同士の距離以下の所定値として算出し、
前記算出した各類似度に基づいて前記各元データをクラスタリングすることで前記各元データ間の関連性を演算する、
データ管理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013252249A JP6210867B2 (ja) | 2013-12-05 | 2013-12-05 | データ関連性解析システムおよびデータ管理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013252249A JP6210867B2 (ja) | 2013-12-05 | 2013-12-05 | データ関連性解析システムおよびデータ管理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015109028A JP2015109028A (ja) | 2015-06-11 |
JP6210867B2 true JP6210867B2 (ja) | 2017-10-11 |
Family
ID=53439312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013252249A Active JP6210867B2 (ja) | 2013-12-05 | 2013-12-05 | データ関連性解析システムおよびデータ管理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6210867B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017002190A1 (ja) * | 2015-06-30 | 2017-01-05 | 株式会社日立製作所 | データの管理装置及びデータの管理方法 |
WO2017037801A1 (ja) * | 2015-08-28 | 2017-03-09 | 株式会社日立製作所 | 監視システムおよび監視方法 |
JP6904450B2 (ja) * | 2016-02-19 | 2021-07-14 | 住友電気工業株式会社 | 電力消費管理装置および電力消費管理プログラム |
JP6761759B2 (ja) * | 2017-01-09 | 2020-09-30 | 東邦瓦斯株式会社 | 電力抑制量制御システムおよびその方法 |
JP7352523B2 (ja) | 2020-07-28 | 2023-09-28 | Kddi株式会社 | 情報処理装置及び情報処理方法 |
CN112365338B (zh) * | 2020-11-11 | 2024-03-22 | 天翼安全科技有限公司 | 基于人工智能的数据欺诈检测方法、装置、终端及介质 |
CN116091000B (zh) * | 2023-02-14 | 2023-12-08 | 宁波紫熙物联科技有限公司 | 一种基于oa系统的资源智能化管理系统及方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4314123B2 (ja) * | 2004-01-30 | 2009-08-12 | 株式会社山武 | アラーム解析装置、アラーム解析方法及びアラーム解析プログラム |
US7797265B2 (en) * | 2007-02-26 | 2010-09-14 | Siemens Corporation | Document clustering that applies a locality sensitive hashing function to a feature vector to obtain a limited set of candidate clusters |
JP5813317B2 (ja) * | 2010-12-28 | 2015-11-17 | 株式会社東芝 | プロセス状態監視装置 |
JP5598925B2 (ja) * | 2011-06-29 | 2014-10-01 | Kddi株式会社 | 高次元の特徴ベクトルを高精度で検索する検索装置及びプログラム |
-
2013
- 2013-12-05 JP JP2013252249A patent/JP6210867B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015109028A (ja) | 2015-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6210867B2 (ja) | データ関連性解析システムおよびデータ管理装置 | |
Jin et al. | Virtual occupancy sensing: Using smart meters to indicate your presence | |
Himeur et al. | Smart power consumption abnormality detection in buildings using micromoments and improved K‐nearest neighbors | |
Zhou et al. | Partial knowledge data-driven event detection for power distribution networks | |
Zhou et al. | Nonparametric event detection in multiple time series for power distribution networks | |
Liu et al. | Uncertain one-class learning and concept summarization learning on uncertain data streams | |
Zhang et al. | Energy theft detection in an edge data center using threshold-based abnormality detector | |
Ringsquandl et al. | Semantic-guided feature selection for industrial automation systems | |
WO2019108470A1 (en) | Apparatuses, systems and methods of secure cloud-based monitoring of industrial plants | |
Kang et al. | A service scenario generation scheme based on association rule mining for elderly surveillance system in a smart home environment | |
JP2015011565A (ja) | 監視制御システム | |
CN117235524A (zh) | 自动估值模型的学习训练平台 | |
Mohamed et al. | A review on big data management and decision-making in smart grid | |
Nguyen et al. | Semi-supervised intrusive appliance load monitoring in smart energy monitoring system | |
CN116881744A (zh) | 一种基于物联网的运维数据分发方法、装置、设备及介质 | |
Zafar et al. | Step towards secure and reliable smart grids in Industry 5.0: A federated learning assisted hybrid deep learning model for electricity theft detection using smart meters | |
Fan et al. | Research and applications of data mining techniques for improving building operational performance | |
CN117388893A (zh) | 一种基于gps的多设备定位系统 | |
Frikha et al. | Toward a user interest ontology to improve social network-based recommender system | |
Nikitin et al. | Human-in-the-loop large-scale predictive maintenance of workstations | |
JP2015032173A (ja) | 行動推定システム | |
Yeh et al. | Estimation of a data-collection maturity model to detect manufacturing change | |
Balcı et al. | Soft vibrational force on stock market networks | |
Gokulapriya et al. | RETRACTED ARTICLE: Normal discriminant deep convolution neural classification based web behavioral pattern mining for user identification | |
Sheeba et al. | WFCM based big sensor data error detection and correction in wireless sensor network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160912 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170704 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170912 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6210867 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |