JP6551434B2 - データ分析システム、記録装置、データ分析装置、データ管理方法、データ分析方法及びプログラム - Google Patents
データ分析システム、記録装置、データ分析装置、データ管理方法、データ分析方法及びプログラム Download PDFInfo
- Publication number
- JP6551434B2 JP6551434B2 JP2017023194A JP2017023194A JP6551434B2 JP 6551434 B2 JP6551434 B2 JP 6551434B2 JP 2017023194 A JP2017023194 A JP 2017023194A JP 2017023194 A JP2017023194 A JP 2017023194A JP 6551434 B2 JP6551434 B2 JP 6551434B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- storage device
- recorded
- duplicate
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
続いて、本発明の第1の実施形態について図面を参照して詳細に説明する。図3は、本発明の第1の実施形態のデータ分析システムの構成を示す図である。図3を参照すると、データ収集サーバー5と、ストレージ装置6と、データ分析サーバー7とが接続された構成が示されている。
続いて、上記第1の実施形態のストレージ装置に変更を加え、データ分析サーバー7への通知のタイミングを追加した第2の実施形態について図面を参照して詳細に説明する。図5は、本発明の第2の実施形態のデータ分析システムの構成を示す図である。図5を参照すると、データ収集サーバー5と、ストレージ装置6aと、データ分析サーバー7とが接続された構成が示されている。
[第1の形態]
(上記第1の視点によるデータ分析システム参照)
[第2の形態]
上記した情報システムの重複排除手段は、受信したデータを複数のブロックに分割し、ブロック単位で重複データであるか否かを判定することが好ましい。
[第3の形態]
上記した情報システムの重複排除手段は、ブロック単位で判定した結果、受信データが重複データであると判定した場合であっても、受信したデータ全体のブロック構成に変化が生じている場合、前記データ分析装置に前記通知を送信する構成を採ることができる。
[第4の形態]
上記した情報システムのデータ取得装置として、センサーにて測定されたデータを時系列にまとめて送信するデータ収集サーバーを用いることができる。
[第5の形態]
受信したデータをストレージ装置に送信するデータ取得装置と、
前記ストレージ装置に蓄積されたデータを分析するデータ分析装置と、に接続され、
受信したデータのうち、所定の重複排除処理を行って、非重複データを記録する重複排除手段と、
前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知する通知手段と、
を備えた記録装置。
[第6の形態]
受信したデータについて、所定の重複排除処理を行って、非重複データを記録する重複排除手段と、前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知する通知手段と、を備えるストレージ装置と、
外部からデータを取得し、前記ストレージ装置に送信するデータ取得装置と、に接続され、
前記ストレージ装置から、前記非重複データが記録されたことの通知を契機として、前記ストレージ装置からデータを読み出して所定の分析を実施するデータ分析装置。
[第7の形態]
外部からデータを取得し、前記ストレージ装置に送信するデータ取得装置と、
前記ストレージ装置に蓄積されたデータを分析するデータ分析装置と、に接続された記録装置が、
前記データ取得装置から受信したデータについて、所定の重複排除処理を行って、非重複データを記録するステップと、
前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知するステップと、
を含むデータ管理方法。
[第8の形態]
受信したデータについて、所定の重複排除処理を行って、非重複データを記録する重複排除手段と、前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知する通知手段と、を備えるストレージ装置と、
外部からデータを取得し、前記ストレージ装置に送信するデータ取得装置と、に接続されたデータ分析装置が、
前記ストレージ装置から、前記非重複データが記録されたことの通知を受信するステップと、前記通知を契機として、前記ストレージ装置からデータを読み出して所定の分析を実施するステップと、を含むデータ分析方法。
[第9の形態]
受信したデータをストレージ装置に送信するデータ取得装置と、前記ストレージ装置に蓄積されたデータを分析するデータ分析装置と、に接続された記録装置に搭載されたコンピュータに、
受信したデータのうち、所定の重複排除処理を行って、非重複データを記録する処理と、
前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知する処理と、
を実行させるプログラム。
[第10の形態]
受信したデータのうち、所定の重複排除処理を行って、非重複データを記録する重複排除手段と、前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知する通知手段と、を備えるストレージ装置と、外部からデータを取得し、前記ストレージ装置に送信するデータ取得装置と、に接続されたデータ分析装置に搭載されたコンピュータに、
前記ストレージ装置から、前記非重複データが記録されたことの通知を受信する処理と、
前記通知を契機として、前記ストレージ装置からデータを読み出して所定の分析を実施する処理と、
を実行させるプログラム。
なお、上記第5〜第10の形態は、第1の形態と同様に、第2〜第4の形態に展開することが可能である。
5 データ収集サーバー
6、6a ストレージ装置
7 データ分析サーバー
61 データ入出力部
62、62a データ重複排除処理部
63 データ記録部
64 データ生成部
65 データ管理部
71 データ分析部
100A ストレージ装置
200A データ取得装置
300A データ分析装置
Claims (10)
- 受信したデータについて、所定の重複排除処理を行って、非重複データを記録する重複排除手段を備えるストレージ装置と、
外部からデータを取得し、前記ストレージ装置に送信するデータ取得装置と、
前記ストレージ装置に蓄積されたデータを分析するデータ分析装置と、を含み、
前記ストレージ装置は、前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知し、
前記データ分析装置は、前記通知に基づいて、前記ストレージ装置に記録されたデータを読み出して、前記データ取得装置を介して取得され、前記ストレージ装置に蓄積されたデータについて所定の分析処理を実施すること、
を特徴とするデータ分析システム。 - 前記重複排除手段は、受信したデータを複数のブロックに分割し、ブロック単位で重複データであるか否かを判定する請求項1のデータ分析システム。
- 前記重複排除手段は、ブロック単位で判定した結果、受信データが重複データであると判定した場合であっても、受信したデータ全体のブロック構成に変化が生じている場合、前記データ分析装置に前記通知を送信する請求項2のデータ分析システム。
- 前記データ取得装置は、センサーにて測定されたデータを時系列にまとめて送信するデータ収集サーバーである請求項1から3いずれか一のデータ分析システム。
- 受信したデータをストレージ装置に送信するデータ取得装置と、
前記データ取得装置を介して取得され、前記ストレージ装置に蓄積されたデータを分析するデータ分析装置と、に接続され、
受信したデータのうち、所定の重複排除処理を行って、非重複データを記録する重複排除手段と、
前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知する通知手段と、
を備えた記録装置。 - 受信したデータについて、所定の重複排除処理を行って、非重複データを記録する重複排除手段と、前記非重複データを記録した場合、データ分析装置に対し、前記非重複データが記録されたことを通知する通知手段と、を備えるストレージ装置と、
外部からデータを取得し、前記ストレージ装置に送信するデータ取得装置と、に接続され、
前記ストレージ装置から、前記非重複データが記録されたことの通知を契機として、前記ストレージ装置からデータを読み出して、前記データ取得装置を介して取得され、前記ストレージ装置に蓄積されたデータについて所定の分析を実施するデータ分析装置。 - 外部からデータを取得し、ストレージ装置に送信するデータ取得装置と、
前記データ取得装置を介して取得され、前記ストレージ装置に蓄積されたデータを分析するデータ分析装置と、に接続された記録装置が、
前記データ取得装置から受信したデータについて、所定の重複排除処理を行って、非重複データを記録するステップと、
前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知するステップと、
を含むデータ管理方法。 - 受信したデータについて、所定の重複排除処理を行って、非重複データを記録する重複排除手段と、前記非重複データを記録した場合、データ分析装置に対し、前記非重複データが記録されたことを通知する通知手段と、を備えるストレージ装置と、
外部からデータを取得し、前記ストレージ装置に送信するデータ取得装置と、に接続されたデータ分析装置が、
前記ストレージ装置から、前記非重複データが記録されたことの通知を受信するステップと、前記通知を契機として、前記ストレージ装置からデータを読み出して、前記データ取得装置を介して取得され、前記ストレージ装置に蓄積されたデータについて所定の分析を実施するステップと、を含むデータ分析方法。 - 受信したデータをストレージ装置に送信するデータ取得装置と、前記データ取得装置を介して取得され、前記ストレージ装置に蓄積されたデータを分析するデータ分析装置と、に接続された記録装置に搭載されたコンピュータに、
受信したデータのうち、所定の重複排除処理を行って、非重複データを記録する処理と、
前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知する処理と、
を実行させるプログラム。 - 受信したデータのうち、所定の重複排除処理を行って、非重複データを記録する重複排除手段と、前記非重複データを記録した場合、データ分析装置に対し、前記非重複データが記録されたことを通知する通知手段と、を備えるストレージ装置と、外部からデータを取得し、前記ストレージ装置に送信するデータ取得装置と、に接続されたデータ分析装置に搭載されたコンピュータに、
前記ストレージ装置から、前記非重複データが記録されたことの通知を受信する処理と、
前記通知を契機として、前記ストレージ装置からデータを読み出して、前記データ取得装置を介して取得され、前記ストレージ装置に蓄積されたデータについて所定の分析を実施する処理と、
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017023194A JP6551434B2 (ja) | 2017-02-10 | 2017-02-10 | データ分析システム、記録装置、データ分析装置、データ管理方法、データ分析方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017023194A JP6551434B2 (ja) | 2017-02-10 | 2017-02-10 | データ分析システム、記録装置、データ分析装置、データ管理方法、データ分析方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018128967A JP2018128967A (ja) | 2018-08-16 |
JP6551434B2 true JP6551434B2 (ja) | 2019-07-31 |
Family
ID=63172976
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017023194A Active JP6551434B2 (ja) | 2017-02-10 | 2017-02-10 | データ分析システム、記録装置、データ分析装置、データ管理方法、データ分析方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6551434B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9392010B2 (en) * | 2011-11-07 | 2016-07-12 | Netflow Logic Corporation | Streaming method and system for processing network metadata |
US20170293452A1 (en) * | 2014-11-28 | 2017-10-12 | Hitachi, Ltd. | Storage apparatus |
-
2017
- 2017-02-10 JP JP2017023194A patent/JP6551434B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018128967A (ja) | 2018-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10679135B2 (en) | Periodicity analysis on heterogeneous logs | |
JP6747287B2 (ja) | 情報処理装置及び監視方法 | |
US20120271962A1 (en) | Achieving Lossless Data Streaming in a Scan Based Industrial Process Control System | |
US20210226647A1 (en) | Method and system for obtaining and storing sensor data | |
KR102166098B1 (ko) | 클라이언트에게 현재 데이터 및 과거 데이터를 제공하기 위한 서버 시스템 | |
CN109710439B (zh) | 故障处理方法和装置 | |
CN109522316A (zh) | 日志处理方法、装置、设备和存储介质 | |
JP2018010421A (ja) | 計算機システム、計算機及びデータフィルタリング方法 | |
WO2010095458A1 (ja) | 解析前処理システム、解析前処理方法および解析前処理プログラム | |
US11055631B2 (en) | Automated meta parameter search for invariant based anomaly detectors in log analytics | |
CN103428249A (zh) | 一种http请求包的收集及处理方法、系统和服务器 | |
US9276826B1 (en) | Combining multiple signals to determine global system state | |
JP6551434B2 (ja) | データ分析システム、記録装置、データ分析装置、データ管理方法、データ分析方法及びプログラム | |
JP2014225179A (ja) | ログ取得装置、ログ取得方法およびログ取得プログラム | |
US20150088958A1 (en) | Information Processing System and Distributed Processing Method | |
CN107066421B (zh) | 一种示波器及其采集数据上报方法 | |
CN114238018B (zh) | 日志采集文件完整性检测方法、系统、装置及存储介质 | |
CN114036121A (zh) | 一种日志文件处理方法、装置、系统、设备及存储介质 | |
JP2009239855A (ja) | メタデータ管理装置 | |
WO2010095457A1 (ja) | 解析前処理システム、解析前処理方法および解析前処理プログラム | |
KR102382134B1 (ko) | 공격 검지 장치, 공격 검지 방법, 및 공격 검지 프로그램 | |
US8825843B2 (en) | System and methods for monitoring a geographic information system | |
CN112395155A (zh) | 服务的监控方法和装置、存储介质、电子装置 | |
JP2018156541A (ja) | 管理装置、管理システム、管理装置の制御方法、及びプログラム | |
GB2580950A (en) | Data processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180604 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190326 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190617 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6551434 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |