JP6551434B2 - データ分析システム、記録装置、データ分析装置、データ管理方法、データ分析方法及びプログラム - Google Patents

データ分析システム、記録装置、データ分析装置、データ管理方法、データ分析方法及びプログラム Download PDF

Info

Publication number
JP6551434B2
JP6551434B2 JP2017023194A JP2017023194A JP6551434B2 JP 6551434 B2 JP6551434 B2 JP 6551434B2 JP 2017023194 A JP2017023194 A JP 2017023194A JP 2017023194 A JP2017023194 A JP 2017023194A JP 6551434 B2 JP6551434 B2 JP 6551434B2
Authority
JP
Japan
Prior art keywords
data
storage device
recorded
duplicate
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017023194A
Other languages
English (en)
Other versions
JP2018128967A (ja
Inventor
邦尚 根岸
邦尚 根岸
武司 舘野
武司 舘野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2017023194A priority Critical patent/JP6551434B2/ja
Publication of JP2018128967A publication Critical patent/JP2018128967A/ja
Application granted granted Critical
Publication of JP6551434B2 publication Critical patent/JP6551434B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、データ分析システム、記録装置、データ分析装置、データ管理方法、データ分析方法及びプログラムに関し、特に、大量のデータの分析に用いるデータ分析システム、記録装置、データ分析装置、データ管理方法、データ分析方法及びプログラムに関する。
特許文献1に、複数のサブ回路におけるエネルギー使用状況を示す1つまたは複数のパラメータを測定し、現在のエネルギー使用状況のモニタリングを可能にするレートで、測定パラメータのうちの少なくとも1つに関連する情報を自動的に送信するシステムの一例が開示されている。同文献によると、このシステムは、さらに、測定パラメータの有意な変化を検出し、測定パラメータの有意な変化がエネルギー使用状況の変化に起因するかどうかを決定し、有意な変化を検出する工程の後で、エネルギー使用状況の変化に起因する測定パラメータの有意な変化に関連する情報を自動的に送信する。
特許文献2には、撮像されたデジタル画像データについて、予め定めた比較ポイントについて色合いの変化があったときだけ、PCカードに保存するデジタルカメラが開示されている。
特許文献3には、データを格納する段階で、既に格納されているデータとの重複を判定し、重複するデータについては記憶媒体にデータを格納せず、既に格納済みの重複データへのポインタ情報等を記録するようにした重複排除機能(デデュプリケーション(Deduplication)ともいう)を備えたストレージ装置が開示されている。
特表2014−512625号公報 特開平10−145648号公報 特開2013−3883号公報
以下の分析は、本発明によって与えられたものである。特許文献1のように、さまざまなセンサから得られた大量のデータを分析して、システムの状態を提示したり、将来の状態を予測する技術の研究が盛んに行われている。上記センサ等から送られるデータには、定常的な値を持っていて、まれに変化が発生する性質のものが多い。そこで、特許文献1、2の方法では、連続して送られてきたデータ同士を比較し、有意な変化が生じているかどうかを判定する構成を採用している。
上記特許文献1、2の方法の問題点は、センサ等から送られるデータが増えれば増えるほど、負荷が増大してしまうという点である。特許文献3の開示の内容も、重複排除機能を備えたストレージの改良に止まっている。
本発明は、不要なデータを削減し、かつ、データを分析する装置の側の負荷を低減することのできるデータ分析システム、記録装置、データ分析装置、データ管理方法、データ分析方法及びプログラムを提供することを目的とする。
第1の視点によれば、受信したデータについて、所定の重複排除処理を行って、非重複データを記録する重複排除手段を備えるストレージ装置と、外部からデータを取得し、前記ストレージ装置に送信するデータ取得装置と、前記ストレージ装置に蓄積されたデータを分析するデータ分析装置と、を含むデータ分析システムが提供される。前記ストレージ装置は、前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知する。前記データ分析装置は、前記通知に基づいて、前記ストレージ装置に記録されたデータを読み出して所定の分析処理を実施する。
第2の視点によれば、上記したデータ分析システムを構成する装置が提供される。
第3の視点によれば、上記したデータ分析システムを構成する装置を用いて実施可能なデータ管理方法及びデータ分析方法が提供される。このデータ管理方法は、所定の重複排除処理を行って、非重複データを記録する重複排除手段を備えるストレージ装置という、特定の機械に結びつけられている。また、データ分析方法は、前記ストレージ装置に蓄積されたデータを分析するデータ分析装置という、特定の機械に結びつけられている。
第4の視点によれば、上記したデータ分析システムを構成する装置に搭載されたコンピュータに実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な(非トランジエントな)記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。
本発明によれば、記録装置に記録するデータから不要なデータを削減し、かつ、データを分析する装置の側の負荷を低減することが可能となる。
本発明の一実施形態の構成を示す図である。 本発明の一実施形態の動作を説明するための図である。 本発明の第1の実施形態のデータ分析システムの構成を示す図である。 本発明の第1の実施形態のデータ分析システムの動作を表したシーケンス図である。 本発明の第2の実施形態のデータ分析システムの構成を示す図である。 本発明の第2の実施形態のデータ分析システムの動作を表したシーケンス図である。
はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。
本発明は、その一実施形態において、図1に示すように、ストレージ装置100Aと、データ取得装置200Aと、データ分析装置300Aと、を含む構成にて実現できる。
より具体的には、図2に示すように、データ取得装置200Aは、外部からデータを取得し、ストレージ装置100Aに送信する。ストレージ装置100Aは、受信したデータについて、所定の重複排除処理を行って、非重複データを記録する重複排除手段を備え、非重複データを記録した場合、前記データ分析装置300Aに対し、前記非重複データが記録されたことを通知する。そして、データ分析装置300Aは、前記通知に基づいて、前記ストレージ装置100Aに記録されたデータを読み出して所定の分析処理を実施する。
以上のとおり、本発明によれば、データ分析装置300Aの負荷を軽減することが可能となる。その理由は、データ分析装置300Aにおいて、分析に先だって、有意な変化が生じているか等の判定を不要とするように構成したことにある。
もちろん、前記非重複データが記録されたことの通知の送信頻度によっては、データ分析装置300Aの負荷が上がってしまうので、分析動作を行う条件として、その他の条件を付加してもよい。例えば、前回の分析処理から所定時間が経過していることや、ストレージ装置100Aからの通知を所定数受け取った場合に、分析動作を開始するようにすること等が考えられる。
[第1の実施形態]
続いて、本発明の第1の実施形態について図面を参照して詳細に説明する。図3は、本発明の第1の実施形態のデータ分析システムの構成を示す図である。図3を参照すると、データ収集サーバー5と、ストレージ装置6と、データ分析サーバー7とが接続された構成が示されている。
データ収集サーバー5は、多数のセンサー1と接続されており、センサー1で採取したデータを収集する。本実施形態においては、データ収集サーバー5が上述のデータ取得装置に相当する。このようなデータ収集サーバー5として、センサーにて測定されたデータを時系列にまとめて送信する機能等を持ったIoTゲートウェイ(Internet of Things Gateway)と呼ばれている機器を用いることもできる。
ストレージ装置6は、データ入出力部61と、データ重複排除処理部62と、データ記録部63と、データ生成部64とを含む。このようなストレージ装置6は、非特許文献3に記載されている重複排除機能を備えた重複排除型ストレージ装置をベースに構成することができる。より具体的には、この種の重複排除型ストレージ装置に、非重複判定時のデータ収集サーバー5への通知機能を追加することで実現できる。
データ分析サーバー7は、センサー1で測定されたデータを用いて所定の分析処理を行うデータ分析部71を備えたサーバーである。本実施形態においては、データ分析サーバー7が上述のデータ分析装置に相当する。
ここで、ストレージ装置6及びデータ分析サーバーの詳細構成について説明する。データ入出力部61は、データ収集サーバー5から受信したデータをデータ重複排除処理部62に送る。また、データ入出力部61は、データ分析サーバー7から要求されたデータを、データ生成部64に要求し、データ生成部64にて作成されたデータをデータ分析サーバー7に送信する。
データ重複排除処理部62は、データ収集サーバー5から受信したデータを細かい単位(ブロック)に分割して、重複排除処理を行う機能と、非重複データがデータ記録部63に記録された際に、データ分析部71に対し、その旨を通知する機能を有する。
データ記録部63には、データが記録されると、データ重複排除処理部62の判定結果に基づいて、そのデータを生成するために必要なブロック構成情報と、実データのブロックが記録される。なお、データ記録部63へのデータ記録方法としては、特許文献3等に記載されている種々の方法を用いることができる。
データ生成部64は、データ分析サーバー7から指定されたデータを生成するために、データ記録部63からブロック構成情報とデータのブロックを読み込んで、前記指定されたデータを生成する。
データ分析部71は、重複データがデータ記録部63に記録された旨の通知を受信したタイミングで、ストレージ装置6からデータを読み込み、分析を行う。
なお、図3に示したストレージ装置6及びデータ分析サーバー7の各部(処理手段)は、これらの装置を構成するコンピュータに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することもできる。
続いて、本実施形態の動作について図面を参照して詳細に説明する。図4は、本発明の第1の実施形態のデータ分析システムの動作を表したシーケンス図である。図4を参照すると、まず、データ収集サーバー5がセンサー1等からデータを収集し、ストレージ装置に送信する(ステップS101)。なお、データ収集サーバー5がセンサー1等からデータを収集する形態は、プッシュ型、プル型いずれの形態であってもよい。また、データ収集サーバー5が、センサー1等からデータを一定期間蓄積してから、ストレージ装置6に求めて送信することとしてもよい。このようにすることで、大量のデータが送信されることによるネットワーク側の負荷やオーバーヘッドを低減することができる。
ストレージ装置6のデータ入出力部61は、データ収集サーバー5から受信したデータを、データ重複排除処理部62に送る。データ重複排除処理部62は、重複排除処理を実施し、データ記録部63にブロック構成情報とともに必要なデータを書き込む(ステップS102)。
その際に、書き込まれるデータが重複データである場合、データ重複排除処理部62はデータ分析サーバー7への通知を行わずに処理を終了する(ステップS103の「重複データ」)。一方、非重複データである場合(ステップS103の「非重複データ」)、データ重複排除処理部62は、データ分析サーバー7に対し、非重複データが登録されたことを通知する(ステップS104)。
前記通知を受けたデータ分析サーバー7のデータ分析部71は、予め定められた設定に従って、ストレージ装置6からデータを読み出し(ステップS105)、データを分析する(ステップS106)。
以上説明したように、本実施形態によれば、データ分析サーバー7は、ストレージ装置6に重複していないデータが書き込まれた時にのみ分析を行うことになる。このため、データ分析サーバー7の負荷を軽減することが可能となる。とりわけ、膨大な数のセンサーから大量なデータを分析するセンサーネットワーク等の用途において、顕著な効果が奏されることになる。
[第2の実施形態]
続いて、上記第1の実施形態のストレージ装置に変更を加え、データ分析サーバー7への通知のタイミングを追加した第2の実施形態について図面を参照して詳細に説明する。図5は、本発明の第2の実施形態のデータ分析システムの構成を示す図である。図5を参照すると、データ収集サーバー5と、ストレージ装置6aと、データ分析サーバー7とが接続された構成が示されている。
第1の実施形態では、ストレージ装置6は、非重複データの登録時に、データ分析サーバー7への通知を行う。このため、例えば、ブロック「0000」及び「1111」が登録済みである場合、「0000|1111|1111」という3つのブロックに分割可能なデータを受信した場合(記号「|」はデータの分割箇所を示す)、重複データと判定され、データ分析サーバー7への通知は行われない。しかしながら、「0000|1111|1111」というパターンが分析すべき事象である場合もある。第2の実施形態では、個々のブロックが既知であっても、データ全体のパターン(ブロック構成情報)が新規である場合には、データ分析サーバー7への通知を行うようにしている。
図5に示した構成中、第1の実施形態のデータ分析システムの構成と異なる点は、ストレージ装置6aにデータ管理部65が追加され、データ重複排除処理部62aの動作に変更が加えられている点である。その他の構成は第1の実施形態と同様であるため説明を省略する。
本実施形態のデータ重複排除処理部62aは、第1の実施形態と同様の動作に加え、重複データをデータ記録部63に登録する際に、データ管理部65にデータのブロック構成情報を送信する。
データ管理部65は、1つ前に記録したデータのブロック構成情報を保持し、受信した重複データのブロック構成情報と比較する。前記比較の結果、ブロック構成情報が一致していない場合、データ管理部65は、データ重複排除処理部62aに対し、データ分析サーバー7への通知を要求する。例えば、「0000|1111|1111」という重複データを受信した後に、「1111|0000|1111」という重複データを受信した場合、データ管理部65は、データ重複排除処理部62aに対し、データ分析サーバー7への通知を要求する。これにより、重複データであっても、ブロック構成情報が一致していないデータの受信を契機とした分析を行わせることが可能となる。
続いて、本実施形態の動作について図面を参照して詳細に説明する。図6は、本発明の第2の実施形態のデータ分析システムの動作を表したシーケンス図である。図6のステップS101、ステップS103、及びステップS104以降の動作は第1の実施形態と同様であるため説明を省略する。
図6を参照すると、ステップS102aにおいて、データ重複排除処理部62aは、データ重複排除処理の後、データ管理部65に対し、データ記録部63に書き込まれるデータのブロック構成情報を送信する(ステップS102a)。
ステップS103の重複判定の結果、重複データと判定された場合(ステップS103の「重複データ」)、データ管理部65は、ステップS102aにて受信したブロック構成情報と、保持している一つ前のブロック構成情報とを比較する(ステップS113)。前記比較の結果、書き込まれるデータのブロック構成情報と1つ前のデータのブロック構成情報とが一致した場合、データ管理部65はデータ重複排除処理部62aに対し、データ分析サーバー7への通知を要求しない。結果として、データ重複排除処理部62aはデータ分析サーバー7への通知を行わずに処理を終了する(ステップS113の「ブロック構成同一」)。
一方、書き込まれるデータのブロック構成情報と1つ前のデータのブロック構成情報とが一致しない場合(ステップS113の「ブロック構成不一致」)、データ管理部65は、データ重複排除処理部62aに対し、データ分析サーバー7への通知を要求する。結果として、データ重複排除処理部62aはデータ分析サーバー7にデータ分析を行わせるために、データ分析サーバー7に対し、非重複データが登録されたことを通知する(ステップS104)。以降の動作は第1の実施形態と同様(図4参照)であるため、説明を省略する。
以上説明したように、本実施形態によれば、非重複データの登録時に加えて、重複データであってもブロック構成情報が一つ前に記録したデータのブロック構成情報と異なる場合にデータ分析サーバー7に通知を送信することが可能となる。このため、重複データであっても、ブロック構成情報が異なり、異なる意味合いを用いるデータの登録を契機としたデータの分析を行わせることが可能となる。
なお、上記した実施形態では、データ管理部65は、1つ前に記録したデータのブロック構成情報と、受信した重複データのブロック構成情報とを比較するものとして説明したが、データ管理部65に、過去数回分の受信データのブロック構成情報を保持させて、受信データのブロックとの比較を行わせることも可能である。
以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成、各要素の構成、メッセージの表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。
最後に、本発明の好ましい形態を要約する。
[第1の形態]
(上記第1の視点によるデータ分析システム参照)
[第2の形態]
上記した情報システムの重複排除手段は、受信したデータを複数のブロックに分割し、ブロック単位で重複データであるか否かを判定することが好ましい。
[第3の形態]
上記した情報システムの重複排除手段は、ブロック単位で判定した結果、受信データが重複データであると判定した場合であっても、受信したデータ全体のブロック構成に変化が生じている場合、前記データ分析装置に前記通知を送信する構成を採ることができる。
[第4の形態]
上記した情報システムのデータ取得装置として、センサーにて測定されたデータを時系列にまとめて送信するデータ収集サーバーを用いることができる。
[第5の形態]
受信したデータをストレージ装置に送信するデータ取得装置と、
前記ストレージ装置に蓄積されたデータを分析するデータ分析装置と、に接続され、
受信したデータのうち、所定の重複排除処理を行って、非重複データを記録する重複排除手段と、
前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知する通知手段と、
を備えた記録装置。
[第6の形態]
受信したデータについて、所定の重複排除処理を行って、非重複データを記録する重複排除手段と、前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知する通知手段と、を備えるストレージ装置と、
外部からデータを取得し、前記ストレージ装置に送信するデータ取得装置と、に接続され、
前記ストレージ装置から、前記非重複データが記録されたことの通知を契機として、前記ストレージ装置からデータを読み出して所定の分析を実施するデータ分析装置。
[第7の形態]
外部からデータを取得し、前記ストレージ装置に送信するデータ取得装置と、
前記ストレージ装置に蓄積されたデータを分析するデータ分析装置と、に接続された記録装置が、
前記データ取得装置から受信したデータについて、所定の重複排除処理を行って、非重複データを記録するステップと、
前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知するステップと、
を含むデータ管理方法。
[第8の形態]
受信したデータについて、所定の重複排除処理を行って、非重複データを記録する重複排除手段と、前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知する通知手段と、を備えるストレージ装置と、
外部からデータを取得し、前記ストレージ装置に送信するデータ取得装置と、に接続されたデータ分析装置が、
前記ストレージ装置から、前記非重複データが記録されたことの通知を受信するステップと、前記通知を契機として、前記ストレージ装置からデータを読み出して所定の分析を実施するステップと、を含むデータ分析方法。
[第9の形態]
受信したデータをストレージ装置に送信するデータ取得装置と、前記ストレージ装置に蓄積されたデータを分析するデータ分析装置と、に接続された記録装置に搭載されたコンピュータに、
受信したデータのうち、所定の重複排除処理を行って、非重複データを記録する処理と、
前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知する処理と、
を実行させるプログラム。
[第10の形態]
受信したデータのうち、所定の重複排除処理を行って、非重複データを記録する重複排除手段と、前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知する通知手段と、を備えるストレージ装置と、外部からデータを取得し、前記ストレージ装置に送信するデータ取得装置と、に接続されたデータ分析装置に搭載されたコンピュータに、
前記ストレージ装置から、前記非重複データが記録されたことの通知を受信する処理と、
前記通知を契機として、前記ストレージ装置からデータを読み出して所定の分析を実施する処理と、
を実行させるプログラム。
なお、上記第5〜第10の形態は、第1の形態と同様に、第2〜第4の形態に展開することが可能である。
なお、上記の特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
1 センサー
5 データ収集サーバー
6、6a ストレージ装置
7 データ分析サーバー
61 データ入出力部
62、62a データ重複排除処理部
63 データ記録部
64 データ生成部
65 データ管理部
71 データ分析部
100A ストレージ装置
200A データ取得装置
300A データ分析装置

Claims (10)

  1. 受信したデータについて、所定の重複排除処理を行って、非重複データを記録する重複排除手段を備えるストレージ装置と、
    外部からデータを取得し、前記ストレージ装置に送信するデータ取得装置と、
    前記ストレージ装置に蓄積されたデータを分析するデータ分析装置と、を含み、
    前記ストレージ装置は、前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知し、
    前記データ分析装置は、前記通知に基づいて、前記ストレージ装置に記録されたデータを読み出して、前記データ取得装置を介して取得され、前記ストレージ装置に蓄積されたデータについて所定の分析処理を実施すること、
    を特徴とするデータ分析システム。
  2. 前記重複排除手段は、受信したデータを複数のブロックに分割し、ブロック単位で重複データであるか否かを判定する請求項1のデータ分析システム。
  3. 前記重複排除手段は、ブロック単位で判定した結果、受信データが重複データであると判定した場合であっても、受信したデータ全体のブロック構成に変化が生じている場合、前記データ分析装置に前記通知を送信する請求項2のデータ分析システム。
  4. 前記データ取得装置は、センサーにて測定されたデータを時系列にまとめて送信するデータ収集サーバーである請求項1から3いずれか一のデータ分析システム。
  5. 受信したデータをストレージ装置に送信するデータ取得装置と、
    前記データ取得装置を介して取得され、前記ストレージ装置に蓄積されたデータを分析するデータ分析装置と、に接続され、
    受信したデータのうち、所定の重複排除処理を行って、非重複データを記録する重複排除手段と、
    前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知する通知手段と、
    を備えた記録装置。
  6. 受信したデータについて、所定の重複排除処理を行って、非重複データを記録する重複排除手段と、前記非重複データを記録した場合、データ分析装置に対し、前記非重複データが記録されたことを通知する通知手段と、を備えるストレージ装置と、
    外部からデータを取得し、前記ストレージ装置に送信するデータ取得装置と、に接続され、
    前記ストレージ装置から、前記非重複データが記録されたことの通知を契機として、前記ストレージ装置からデータを読み出して、前記データ取得装置を介して取得され、前記ストレージ装置に蓄積されたデータについて所定の分析を実施するデータ分析装置。
  7. 外部からデータを取得し、ストレージ装置に送信するデータ取得装置と、
    前記データ取得装置を介して取得され、前記ストレージ装置に蓄積されたデータを分析するデータ分析装置と、に接続された記録装置が、
    前記データ取得装置から受信したデータについて、所定の重複排除処理を行って、非重複データを記録するステップと、
    前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知するステップと、
    を含むデータ管理方法。
  8. 受信したデータについて、所定の重複排除処理を行って、非重複データを記録する重複排除手段と、前記非重複データを記録した場合、データ分析装置に対し、前記非重複データが記録されたことを通知する通知手段と、を備えるストレージ装置と、
    外部からデータを取得し、前記ストレージ装置に送信するデータ取得装置と、に接続されたデータ分析装置が、
    前記ストレージ装置から、前記非重複データが記録されたことの通知を受信するステップと、前記通知を契機として、前記ストレージ装置からデータを読み出して、前記データ取得装置を介して取得され、前記ストレージ装置に蓄積されたデータについて所定の分析を実施するステップと、を含むデータ分析方法。
  9. 受信したデータをストレージ装置に送信するデータ取得装置と、前記データ取得装置を介して取得され、前記ストレージ装置に蓄積されたデータを分析するデータ分析装置と、に接続された記録装置に搭載されたコンピュータに、
    受信したデータのうち、所定の重複排除処理を行って、非重複データを記録する処理と、
    前記非重複データを記録した場合、前記データ分析装置に対し、前記非重複データが記録されたことを通知する処理と、
    を実行させるプログラム。
  10. 受信したデータのうち、所定の重複排除処理を行って、非重複データを記録する重複排除手段と、前記非重複データを記録した場合、データ分析装置に対し、前記非重複データが記録されたことを通知する通知手段と、を備えるストレージ装置と、外部からデータを取得し、前記ストレージ装置に送信するデータ取得装置と、に接続されたデータ分析装置に搭載されたコンピュータに、
    前記ストレージ装置から、前記非重複データが記録されたことの通知を受信する処理と、
    前記通知を契機として、前記ストレージ装置からデータを読み出して、前記データ取得装置を介して取得され、前記ストレージ装置に蓄積されたデータについて所定の分析を実施する処理と、
    を実行させるプログラム。
JP2017023194A 2017-02-10 2017-02-10 データ分析システム、記録装置、データ分析装置、データ管理方法、データ分析方法及びプログラム Active JP6551434B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017023194A JP6551434B2 (ja) 2017-02-10 2017-02-10 データ分析システム、記録装置、データ分析装置、データ管理方法、データ分析方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017023194A JP6551434B2 (ja) 2017-02-10 2017-02-10 データ分析システム、記録装置、データ分析装置、データ管理方法、データ分析方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2018128967A JP2018128967A (ja) 2018-08-16
JP6551434B2 true JP6551434B2 (ja) 2019-07-31

Family

ID=63172976

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017023194A Active JP6551434B2 (ja) 2017-02-10 2017-02-10 データ分析システム、記録装置、データ分析装置、データ管理方法、データ分析方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6551434B2 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9392010B2 (en) * 2011-11-07 2016-07-12 Netflow Logic Corporation Streaming method and system for processing network metadata
US20170293452A1 (en) * 2014-11-28 2017-10-12 Hitachi, Ltd. Storage apparatus

Also Published As

Publication number Publication date
JP2018128967A (ja) 2018-08-16

Similar Documents

Publication Publication Date Title
US10679135B2 (en) Periodicity analysis on heterogeneous logs
JP6747287B2 (ja) 情報処理装置及び監視方法
US20120271962A1 (en) Achieving Lossless Data Streaming in a Scan Based Industrial Process Control System
US20210226647A1 (en) Method and system for obtaining and storing sensor data
KR102166098B1 (ko) 클라이언트에게 현재 데이터 및 과거 데이터를 제공하기 위한 서버 시스템
CN109710439B (zh) 故障处理方法和装置
CN109522316A (zh) 日志处理方法、装置、设备和存储介质
JP2018010421A (ja) 計算機システム、計算機及びデータフィルタリング方法
WO2010095458A1 (ja) 解析前処理システム、解析前処理方法および解析前処理プログラム
US11055631B2 (en) Automated meta parameter search for invariant based anomaly detectors in log analytics
CN103428249A (zh) 一种http请求包的收集及处理方法、系统和服务器
US9276826B1 (en) Combining multiple signals to determine global system state
JP6551434B2 (ja) データ分析システム、記録装置、データ分析装置、データ管理方法、データ分析方法及びプログラム
JP2014225179A (ja) ログ取得装置、ログ取得方法およびログ取得プログラム
US20150088958A1 (en) Information Processing System and Distributed Processing Method
CN107066421B (zh) 一种示波器及其采集数据上报方法
CN114238018B (zh) 日志采集文件完整性检测方法、系统、装置及存储介质
CN114036121A (zh) 一种日志文件处理方法、装置、系统、设备及存储介质
JP2009239855A (ja) メタデータ管理装置
WO2010095457A1 (ja) 解析前処理システム、解析前処理方法および解析前処理プログラム
KR102382134B1 (ko) 공격 검지 장치, 공격 검지 방법, 및 공격 검지 프로그램
US8825843B2 (en) System and methods for monitoring a geographic information system
CN112395155A (zh) 服务的监控方法和装置、存储介质、电子装置
JP2018156541A (ja) 管理装置、管理システム、管理装置の制御方法、及びプログラム
GB2580950A (en) Data processing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190326

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190617

R150 Certificate of patent or registration of utility model

Ref document number: 6551434

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150