JP6916708B2 - Data management system, server device, data utilization device, server program and data utilization program - Google Patents
Data management system, server device, data utilization device, server program and data utilization program Download PDFInfo
- Publication number
- JP6916708B2 JP6916708B2 JP2017200541A JP2017200541A JP6916708B2 JP 6916708 B2 JP6916708 B2 JP 6916708B2 JP 2017200541 A JP2017200541 A JP 2017200541A JP 2017200541 A JP2017200541 A JP 2017200541A JP 6916708 B2 JP6916708 B2 JP 6916708B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- value
- time
- processing unit
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、データ管理システム、サーバ装置、データ利用装置、サーバプログラムおよびデータ利用プログラムに関するものである。 The present invention relates to a data management system, a server device, a data utilization device, a server program, and a data utilization program.
特許文献1、特許文献2および特許文献3には、保管するデータを複数のデータに分割し、これら複数のデータを複数の記憶装置に分散して保管する技術が記載されている。 Patent Document 1, Patent Document 2 and Patent Document 3 describe a technique of dividing the data to be stored into a plurality of data and distributing and storing the plurality of data in a plurality of storage devices.
センサーデバイスで発生する時系列データを利用してデータ分析等を行うシステムにおいて、センサーデバイスの設置場所とデータの利用場所とが地理的に異なる場合、または、センサーデバイスが広く散在する場合等ではセンサーデバイスの時系列データの収集が課題となる。データ収集をクラウド基盤で行い、クラウド上のストレージに格納するような構成では、インターネットを介することでデータ収集に伴う地理的な課題を解決できるが、データをクラウドに置くことによるデータ漏洩の可能性の課題が生じる。 In a system that analyzes data using time-series data generated by a sensor device, if the location where the sensor device is installed and the location where the data is used are geographically different, or if the sensor devices are widely scattered, the sensor Collecting time-series data on devices is an issue. In a configuration where data collection is performed on a cloud platform and stored in storage on the cloud, geographical issues associated with data collection can be solved via the Internet, but there is a possibility of data leakage due to placing data in the cloud. Challenge arises.
データ格納での機密性の強化方法としては、データを単独では意味をなさない単位で分割して、異なるストレージに格納する方法、および、データを暗号化して格納する方法がある。特許文献1、特許文献2および特許文献3に記載の技術のように、データを分割する方法では、データ利用時には複数のストレージからデータを取得する必要があり、保管においても複数ストレージ利用によるコストがかかる。データを暗号化する方法では、暗号鍵の管理が必要となる。 As a method of strengthening confidentiality in data storage, there are a method of dividing data into units that do not make sense by itself and storing them in different storages, and a method of storing data in encrypted form. In the method of dividing data as in the techniques described in Patent Document 1, Patent Document 2, and Patent Document 3, it is necessary to acquire data from a plurality of storages when using the data, and the cost of using the plurality of storages is also high in storage. It takes. The method of encrypting data requires the management of encryption keys.
本発明は、時間的な順序性をなくした形式で時系列データを格納し、利用時に再構成できるようにすることを目的とする。 An object of the present invention is to store time-series data in a format out of temporal order so that it can be reconstructed at the time of use.
本発明の一態様に係るデータ管理システムは、
時刻と、当該時刻に得られた値である第1値とをそれぞれ示す複数の第1データを取得し、取得した第1データごとに、第1データに示されている第1値と、第1データに示されている時刻に一意に対応する値である第2値とを示す第2データを生成し、生成した複数の第2データを、それぞれの第2データに示されている第1値が得られた時刻の順序とは別の順序で並べて、外部からアクセスされる記憶領域に格納するサーバ装置と、
前記サーバ装置により並べられた複数の第2データを前記記憶領域から取得し、時刻と第2値との対応関係を示す表である対応表を参照して、取得した第2データごとに、第2データに示されている第2値に対応する時刻を特定し、特定した時刻と、第2データに示されている第1値とを示すデータを生成することで、前記サーバ装置により取得された複数の第1データを復元するデータ利用装置と
を備える。
The data management system according to one aspect of the present invention is
A plurality of first data indicating the time and the first value obtained at the time are acquired, and for each of the acquired first data, the first value shown in the first data and the first value are obtained. Second data indicating a second value that is a value uniquely corresponding to the time shown in one data is generated, and the generated plurality of second data are the first one shown in each second data. A server device that stores the values in a storage area accessed from the outside by arranging them in a different order from the time when the values were obtained.
A plurality of second data arranged by the server device are acquired from the storage area, and the correspondence table, which is a table showing the correspondence between the time and the second value, is referred to, and for each acquired second data, the second data is obtained. 2 Obtained by the server device by specifying the time corresponding to the second value shown in the data and generating data indicating the specified time and the first value shown in the second data. It is provided with a data utilization device that restores a plurality of first data.
本発明の一態様に係るサーバ装置は、
時刻と、当該時刻に得られた値である第1値とをそれぞれ示す複数の第1データを取得する取得処理部と、
前記取得処理部により取得された第1データごとに、第1データに示されている第1値と、第1データに示されている時刻に一意に対応する値である第2値とを示す第2データを生成し、生成した複数の第2データを、それぞれの第2データに示されている第1値が得られた時刻の順序とは別の順序で並べる混合処理部と、
前記混合処理部により並べられた複数の第2データを、外部からアクセスされる記憶領域に格納する格納処理部と
を備える。
The server device according to one aspect of the present invention is
An acquisition processing unit that acquires a plurality of first data indicating a time and a first value that is a value obtained at that time.
For each of the first data acquired by the acquisition processing unit, a first value shown in the first data and a second value which is a value uniquely corresponding to the time shown in the first data are shown. A mixing processing unit that generates the second data and arranges the generated plurality of second data in an order different from the order of the time when the first value shown in each second data is obtained.
It includes a storage processing unit that stores a plurality of second data arranged by the mixing processing unit in a storage area accessed from the outside.
前記取得処理部は、それぞれの第1データとして、時刻と、当該時刻に得られた第1値とともに、当該時刻に当該第1値を得たデバイスを一意に識別するデバイス識別子を示すデータを取得し、
前記混合処理部は、前記取得処理部により取得された第1データごとに、第2データに示される第2値として、第1データに示されている時刻およびデバイス識別子の組に一意に対応する値を生成する。
The acquisition processing unit acquires, as the first data, data indicating the time, the first value obtained at the time, and the device identifier that uniquely identifies the device that obtained the first value at the time. death,
The mixing processing unit uniquely corresponds to the set of the time and the device identifier shown in the first data as the second value shown in the second data for each of the first data acquired by the acquisition processing unit. Generate a value.
前記格納処理部は、前記混合処理部により並べられた複数の第2データを、前記記憶領域に構築されたデータベースに格納する。 The storage processing unit stores a plurality of second data arranged by the mixing processing unit in a database constructed in the storage area.
前記混合処理部は、前記取得処理部により取得された第1データごとに、第2データに示される第2値として、ハッシュ値を算出し、
前記格納処理部は、前記取得処理部により取得された複数の第1データに示されている時刻を、それぞれの第1データに示されている第1値から切り離された形で前記記憶領域に書き込む。
The mixing processing unit calculates a hash value as a second value shown in the second data for each first data acquired by the acquisition processing unit.
The storage processing unit stores the time indicated in the plurality of first data acquired by the acquisition processing unit in the storage area in a form separated from the first value shown in each of the first data. Write.
前記混合処理部は、前記取得処理部により取得された第1データごとに、第1データに示されている時刻を第1単位の時刻と第2単位の時刻とに分解し、前記第1単位の時刻と、前記第2単位の時刻に対応するハッシュ値である第3値とを示す第3データを生成し、生成した複数の第3データを、それぞれの第3データの元になった第1データに示されている時刻の順序とは別の順序で並べ、
前記格納処理部は、前記混合処理部により並べられた複数の第3データを前記記憶領域に格納する。
The mixing processing unit decomposes the time shown in the first data into a time of the first unit and a time of the second unit for each first data acquired by the acquisition processing unit, and the first unit. The third data indicating the time of the above and the third value which is the hash value corresponding to the time of the second unit is generated, and the generated plurality of third data are used as the basis of the respective third data. 1 Arrange in a different order from the time shown in the data,
The storage processing unit stores a plurality of third data arranged by the mixing processing unit in the storage area.
前記第1単位は年、前記第2単位は月日時である。 The first unit is the year, and the second unit is the month, day, and day.
本発明の一態様に係るデータ利用装置は、
第1値と、当該第1値が得られた時刻に一意に対応する値である第2値とをそれぞれ示す複数の第2データを外部の記憶領域から取得する取得処理部と、
時刻と第2値との対応関係を示す表である対応表を参照して、前記取得処理部により取得された第2データごとに、第2データに示されている第2値に対応する時刻を特定し、特定した時刻と、第2データに示されている第1値とを示す第1データを生成し、生成した複数の第1データを出力する出力処理部と
を備える。
The data utilization device according to one aspect of the present invention is
An acquisition processing unit that acquires a plurality of second data indicating a first value and a second value that is a value uniquely corresponding to the time when the first value is obtained from an external storage area.
With reference to the correspondence table, which is a table showing the correspondence between the time and the second value, for each second data acquired by the acquisition processing unit, the time corresponding to the second value shown in the second data. It is provided with an output processing unit which specifies, generates first data indicating the specified time and the first value shown in the second data, and outputs a plurality of generated first data.
前記取得処理部は、それぞれの第2データに示される第2値として、それぞれの第2データに示される第1値が得られた時刻および当該時刻に当該第1値を得たデバイスを一意に識別するデバイス識別子の組に一意に対応する値を取得し、
前記出力処理部は、前記対応表として、時刻およびデバイス識別子の組と第2値との対応関係を示す表を参照して、前記取得処理部により取得された第2データごとに、第2データに示されている第2値に対応する時刻およびデバイス識別子の組を特定し、第1データとして、特定した時刻と、第2データに示されている第1値とともに、特定したデバイス識別子を示すデータを生成する。
As the second value shown in each second data, the acquisition processing unit uniquely selects the time when the first value shown in each second data is obtained and the device which obtained the first value at that time. Gets the value that uniquely corresponds to the set of device identifiers to identify
The output processing unit refers to a table showing the correspondence between the set of time and device identifiers and the second value as the correspondence table, and for each of the second data acquired by the acquisition processing unit, the second data The set of time and device identifier corresponding to the second value shown in is specified, and the specified time and the specified device identifier are shown as the first data together with the first value shown in the second data. Generate data.
前記取得処理部は、取得した複数の第2データをデータベースに格納し、
前記出力処理部は、前記データベースを検索することで、前記データベースに格納された第2データごとに、第1データを生成する。
The acquisition processing unit stores a plurality of acquired second data in the database, and stores the acquired second data in the database.
By searching the database, the output processing unit generates first data for each second data stored in the database.
前記取得処理部は、取得した複数の第2データに示されている第1値が得られた時刻を前記記憶領域から読み取り、
前記出力処理部は、前記取得処理部により読み取られた時刻に対応するハッシュ値を第2値として算出することで前記対応表を生成する。
The acquisition processing unit reads the time when the first value shown in the acquired second data is obtained from the storage area, and reads the time when the first value is obtained.
The output processing unit generates the correspondence table by calculating a hash value corresponding to the time read by the acquisition processing unit as a second value.
前記取得処理部は、第1単位の時刻と、第2単位の時刻に対応するハッシュ値である第3値とをそれぞれ示す複数の第3データを前記記憶領域から取得し、
前記出力処理部は、前記第2単位の時刻と第3値とを紐付けるハッシュテーブルを参照して、前記取得処理部により取得された第3データごとに、第3データに示されている第3値に対応する前記第2単位の時刻を特定し、第3データに示されている前記第1単位の時刻と、特定した前記第2単位の時刻とからなる時刻に対応するハッシュ値を第2値として算出することで前記対応表を生成する。
The acquisition processing unit acquires a plurality of third data indicating each of the time of the first unit and the third value which is a hash value corresponding to the time of the second unit from the storage area.
The output processing unit refers to a hash table that associates the time of the second unit with the third value, and each third data acquired by the acquisition processing unit is shown in the third data. The time of the second unit corresponding to the three values is specified, and the hash value corresponding to the time consisting of the time of the first unit shown in the third data and the time of the specified second unit is the second. The correspondence table is generated by calculating as two values.
前記第1単位は年、前記第2単位は月日時である。 The first unit is the year, and the second unit is the month, day, and day.
本発明の一態様に係るサーバプログラムは、
コンピュータに、
時刻と、当該時刻に得られた値である第1値とをそれぞれ示す複数の第1データを取得する取得処理と、
前記取得処理により取得された第1データごとに、第1データに示されている第1値と、第1データに示されている時刻に一意に対応する値である第2値とを示す第2データを生成し、生成した複数の第2データを、それぞれの第2データに示されている第1値が得られた時刻の順序とは別の順序で並べる混合処理と、
前記混合処理により並べられた複数の第2データを、外部からアクセスされる記憶領域に格納する格納処理と
を実行させる。
The server program according to one aspect of the present invention
On the computer
An acquisition process for acquiring a plurality of first data indicating a time and a first value obtained at that time, respectively.
For each of the first data acquired by the acquisition process, a first value indicating the first value shown in the first data and a second value indicating a second value uniquely corresponding to the time indicated in the first data. A mixed process in which two data are generated and the generated plurality of second data are arranged in an order different from the order of the time when the first value shown in each second data is obtained.
A storage process of storing a plurality of second data arranged by the mixed process in a storage area accessed from the outside is executed.
本発明の一態様に係るデータ利用プログラムは、
コンピュータに、
第1値と、当該第1値が得られた時刻に一意に対応する値である第2値とをそれぞれ示す複数の第2データを外部の記憶領域から取得する取得処理と、
時刻と第2値との対応関係を示す表である対応表を参照して、前記取得処理により取得された第2データごとに、第2データに示されている第2値に対応する時刻を特定し、特定した時刻と、第2データに示されている第1値とを示す第1データを生成し、生成した複数の第1データを出力する出力処理と
を実行させる。
The data utilization program according to one aspect of the present invention is
On the computer
An acquisition process for acquiring a plurality of second data indicating a first value and a second value that is a value uniquely corresponding to the time when the first value is obtained from an external storage area.
With reference to the correspondence table, which is a table showing the correspondence between the time and the second value, for each second data acquired by the acquisition process, the time corresponding to the second value shown in the second data is set. The first data indicating the specified time and the first value shown in the second data is generated, and the output process for outputting the generated plurality of first data is executed.
本発明によれば、時間的な順序性をなくした形式で時系列データを格納し、利用時に再構成することができる。その結果、時系列データの保管にかかるコストおよび手間を軽減しつつ、データ漏洩時の被害を縮小することができる。 According to the present invention, time series data can be stored in a format without temporal order and reconstructed at the time of use. As a result, it is possible to reduce the damage at the time of data leakage while reducing the cost and labor required for storing the time series data.
以下、本発明の実施の形態について、図を用いて説明する。各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。なお、本発明は、以下に説明する実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。例えば、以下に説明する実施の形態のうち、2つ以上の実施の形態が組み合わせられて実施されても構わない。あるいは、以下に説明する実施の形態のうち、1つの実施の形態または2つ以上の実施の形態の組み合わせが部分的に実施されても構わない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In each figure, the same or corresponding parts are designated by the same reference numerals. In the description of the embodiment, the description will be omitted or simplified as appropriate for the same or corresponding parts. The present invention is not limited to the embodiments described below, and various modifications can be made as needed. For example, among the embodiments described below, two or more embodiments may be combined and implemented. Alternatively, of the embodiments described below, one embodiment or a combination of two or more embodiments may be partially implemented.
実施の形態1.
本実施の形態について、図1から図5を用いて説明する。
Embodiment 1.
The present embodiment will be described with reference to FIGS. 1 to 5.
***構成の説明***
図1を参照して、本実施の形態に係るデータ管理システム700の構成を説明する。
*** Explanation of configuration ***
The configuration of the
データ管理システム700は、サーバ装置100と、オブジェクトストレージ150と、データ利用装置200と、センサーデバイス300とを備える。サーバ装置100、オブジェクトストレージ150およびデータ利用装置200は、少なくとも1台ずつあればよい。センサーデバイス300は、少なくとも1台あればよいが、本実施の形態では、複数台ある。
The
サーバ装置100と、オブジェクトストレージ150と、データ利用装置200と、センサーデバイス300は、インターネット400に接続されている。インターネット400は、LANまたはWAN等、他の種類のネットワークに置き換えられてもよい。「LAN」は、Local Area Networkの略語である。「WAN」は、Wide Area Networkの略語である。
The
センサーデバイス300は、計測値を周期的にインターネット400経由でサーバ装置100に送信するデバイスである。サーバ装置100への送信は、ゲートウェイまたはエッジデバイスを介して行われてもよい。計測値は、例えば、温度等の環境計測値、または、産業機器を計測対象として計測値である。センサーデバイス300は、何らかの時系列データを送信する他の種類のデバイスに置き換えられてもよい。
The
サーバ装置100は、任意のコンピュータでよいが、本実施の形態では、クラウド基盤を提供するサーバコンピュータである。クラウド基盤は、例えば、プライベートクラウドまたはパブリッククラウドである。
The
サーバ装置100は、機能要素として、取得処理部101と、混合処理部102と、格納処理部103と、デバイス管理部104とを備える。
The
取得処理部101は、ストリーム処理を行う。具体的には、取得処理部101は、リアルタイムでデータを受信する。取得処理部101は、受信データを一定期間保持する。保持データに対する処理実行およびデータ出力が可能である。
The
混合処理部102は、データ順序混合処理を行う。具体的には、混合処理部102は、センサーデバイス300からの時系列データをタイムスタンプと計測値とに分離する。混合処理部102は、タイムスタンプを記録したファイルであるタイムスタンプファイル601を生成する。また、混合処理部102は、デバイスIDと計測値とを記録したファイルであり、計測値の順序を無作為に入れ替えた計測値ファイル602を生成する。「ID」は、Identifierの略語である。
The mixing
格納処理部103は、混合処理部102が生成したタイムスタンプファイル601と計測値ファイル602とをオブジェクトストレージ150に格納する。
The
デバイス管理部104は、センサーデバイス300の識別管理を行う。具体的には、デバイス管理部104は、取得処理部101が受信したデータとセンサーデバイス300とを紐付ける情報の管理を行う。
The
オブジェクトストレージ150は、インターネット400経由でアクセス可能なクラウド上のストレージである。オブジェクトストレージ150に対しては、URLとアクセスキーとによりデータアクセスが行われる。「URL」は、Uniform Resource Locatorの略語である。オブジェクトストレージ150は、サーバ装置100に内蔵されていてもよい。
The
データ利用装置200は、任意のコンピュータでよいが、本実施の形態では、データ利用拠点に設置されるパーソナルコンピュータである。データ利用拠点は、センサーデバイス300からの時系列データを利用してデータ分析等を行う拠点である。
The
データ利用装置200は、機能要素として、取得処理部201と、出力処理部202とを備える。
The
取得処理部201は、オブジェクトストレージ150から必要なタイムスタンプファイル601と計測値ファイル602とを取得する。
The
出力処理部202は、データ順序復元処理を行う。具体的には、出力処理部202は、タイムスタンプファイル601と計測値ファイル602とから、タイムスタンプ、デバイスIDおよび計測値が記録されたファイルである時系列データファイル603を生成する。
The
図2を参照して、サーバ装置100のハードウェア構成例を説明する。
A hardware configuration example of the
サーバ装置100は、プロセッサ111を備えるとともに、メモリ112、補助記憶装置113、通信装置114、入力機器115およびディスプレイ116といった他のハードウェアを備える。プロセッサ111は、信号線117を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
The
サーバ装置100の取得処理部101、混合処理部102、格納処理部103およびデバイス管理部104の機能は、ソフトウェアにより実現される。
The functions of the
プロセッサ111は、サーバプログラムを実行する装置である。サーバプログラムは、取得処理部101、混合処理部102、格納処理部103およびデバイス管理部104の機能を実現するプログラムである。プロセッサ111は、例えば、CPUである。「CPU」は、Central Processing Unitの略語である。
The
メモリ112および補助記憶装置113は、サーバプログラムを記憶する装置である。メモリ112は、例えば、フラッシュメモリまたはRAMである。「RAM」は、Random Access Memoryの略語である。補助記憶装置113は、例えば、フラッシュメモリまたはHDDである。「HDD」は、Hard Disk Driveの略語である。
The
通信装置114は、サーバプログラムに入力されるデータを受信するレシーバ118と、サーバプログラムから出力されるデータを送信するトランスミッタ119とを含む。通信装置114は、例えば、通信チップまたはNICである。「NIC」は、Network Interface Cardの略語である。
The
入力機器115は、サーバプログラムへのデータの入力のために操作される機器である。入力機器115は、例えば、マウス、キーボードまたはタッチパネルである。
The
ディスプレイ116は、サーバプログラムから出力されるデータを画面に表示する機器である。ディスプレイ116は、例えば、LCDである。「LCD」は、Liquid Crystal Displayの略語である。
The
サーバプログラムは、補助記憶装置113からメモリ112にロードされ、プロセッサ111によって実行される。補助記憶装置113には、サーバプログラムだけでなく、OSも記憶されている。「OS」は、Operating Systemの略語である。プロセッサ111は、OSを実行しながら、サーバプログラムを実行する。なお、サーバプログラムの一部または全部がOSに組み込まれていてもよい。
The server program is loaded from the
サーバ装置100は、プロセッサ111を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、サーバプログラムの実行を分担する。それぞれのプロセッサは、例えば、CPUである。
The
サーバプログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ112、補助記憶装置113、または、プロセッサ111内のレジスタまたはキャッシュメモリに記憶される。
Data, information, signal values and variable values used, processed or output by the server program are stored in the
サーバプログラムは、取得処理部101、混合処理部102、格納処理部103およびデバイス管理部104により行われる処理をそれぞれ取得処理、混合処理、格納処理およびデバイス管理処理としてコンピュータに実行させるプログラムである。サーバプログラムは、コンピュータ読取可能な媒体に記録されて提供されてもよいし、記録媒体に格納されて提供されてもよいし、プログラムプロダクトとして提供されてもよい。
The server program is a program that causes a computer to execute the processes performed by the
サーバ装置100は、1台のコンピュータで構成されていてもよいし、複数台のコンピュータで構成されていてもよい。サーバ装置100が複数台のコンピュータで構成されている場合は、取得処理部101、混合処理部102、格納処理部103およびデバイス管理部104の機能が、各コンピュータに分散されて実現されてもよい。
The
図3を参照して、データ利用装置200のハードウェア構成例を説明する。
A hardware configuration example of the
データ利用装置200は、プロセッサ211を備えるとともに、メモリ212、補助記憶装置213、通信装置214、入力機器215およびディスプレイ216といった他のハードウェアを備える。プロセッサ211は、信号線217を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
The
データ利用装置200の取得処理部201および出力処理部202の機能は、ソフトウェアにより実現される。
The functions of the
プロセッサ211は、データ利用プログラムを実行する装置である。データ利用プログラムは、取得処理部201および出力処理部202の機能を実現するプログラムである。プロセッサ211は、例えば、CPUである。
The
メモリ212および補助記憶装置213は、データ利用プログラムを記憶する装置である。メモリ212は、例えば、フラッシュメモリまたはRAMである。補助記憶装置213は、例えば、フラッシュメモリまたはHDDである。
The
通信装置214は、データ利用プログラムに入力されるデータを受信するレシーバ218と、データ利用プログラムから出力されるデータを送信するトランスミッタ219とを含む。通信装置214は、例えば、通信チップまたはNICである。
The
入力機器215は、データ利用プログラムへのデータの入力のために操作される機器である。入力機器215は、例えば、マウス、キーボードまたはタッチパネルである。
The
ディスプレイ216は、データ利用プログラムから出力されるデータを画面に表示する機器である。ディスプレイ216は、例えば、LCDである。
The
データ利用プログラムは、補助記憶装置213からメモリ212にロードされ、プロセッサ211によって実行される。補助記憶装置213には、データ利用プログラムだけでなく、OSも記憶されている。プロセッサ211は、OSを実行しながら、データ利用プログラムを実行する。なお、データ利用プログラムの一部または全部がOSに組み込まれていてもよい。
The data utilization program is loaded from the
データ利用装置200は、プロセッサ211を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、データ利用プログラムの実行を分担する。それぞれのプロセッサは、例えば、CPUである。
The
データ利用プログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ212、補助記憶装置213、または、プロセッサ211内のレジスタまたはキャッシュメモリに記憶される。
The data, information, signal values and variable values used, processed or output by the data utilization program are stored in the
データ利用プログラムは、取得処理部201および出力処理部202により行われる処理をそれぞれ取得処理および出力処理としてコンピュータに実行させるプログラムである。データ利用プログラムは、コンピュータ読取可能な媒体に記録されて提供されてもよいし、記録媒体に格納されて提供されてもよいし、プログラムプロダクトとして提供されてもよい。
The data utilization program is a program that causes a computer to execute the processes performed by the
データ利用装置200は、1台のコンピュータで構成されていてもよいし、複数台のコンピュータで構成されていてもよい。データ利用装置200が複数台のコンピュータで構成されている場合は、取得処理部201および出力処理部202の機能が、各コンピュータに分散されて実現されてもよい。
The
***動作の説明***
図1のほかに、図4および図5を参照して、本実施の形態に係るデータ管理システム700の動作を説明する。データ管理システム700の動作は、本実施の形態に係るデータ管理方法に相当する。
*** Explanation of operation ***
In addition to FIG. 1, the operation of the
データ管理システム700の動作は、データ格納フェーズと、再構成フェーズとからなる。
The operation of the
データ格納フェーズは、サーバ装置100が時系列データを変換してオブジェクトストレージ150に格納するフェーズである。再構成フェーズは、データ利用装置200がオブジェクトストレージ150のデータから利用可能な時系列データを再構成するフェーズである。
The data storage phase is a phase in which the
データ格納フェーズでは、取得処理部101が、センサーデバイス300からの計測値をストリーム処理で受信し、1分ごとのような、ある一定周期ごとに、時系列データをデータ順序混合処理に渡す。各周期は、記録時間ウィンドウとして識別される。データ順序混合処理では、混合処理部102が、時系列データを変換し、結果をタイムスタンプファイル601と計測値ファイル602とに出力する。その後、格納処理部103が、オブジェクトストレージ150にタイムスタンプファイル601と計測値ファイル602とを書き込む。
In the data storage phase, the
データ順序混合処理のフローを図4に示す。 The flow of the data order mixing process is shown in FIG.
データ順序混合処理の開始前に、取得処理部101は、時刻と、当該時刻に得られた値である第1値とをそれぞれ示す複数の第1データを取得する。第1データは、本実施の形態では、センサーデバイス300からのセンサーデータに含まれる1件1件のレコードである。時刻は、本実施の形態では、タイムスタンプの形式で示される。第1値は、本実施の形態では、計測値である。
Before starting the data sequence mixing process, the
本実施の形態では、取得処理部101は、それぞれの第1データとして、時刻と、当該時刻に得られた第1値とともに、当該時刻に当該第1値を得たセンサーデバイス300を一意に識別するデバイスIDを示すデータを取得する。
In the present embodiment, the
ステップS11において、混合処理部102には、取得処理部101から記録時間ウィンドウ単位で複数のセンサーデータが入力される。
In step S11, a plurality of sensor data are input to the mixing
ステップS12において、混合処理部102は、センサーデータからレコードを1件取り出す。レコードには、タイムスタンプ、デバイスIDおよび1つまたは複数の計測値のデータが含まれる。タイムスタンプは、計測時刻に相当する。デバイスIDは、計測を行ったセンサーデバイス300の識別子に相当する。
In step S12, the mixing
ステップS13において、混合処理部102は、レコードのタイムスタンプとデバイスIDとに対してハッシュ処理を行い、ハッシュ値を算出する。
In step S13, the mixing
ステップS14において、混合処理部102は、ハッシュ値とデバイスID、計測値および記録時間ウィンドウIDとの組をレコードとして、計測値バッファに追加する。記録時間ウィンドウIDは、記録時間ウィンドウを一意に識別するIDである。計測値バッファは、メモリ112上に確保される。
In step S14, the mixing
ステップS15において、混合処理部102は、タイムスタンプバッファにレコードのタイムスタンプ値が存在しない場合、タイムスタンプバッファに追加する。タイムスタンプバッファは、メモリ112上に確保される。
In step S15, if the time stamp value of the record does not exist in the time stamp buffer, the mixing
ステップS16において、混合処理部102は、未処理のセンサーデータのレコードがある場合はステップS12からステップS15の処理を繰り返す。すべてのレコードの処理が完了した場合はステップS17に進む。
In step S16, the mixing
ステップS17において、混合処理部102は、計測値バッファの内容をレコードの順番を乱数等により無作為に入れ替えて、計測値ファイル602に出力する。
In step S17, the mixing
ステップS18において、混合処理部102は、タイムスタンプバッファの内容を、タイムスタンプと記録時間ウィンドウIDとの組をレコードにした形式でタイムスタンプファイル601に出力する。
In step S18, the mixing
このように、データ順序混合処理において、混合処理部102は、取得処理部101により取得された第1データごとに、第1データに示されている第1値と、第1データに示されている時刻に一意に対応する値である第2値とを示す第2データを生成する。第2データは、本実施の形態では、計測値バッファに格納される1件1件のレコードである。第2値は、本実施の形態では、ハッシュ値である。混合処理部102は、生成した複数の第2データを、それぞれの第2データに示されている第1値が得られた時刻の順序とは別の順序で並べる。
As described above, in the data sequence mixing process, the mixing
本実施の形態では、混合処理部102は、取得処理部101により取得された第1データごとに、第2データに示される第2値として、第1データに示されている時刻およびデバイスIDの組に一意に対応する値を生成する。具体的には、混合処理部102は、取得処理部101により取得された第1データごとに、第2データに示される第2値として、ハッシュ値を算出する。
In the present embodiment, the mixing
データ順序混合処理の終了後に、格納処理部103は、混合処理部102により並べられた複数の第2データを、外部からアクセスされる記憶領域に格納する。記憶領域は、本実施の形態では、オブジェクトストレージ150に確保される。複数の第2データは、本実施の形態では、計測値ファイル602の形式で格納される。
After the data sequence mixing process is completed, the
本実施の形態では、格納処理部103は、取得処理部101により取得された複数の第1データに示されている時刻を、それぞれの第1データに示されている第1値から切り離された形で記憶領域に書き込む。複数の第1データに示されている時刻は、本実施の形態では、タイムスタンプファイル601の形式で書き込まれる。
In the present embodiment, the
再構成フェーズでは、取得処理部201が、オブジェクトストレージ150から必要なタイムスタンプファイル601と計測値ファイル602とを取り出し、データ順序復元処理に渡す。データ順序復元処理では、出力処理部202が、タイムスタンプファイル601と計測値ファイル602とから時系列データを復元し、時系列データファイル603に出力する。
In the reconstruction phase, the
データ順序復元処理のフローを図5に示す。 The flow of the data order restoration process is shown in FIG.
データ順序復元処理の開始前に、取得処理部201は、第1値と、当該第1値が得られた時刻に一意に対応する値である第2値とをそれぞれ示す複数の第2データを外部の記憶領域から取得する。前述したように、記憶領域は、本実施の形態では、オブジェクトストレージ150に確保される。第2データは、本実施の形態では、計測値ファイル602に含まれる1件1件のレコードである。第1値は、本実施の形態では、計測値である。第2値は、本実施の形態では、ハッシュ値である。
Prior to the start of the data order restoration process, the
本実施の形態では、取得処理部201は、それぞれの第2データに示される第2値として、それぞれの第2データに示される第1値が得られた時刻および当該時刻に当該第1値を得たセンサーデバイス300を一意に識別するデバイスIDの組に一意に対応する値を取得する。具体的には、取得処理部201は、それぞれの第2データに示される第2値として、ハッシュ値を取得する。
In the present embodiment, the
また、本実施の形態では、取得処理部201は、取得した複数の第2データに示されている第1値が得られた時刻を記憶領域から読み取る。前述したように、時刻は、本実施の形態では、タイムスタンプの形式でタイムスタンプファイル601に書き込まれている。
Further, in the present embodiment, the
ステップS21において、出力処理部202には、取得処理部201からタイムスタンプファイル601と計測値ファイル602とが入力される。
In step S21, the
ステップS22において、出力処理部202は、計測値ファイル602のデータから、データで使用されているデバイスIDをすべて抽出する。
In step S22, the
ステップS23において、出力処理部202は、タイムスタンプファイル601のタイムスタンプ値とステップS22で抽出したデバイスIDとのすべての組み合わせに対するハッシュ処理を行い、タイムスタンプ値およびデバイスIDとハッシュ値との組をレコードとするハッシュ値テーブルを作成する。
In step S23, the
ステップS24において、出力処理部202は、計測値ファイル602のデータからレコードを1件取り出す。
In step S24, the
ステップS25において、出力処理部202は、レコードのハッシュ値およびデバイスIDとステップS23で作成したハッシュ値テーブルとを突き合わせて、ハッシュ値およびデバイスIDが一致したタイムスタンプを特定する。
In step S25, the
ステップS26において、出力処理部202は、ステップS25で特定したタイムスタンプとレコードのデバイスIDおよび計測値との組をレコードとして時系列データファイル603に出力する。
In step S26, the
ステップS27において、出力処理部202は、未処理の計測値ファイル602のレコードがある場合はステップS24からステップS26の処理を繰り返す。すべてのレコードの処理が完了した場合に終了となる。
In step S27, the
このように、データ順序復元処理において、出力処理部202は、時刻と第2値との対応関係を示す表である対応表を参照して、取得処理部201により取得された第2データごとに、第2データに示されている第2値に対応する時刻を特定し、特定した時刻と、第2データに示されている第1値とを示す第1データを生成する。これにより、出力処理部202は、サーバ装置100により取得された複数の第1データを復元する。対応表は、本実施の形態では、ハッシュ値テーブルである。複数の第1データは、本実施の形態では、時系列データファイル603の形式で復元される。出力処理部202は、復元した複数の第1データを出力する。
As described above, in the data order restoration processing, the
本実施の形態では、出力処理部202は、対応表として、時刻およびデバイスIDの組と第2値との対応関係を示す表を参照して、取得処理部201により取得された第2データごとに、第2データに示されている第2値に対応する時刻およびデバイスIDの組を特定する。出力処理部202は、第1データとして、特定した時刻と、第2データに示されている第1値とともに、特定したデバイスIDを示すデータを生成する。
In the present embodiment, the
また、本実施の形態では、出力処理部202は、取得処理部201により読み取られた時刻に対応するハッシュ値を第2値として算出することで対応表を生成する。
Further, in the present embodiment, the
***実施の形態の効果の説明***
本実施の形態によれば、時間的な順序性をなくした形式で時系列データを格納し、利用時に再構成することができる。その結果、時系列データの保管にかかるコストおよび手間を軽減しつつ、データ漏洩時の被害を縮小することができる。
*** Explanation of the effect of the embodiment ***
According to this embodiment, time-series data can be stored in a format that is not in order in time and can be reconstructed at the time of use. As a result, it is possible to reduce the damage at the time of data leakage while reducing the cost and labor required for storing the time series data.
本実施の形態では、タイムスタンプファイル601と計測値ファイル602との組が漏洩しても、時系列データとしての情報は欠落していないが、そのまま参照しても時間的な順序に関する情報は得られないため、データの価値が低減し、被害を縮小できる。
In the present embodiment, even if the pair of the
本実施の形態では、タイムスタンプファイル601と計測値ファイル602との組だけで復号可能なため、データ収集側とデータ利用側での連携処理が不要となる。
In the present embodiment, since the decryption can be performed only by the combination of the
本実施の形態では、データ暗号化と違い、暗号キーの管理が不要となる。 In the present embodiment, unlike data encryption, it is not necessary to manage the encryption key.
本実施の形態では、復号しなくても計測値は利用可能なため、平均、分散、最大または最小等の統計基本量のような順序に関係ない分析はそのまま実行可能となる。 In the present embodiment, since the measured values can be used without decoding, analysis regardless of the order such as statistical basic quantities such as mean, variance, maximum or minimum can be performed as it is.
***他の構成***
本実施の形態では、サーバ装置100の取得処理部101、混合処理部102、格納処理部103およびデバイス管理部104の機能がソフトウェアにより実現されるが、変形例として、取得処理部101、混合処理部102、格納処理部103およびデバイス管理部104の機能が専用のハードウェアにより実現されてもよい。
*** Other configurations ***
In the present embodiment, the functions of the
専用のハードウェアは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA、FPGAまたはASICである。「IC」は、Integrated Circuitの略語である。「GA」は、Gate Arrayの略語である。「FPGA」は、Field−Programmable Gate Arrayの略語である。「ASIC」は、Application Specific Integrated Circuitの略語である。 Dedicated hardware is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA, an FPGA or an ASIC. "IC" is an abbreviation for Integrated Circuit. "GA" is an abbreviation for Gate Array. "FPGA" is an abbreviation for Field-Programmable Gate Array. "ASIC" is an abbreviation for Application Special Integrated Circuit.
別の変形例として、取得処理部101、混合処理部102、格納処理部103およびデバイス管理部104の機能がソフトウェアとハードウェアとの組み合わせにより実現されてもよい。すなわち、取得処理部101、混合処理部102、格納処理部103およびデバイス管理部104の機能の一部が専用のハードウェアにより実現され、残りがソフトウェアにより実現されてもよい。
As another modification, the functions of the
プロセッサ111および専用のハードウェアは、いずれも処理回路である。すなわち、サーバ装置100のハードウェア構成に関わらず、取得処理部101、混合処理部102、格納処理部103およびデバイス管理部104の動作は、処理回路により行われる。
Both the
本実施の形態では、データ利用装置200の取得処理部201および出力処理部202の機能もソフトウェアにより実現されるが、変形例として、取得処理部201および出力処理部202の機能が専用のハードウェアにより実現されてもよい。
In the present embodiment, the functions of the
専用のハードウェアは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA、FPGAまたはASICである。 Dedicated hardware is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA, an FPGA or an ASIC.
別の変形例として、取得処理部201および出力処理部202の機能がソフトウェアとハードウェアとの組み合わせにより実現されてもよい。すなわち、取得処理部201および出力処理部202の機能の一部が専用のハードウェアにより実現され、残りがソフトウェアにより実現されてもよい。
As another modification, the functions of the
プロセッサ211および専用のハードウェアは、いずれも処理回路である。すなわち、データ利用装置200のハードウェア構成に関わらず、取得処理部201および出力処理部202の動作は、処理回路により行われる。
The
実施の形態2.
本実施の形態について、主に実施の形態1との差異を、図6から図9を用いて説明する。
Embodiment 2.
The differences between the present embodiment and the first embodiment will be mainly described with reference to FIGS. 6 to 9.
***構成の説明***
図6を参照して、本実施の形態に係るデータ管理システム700の構成を説明する。
*** Explanation of configuration ***
The configuration of the
本実施の形態では、時系列データ利用の際に、個別に時系列データを再構成するのではなく、データをRDBに格納して、DB処理を利用して時系列データを再構成する。「RDB」は、Relational Databaseの略語である。「DB」は、Databaseの略語である。 In the present embodiment, when the time series data is used, the time series data is not individually reconstructed, but the data is stored in the RDB and the time series data is reconstructed by using the DB processing. "RDB" is an abbreviation for Relational Database. "DB" is an abbreviation for Database.
データ管理システム700は、実施の形態1と同様に、サーバ装置100と、オブジェクトストレージ150と、データ利用装置200と、センサーデバイス300とを備える。
The
サーバ装置100、オブジェクトストレージ150およびセンサーデバイス300については、実施の形態1のものと同じであるため、説明を省略する。
Since the
本実施の形態では、データ利用装置200は、取得処理部201と、出力処理部202とに加えて、データベース610を備える。
In the present embodiment, the
取得処理部201は、RDB管理機能を有する。取得処理部201は、データロード処理を行う。具体的には、取得処理部201は、オブジェクトストレージ150からタイムスタンプファイル601と計測値ファイル602とを取得し、データベース610にロードする。
The
出力処理部202は、データ検索処理を行う。具体的には、出力処理部202は、データベース610を検索し、検索結果から時系列データを再構成する。再構成された時系列データは、実施の形態1と同様の時系列データファイル603の形式で出力されてもよいが、本実施の形態では、テーブルの形式でデータベース610に出力される。
The
データベース610は、任意の種類のDBでよいが、本実施の形態では、RDBである。データベース610は、例えば、図3に示した補助記憶装置213に構築される。データベース610は、タイムスタンプテーブル611「TS−Tbl」と、計測値テーブル612「VAL−Tbl」とを有する。
The
タイムスタンプテーブル611は、タイムスタンプファイル601のデータを格納するテーブルである。図7に示すように、タイムスタンプテーブル611は、記録時間ウィンドウID「WIN−ID」およびタイムスタンプ「S−TS」のカラムを有する。
The time stamp table 611 is a table for storing the data of the
計測値テーブル612は、計測値ファイル602のデータを格納するテーブルである。図8に示すように、計測値テーブル612は、記録時間ウィンドウID「WIN−ID」、ハッシュ値「HASH−VAL」、デバイスID「DEV−ID」および計測値「S−VALUE」のカラムを有する。
The measurement value table 612 is a table for storing the data of the
***動作の説明***
図6のほかに、図9を参照して、本実施の形態に係るデータ管理システム700の動作を説明する。データ管理システム700の動作は、本実施の形態に係るデータ管理方法に相当する。
*** Explanation of operation ***
In addition to FIG. 6, the operation of the
データ管理システム700の動作は、実施の形態1と同様に、データ格納フェーズと、再構成フェーズとからなる。
The operation of the
データ格納フェーズについては、実施の形態1のものと同じであるため、説明を省略する。 Since the data storage phase is the same as that of the first embodiment, the description thereof will be omitted.
再構成フェーズでは、取得処理部201が、データロード処理でオブジェクトストレージ150から必要なタイムスタンプファイル601と計測値ファイル602とを取り出し、RDB管理機能を利用してそれぞれタイムスタンプテーブル611および計測値テーブル612にデータをロードする。データを利用する場合は、出力処理部202が、データ検索処理において時系列データを再構成して利用する。
In the reconstruction phase, the
データ検索処理のフローを図9に示す。なお、説明の便宜上、データ検索処理を複数ステップに分けているが、実際は1回のクエリで実行可能である。 The flow of the data search process is shown in FIG. Although the data search process is divided into a plurality of steps for convenience of explanation, it can actually be executed by one query.
データ検索処理の開始前に、取得処理部201は、第1値と、当該第1値が得られた時刻に一意に対応する値である第2値とをそれぞれ示す複数の第2データを外部の記憶領域から取得する。実施の形態1と同じように、記憶領域は、本実施の形態でも、オブジェクトストレージ150に確保される。第2データは、本実施の形態でも、計測値ファイル602に含まれる1件1件のレコードである。第1値は、本実施の形態でも、計測値である。第2値は、本実施の形態でも、ハッシュ値である。
Before starting the data search process, the
本実施の形態でも、取得処理部201は、それぞれの第2データに示される第2値として、それぞれの第2データに示される第1値が得られた時刻および当該時刻に当該第1値を得たセンサーデバイス300を一意に識別するデバイスIDの組に一意に対応する値を取得する。具体的には、取得処理部201は、それぞれの第2データに示される第2値として、ハッシュ値を取得する。
Also in the present embodiment, the
また、本実施の形態でも、取得処理部201は、取得した複数の第2データに示されている第1値が得られた時刻を記憶領域から読み取る。時刻は、本実施の形態でも、タイムスタンプの形式でタイムスタンプファイル601に書き込まれている。
Further, also in the present embodiment, the
実施の形態1と異なり、本実施の形態では、取得処理部201は、取得した複数の第2データをデータベース610に格納する。
Unlike the first embodiment, in the present embodiment, the
ステップS31において、出力処理部202は、以下のクエリにより、使用するデータが含まれる記録時間ウィンドウに対応する記録時間ウィンドウIDを持つレコードのデバイスIDを計測値テーブル612から抽出する。
SELECT DISTINCT DEV−ID FROM VAL−Tbl
WHERE WIN−ID = <記録時間ウィンドウID>
結果をDEVID−Tmpテーブルとする。
In step S31, the
SELECT DISTINCT DEV-ID FROM VAL-Tbl
WHERE WIN-ID = <Recording time window ID>
The result is a DEVID-Tmp table.
ステップS32において、出力処理部202は、以下のクエリにより、使用するデータが含まれる記録時間ウィンドウに対応する記録時間ウィンドウIDを持つレコードのタイムスタンプ値をタイムスタンプテーブル611から抽出する。
SELECT S−TS FROM TS−Tbl
WHERE WIN−ID = <記録時間ウィンドウID>
結果をTS−Tmpテーブルとする。
In step S32, the
SELECT S-TS FROM TS-Tbl
WHERE WIN-ID = <Recording time window ID>
The result is a TS-Tmp table.
ステップS33において、出力処理部202は、以下のクエリにより、ステップS32で抽出したタイムスタンプとステップS31で抽出したデバイスIDとの直積を求め、ハッシュ処理を行うUDFを使用してハッシュ値テーブルを作成する。「UDF」は、User Defined Functionの略語である。
SELECT S−TS, hash_tsdev(S−TS, DEV−ID) AS HASH−VAL
FROM TS−Tmp, DEVID−Tmp
hash_tsdevは、ハッシュ値を算出するUDFである。結果をTDHASH−Tmpテーブルとする。
In step S33, the
SELECT S-TS, hash_tsdev (S-TS, DEV-ID) AS HASH-VAL
FROM TS-Tmp, DEVID-Tmp
hash_tsdev is a UDF that calculates a hash value. The result is a TDHASH-Tmp table.
ステップS34において、出力処理部202は、以下のクエリにより、ステップS33で作成したハッシュ値テーブルと計測値テーブル612とを結合して、時系列データのテーブルを作成する。
SELECT H.S−TS, V.DEV−ID, V.S−VALUE
FROM VAL−Tbl V, TDHASH−Tmp H
WHERE V.HASH−VAL = H.HASH−VAL AND V.WIN−ID = <記録時間ウィンドウID>
In step S34, the
SELECT H. S-TS, V.I. DEV-ID, V.I. S-VALUE
FROM VAL-Tbl V, TDHASH-Tmp H
WHERE V. HASH-VAL = H. HASH-VAL AND V. WIN-ID = <Recording time window ID>
このように、データ検索処理において、出力処理部202は、時刻と第2値との対応関係を示す表である対応表を参照して、取得処理部201により取得された第2データごとに、第2データに示されている第2値に対応する時刻を特定し、特定した時刻と、第2データに示されている第1値とを示す第1データを生成する。これにより、出力処理部202は、サーバ装置100により取得された複数の第1データを復元する。対応表は、本実施の形態でも、ハッシュ値テーブルである。複数の第1データは、本実施の形態では、テーブルの形式で復元される。出力処理部202は、復元した複数の第1データを出力する。
As described above, in the data search process, the
本実施の形態でも、出力処理部202は、対応表として、時刻およびデバイスIDの組と第2値との対応関係を示す表を参照して、取得処理部201により取得された第2データごとに、第2データに示されている第2値に対応する時刻およびデバイスIDの組を特定する。出力処理部202は、第1データとして、特定した時刻と、第2データに示されている第1値とともに、特定したデバイスIDを示すデータを生成する。
Also in the present embodiment, the
また、本実施の形態でも、出力処理部202は、取得処理部201により読み取られた時刻に対応するハッシュ値を第2値として算出することで対応表を生成する。
Further, also in the present embodiment, the
本実施の形態では、出力処理部202は、データベース610を検索することで、データベース610に格納された第2データごとに、第1データを生成する。
In the present embodiment, the
***実施の形態の効果の説明***
本実施の形態では、RDB操作により時系列データを復元できるため、データ順序復号処理用のプログラム等が不要となる。
*** Explanation of the effect of the embodiment ***
In the present embodiment, since the time series data can be restored by the RDB operation, a program or the like for data order decoding processing becomes unnecessary.
本実施の形態では、RDBを利用するため、復号後のデータ分析等との連携が容易である。 In the present embodiment, since the RDB is used, it is easy to cooperate with data analysis after decoding.
実施の形態3.
本実施の形態について、主に実施の形態2との差異を、図10を用いて説明する。
Embodiment 3.
The difference between the present embodiment and the second embodiment will be mainly described with reference to FIG.
***構成の説明***
図10を参照して、本実施の形態に係るデータ管理システム700の構成を説明する。
*** Explanation of configuration ***
The configuration of the
本実施の形態では、タイムスタンプファイル601と計測値ファイル602とをオブジェクトストレージ150に格納せず、クラウド上のRDBに格納し、データ利用拠点では、BIツール220を利用してクラウド上のRDBにアクセスして、時系列データを再構成する。「BI」は、Business Intelligenceの略語である。
In the present embodiment, the
データ管理システム700は、サーバ装置100と、データ利用装置200と、センサーデバイス300とを備える。
The
センサーデバイス300については、実施の形態1のものと同じであるため、説明を省略する。
Since the
本実施の形態では、サーバ装置100は、取得処理部101と、混合処理部102と、格納処理部103と、デバイス管理部104とに加えて、データベース610を備える。
In the present embodiment, the
取得処理部101、混合処理部102およびデバイス管理部104については、実施の形態1のものと同じであるため、説明を省略する。
The
格納処理部103は、RDB管理機能を有する。格納処理部103は、ファイルロード処理を行う。具体的には、格納処理部103は、混合処理部102が生成したタイムスタンプファイル601と計測値ファイル602とをデータベース610にロードする。
The
データベース610は、任意の種類のDBでよいが、本実施の形態では、RDBである。データベース610は、例えば、図2に示した補助記憶装置113に構築される。データベース610は、タイムスタンプテーブル611「TS−Tbl」と、計測値テーブル612「VAL−Tbl」とを有する。
The
タイムスタンプテーブル611は、タイムスタンプファイル601のデータを格納するテーブルである。タイムスタンプテーブル611は、図7に示した実施の形態2のものと同じでよい。
The time stamp table 611 is a table for storing the data of the
計測値テーブル612は、計測値ファイル602のデータを格納するテーブルである。計測値テーブル612は、図8に示した実施の形態2のものと同じでよい。
The measurement value table 612 is a table for storing the data of the
本実施の形態では、データ利用装置200は、取得処理部201および出力処理部202の機能を実現するソフトウェアとして、BIツール220を備える。
In the present embodiment, the
BIツール220は、データベース610と連携して、データを分析および可視化するツールである。データベース610のデータを入力して、データ操作を行うことが可能である。
The
取得処理部201は、BIツール220の機能を利用してデータベース610からデータを取得する。
The
出力処理部202は、データ検索処理を行う。具体的には、出力処理部202は、BIツール220の機能を利用してデータベース610を検索し、検索結果から時系列データを再構成する。再構成された時系列データは、実施の形態1と同様の時系列データファイル603の形式で出力されてもよいし、実施の形態2と同様に、テーブルの形式で出力されてもよいし、その他の形式で出力されてもよい。
The
***動作の説明***
図10を参照して、本実施の形態に係るデータ管理システム700の動作を説明する。データ管理システム700の動作は、本実施の形態に係るデータ管理方法に相当する。
*** Explanation of operation ***
The operation of the
データ管理システム700の動作は、実施の形態1と同様に、データ格納フェーズと、再構成フェーズとからなる。
The operation of the
データ格納フェーズは、実施の形態2でオブジェクトストレージ150を経由しないで時系列データの変換からRDBへの格納までを行う手順と同等となる。再構成フェーズは、クラウドのデータベース610の対象データをBIツール220で読み込んで、BIツール220上で実施の形態2と同様のデータ検索処理を行う手順となる。
The data storage phase is equivalent to the procedure in the second embodiment from the conversion of the time series data to the storage in the RDB without going through the
このように、本実施の形態では、格納処理部103は、混合処理部102により並べられた複数の第2データを、記憶領域に構築されたデータベース610に格納する。記憶領域は、本実施の形態では、サーバ装置100に確保される。複数の第2データは、本実施の形態では、計測値テーブル612の形式で格納される。
As described above, in the present embodiment, the
***実施の形態の効果の説明***
本実施の形態では、データをクラウド上のRDBに格納するため、統計基本量のような順序に関係ない分析を容易に実行可能である。
*** Explanation of the effect of the embodiment ***
In the present embodiment, since the data is stored in the RDB on the cloud, it is possible to easily execute an analysis regardless of the order such as a statistical basic quantity.
本実施の形態では、データがデータベース610に格納されるため、管理が容易である。
In the present embodiment, since the data is stored in the
実施の形態4.
本実施の形態について、主に実施の形態1との差異を、図11から図13を用いて説明する。
Embodiment 4.
The differences between the present embodiment and the first embodiment will be mainly described with reference to FIGS. 11 to 13.
***構成の説明***
図11を参照して、本実施の形態に係るデータ管理システム700の構成を説明する。
*** Explanation of configuration ***
The configuration of the
本実施の形態では、タイムスタンプファイル601がなくなり、デバイスIDを管理するためのデバイスIDテーブル604が追加されている。
In the present embodiment, the
本実施の形態では、時系列データを計測値ファイル605のみに変換する。計測値ファイル605には、第1ハッシュ値と、年と、第2ハッシュ値と、1つ以上の計測値とが含まれる。
In the present embodiment, the time series data is converted only into the
***動作の説明***
図11のほかに、図12および図13を参照して、本実施の形態に係るデータ管理システム700の動作を説明する。データ管理システム700の動作は、本実施の形態に係るデータ管理方法に相当する。
*** Explanation of operation ***
In addition to FIG. 11, the operation of the
データ管理システム700の動作は、実施の形態1と同様に、データ格納フェーズと、再構成フェーズとからなる。
The operation of the
データ格納フェーズにおけるデータ順序混合処理のフローを図12に示す。 The flow of the data order mixing process in the data storage phase is shown in FIG.
データ順序混合処理の開始前に、取得処理部101は、時刻と、当該時刻に得られた値である第1値とをそれぞれ示す複数の第1データを取得する。実施の形態1と同じように、第1データは、本実施の形態でも、センサーデバイス300からのセンサーデータに含まれる1件1件のレコードである。時刻は、本実施の形態でも、タイムスタンプの形式で示される。第1値は、本実施の形態でも、計測値である。
Before starting the data sequence mixing process, the
本実施の形態でも、取得処理部101は、それぞれの第1データとして、時刻と、当該時刻に得られた第1値とともに、当該時刻に当該第1値を得たセンサーデバイス300を一意に識別するデバイスIDを示すデータを取得する。
Also in the present embodiment, the
ステップS41において、混合処理部102には、取得処理部101から記録時間ウィンドウ単位で複数のセンサーデータが入力される。
In step S41, a plurality of sensor data are input to the mixing
ステップS42において、混合処理部102は、センサーデータからレコードを1件取り出す。レコードには、タイムスタンプ、デバイスIDおよび1つまたは複数の計測値のデータが含まれる。タイムスタンプは、計測時刻に相当する。デバイスIDは、計測を行ったセンサーデバイス300の識別子に相当する。
In step S42, the mixing
ステップS43において、混合処理部102は、レコードのタイムスタンプとデバイスIDとに対してハッシュ処理を行い、第1ハッシュ値を算出する。
In step S43, the mixing
ステップS44において、混合処理部102は、タイムスタンプ情報「YYYY−MM−DD hh:mm:ss」の月日「MM−DD」と時間「hh」とから第2ハッシュ値を算出する。
In step S44, the mixing
ステップS45において、混合処理部102は、第1ハッシュ値と計測値およびタイムスタンプ情報の年「YYYY」と第2ハッシュ値とを組としたレコードを、計測値バッファに追加する。
In step S45, the mixing
ステップS46において、混合処理部102は、未処理のセンサーデータのレコードがある場合はステップS42からステップS45の処理を繰り返す。すべてのレコードの処理が完了した場合はステップS47に進む。
In step S46, the mixing
ステップS47において、混合処理部102は、計測値バッファの内容をレコードの順番を乱数等により無作為に入れ替えて、計測値ファイル605に出力する。
In step S47, the mixing
このように、データ順序混合処理において、混合処理部102は、取得処理部101により取得された第1データごとに、第1データに示されている第1値と、第1データに示されている時刻に一意に対応する値である第2値とを示す第2データを生成する。第2データは、本実施の形態でも、計測値バッファに格納される1件1件のレコードである。第2値は、本実施の形態では、第1ハッシュ値である。混合処理部102は、生成した複数の第2データを、それぞれの第2データに示されている第1値が得られた時刻の順序とは別の順序で並べる。
As described above, in the data sequence mixing process, the mixing
本実施の形態でも、混合処理部102は、取得処理部101により取得された第1データごとに、第2データに示される第2値として、第1データに示されている時刻およびデバイスIDの組に一意に対応する値を生成する。具体的には、混合処理部102は、取得処理部101により取得された第1データごとに、第2データに示される第2値として、第1ハッシュ値を算出する。
Also in the present embodiment, the mixing
実施の形態1と異なり、本実施の形態では、混合処理部102は、取得処理部101により取得された第1データごとに、第1データに示されている時刻を第1単位の時刻と第2単位の時刻とに分解し、第1単位の時刻と、第2単位の時刻に対応するハッシュ値である第3値とを示す第3データを生成する。第1単位は年、第2単位は月日時であるが、第1単位および第2単位を別の単位の組み合わせにしてもよい。例えば、第1単位は年月、第2単位は日時でもよい。第3値は、本実施の形態では、第2ハッシュ値である。混合処理部102は、生成した複数の第3データを、それぞれの第3データの元になった第1データに示されている時刻の順序とは別の順序で並べる。
Unlike the first embodiment, in the present embodiment, the mixing
データ順序混合処理の終了後に、格納処理部103は、混合処理部102により並べられた複数の第2データと複数の第3データとを、外部からアクセスされる記憶領域に格納する。記憶領域は、本実施の形態でも、オブジェクトストレージ150に確保される。複数の第2データは、本実施の形態では、計測値ファイル605の形式で格納される。複数の第3データは、本実施の形態では、複数の第2データとともに計測値ファイル605の形式で格納されるが、複数の第2データとは別のファイルに格納されてもよいし、複数の第2データとは別の形式で格納されてもよい。
After the data sequence mixing process is completed, the
再構成フェーズでは、取得処理部201が、オブジェクトストレージ150から必要な計測値ファイル605を取り出し、データ順序復元処理に渡す。データ順序復元処理では、事前にサーバ装置100のデバイス管理部104と連携してデバイスIDテーブル604からデバイスID群を取得しておき、この取得済のデバイスID群と計測値ファイル605とから時系列データを復元し、時系列データファイル603に出力する。
In the reconstruction phase, the
データ順序復元処理のフローを図13に示す。 The flow of the data order restoration process is shown in FIG.
データ順序復元処理の開始前に、取得処理部201は、第1値と、当該第1値が得られた時刻に一意に対応する値である第2値とをそれぞれ示す複数の第2データを外部の記憶領域から取得する。前述したように、記憶領域は、本実施の形態でも、オブジェクトストレージ150に確保される。第2データは、本実施の形態でも、計測値ファイル605に含まれる1件1件のレコードである。第1値は、本実施の形態でも、計測値である。第2値は、本実施の形態では、第1ハッシュ値である。
Prior to the start of the data order restoration process, the
本実施の形態では、取得処理部201は、それぞれの第2データに示される第2値として、それぞれの第2データに示される第1値が得られた時刻および当該時刻に当該第1値を得たセンサーデバイス300を一意に識別するデバイスIDの組に一意に対応する値を取得する。具体的には、取得処理部201は、それぞれの第2データに示される第2値として、第1ハッシュ値を取得する。
In the present embodiment, the
実施の形態1と異なり、本実施の形態では、取得処理部201は、第1単位の時刻と、第2単位の時刻に対応するハッシュ値である第3値とをそれぞれ示す複数の第3データを記憶領域から取得する。前述したように、第1単位は年、第2単位は月日時であるが、第1単位および第2単位を別の単位の組み合わせにしてもよい。第3値は、本実施の形態では、第2ハッシュ値である。
Unlike the first embodiment, in the present embodiment, the
ステップS51において、出力処理部202は、1月1日0時から12月31日23時までの第2ハッシュ値を算出し、第2ハッシュ値テーブルを作成する。
In step S51, the
ステップS52において、出力処理部202には、取得処理部201から計測値ファイル605のデータが入力される。
In step S52, the data of the
ステップS53において、出力処理部202は、計測値ファイル605のデータから、データに含まれる年と第2ハッシュ値とをすべて抽出する。
In step S53, the
ステップS54において、出力処理部202は、ステップS53で抽出した第2ハッシュ値とステップS51で作成した第2ハッシュ値テーブルとを突き合わせて、計測値ファイル605のデータの年月日時をすべて基準年月日時として導出する。
In step S54, the
ステップS55において、出力処理部202は、基準年月日時の期間に含まれるタイムスタンプのすべてのバリエーションを作成する。具体的には、出力処理部202は、基準年月日時「YYYY−MM−DD hh」を全パターンのタイムスタンプ値「YYYY−MM−DD hh:mm:ss」に展開する。出力処理部202は、これらのタイムスタンプ値と取得済のデバイスID群に含まれるデバイスIDとを組み合わせてハッシュ処理を行い、第1ハッシュ値テーブルを作成する。
In step S55, the
ステップS56において、出力処理部202は、計測値ファイル605のデータからレコードを1件取り出す。
In step S56, the
ステップS57において、出力処理部202は、レコードの第1ハッシュ値とステップS55で作成した第1ハッシュ値テーブルとを突き合わせて、第1ハッシュ値が一致したタイムスタンプおよびデバイスIDを特定する。
In step S57, the
ステップS58において、出力処理部202は、ステップS57で特定したタイムスタンプおよびデバイスIDとレコードの計測値との組をレコードとして時系列データファイル603に出力する。
In step S58, the
ステップS59において、出力処理部202は、未処理の計測値ファイル605のレコードがある場合はステップS56からステップS58の処理を繰り返す。すべてのレコードの処理が完了した場合に終了となる。
In step S59, the
このように、データ順序復元処理において、出力処理部202は、時刻と第2値との対応関係を示す表である対応表を参照して、取得処理部201により取得された第2データごとに、第2データに示されている第2値に対応する時刻を特定し、特定した時刻と、第2データに示されている第1値とを示す第1データを生成する。これにより、出力処理部202は、サーバ装置100により取得された複数の第1データを復元する。対応表は、本実施の形態では、第1ハッシュ値テーブルである。複数の第1データは、本実施の形態では、時系列データファイル603の形式で復元される。出力処理部202は、復元した複数の第1データを出力する。
As described above, in the data order restoration processing, the
本実施の形態では、出力処理部202は、対応表として、時刻およびデバイスIDの組と第2値との対応関係を示す表を参照して、取得処理部201により取得された第2データごとに、第2データに示されている第2値に対応する時刻およびデバイスIDの組を特定する。出力処理部202は、第1データとして、特定した時刻と、第2データに示されている第1値とともに、特定したデバイスIDを示すデータを生成する。
In the present embodiment, the
実施の形態1と異なり、本実施の形態では、出力処理部202は、第2単位の時刻と第3値とを紐付けるハッシュテーブルを参照して、取得処理部201により取得された第3データごとに、第3データに示されている第3値に対応する第2単位の時刻を特定し、第3データに示されている第1単位の時刻と、特定した第2単位の時刻とからなる時刻に対応するハッシュ値を第2値として算出することで対応表を生成する。ハッシュテーブルは、本実施の形態では、第2ハッシュ値テーブルである。
Unlike the first embodiment, in the present embodiment, the
***実施の形態の効果の説明***
本実施の形態では、計測値ファイル605のみでは、単なる計測値の集まりであり、そのまま参照しても時間的な順序に関する情報あるいは計測デバイス情報は得られないため、データ漏洩に対する対策が可能となる。
*** Explanation of the effect of the embodiment ***
In the present embodiment, the
100 サーバ装置、101 取得処理部、102 混合処理部、103 格納処理部、104 デバイス管理部、111 プロセッサ、112 メモリ、113 補助記憶装置、114 通信装置、115 入力機器、116 ディスプレイ、117 信号線、118 レシーバ、119 トランスミッタ、150 オブジェクトストレージ、200 データ利用装置、201 取得処理部、202 出力処理部、211 プロセッサ、212 メモリ、213 補助記憶装置、214 通信装置、215 入力機器、216 ディスプレイ、217 信号線、218 レシーバ、219 トランスミッタ、220 BIツール、300 センサーデバイス、400 インターネット、601 タイムスタンプファイル、602 計測値ファイル、603 時系列データファイル、604 デバイスIDテーブル、605 計測値ファイル、610 データベース、611 タイムスタンプテーブル、612 計測値テーブル、700 データ管理システム。 100 server unit, 101 acquisition processing unit, 102 mixing processing unit, 103 storage processing unit, 104 device management unit, 111 processor, 112 memory, 113 auxiliary storage device, 114 communication device, 115 input device, 116 display, 117 signal line, 118 receiver, 119 transmitter, 150 object storage, 200 data utilization device, 201 acquisition processing unit, 202 output processing unit, 211 processor, 212 memory, 213 auxiliary storage device, 214 communication device, 215 input device, 216 display, 217 signal line , 218 receiver, 219 transmitter, 220 BI tool, 300 sensor device, 400 internet, 601 time stamp file, 602 measurement value file, 603 time series data file, 604 device ID table, 605 measurement value file, 610 database, 611 time stamp. Table, 612 measurement table, 700 data management system.
Claims (15)
前記サーバ装置により並べられた複数の第2データを前記記憶領域から取得し、時刻と第2値との対応関係を示す表である対応表を参照して、取得した第2データごとに、第2データに示されている第2値に対応する時刻を特定し、特定した時刻と、第2データに示されている第1値とを示すデータを生成することで、前記サーバ装置により取得された複数の第1データを復元するデータ利用装置と
を備えるデータ管理システム。 A plurality of first data indicating the time and the first value obtained at the time are acquired, and for each of the acquired first data, the first value shown in the first data and the first value are obtained. Second data indicating a second value that is a value uniquely corresponding to the time shown in one data is generated, and the generated plurality of second data are the first one shown in each second data. A server device that stores the values in a storage area accessed from the outside by arranging them in a different order from the time when the values were obtained.
A plurality of second data arranged by the server device are acquired from the storage area, and the correspondence table, which is a table showing the correspondence between the time and the second value, is referred to, and for each acquired second data, the second data is obtained. 2 Obtained by the server device by specifying the time corresponding to the second value shown in the data and generating data indicating the specified time and the first value shown in the second data. A data management system including a data utilization device that restores a plurality of first data.
前記取得処理部により取得された第1データごとに、第1データに示されている第1値と、第1データに示されている時刻に一意に対応する値である第2値とを示す第2データを生成し、生成した複数の第2データを、それぞれの第2データに示されている第1値が得られた時刻の順序とは別の順序で並べる混合処理部と、
前記混合処理部により並べられた複数の第2データを、外部からアクセスされる記憶領域に格納する格納処理部と
を備えるサーバ装置。 An acquisition processing unit that acquires a plurality of first data indicating a time and a first value that is a value obtained at that time.
For each of the first data acquired by the acquisition processing unit, a first value shown in the first data and a second value which is a value uniquely corresponding to the time shown in the first data are shown. A mixing processing unit that generates the second data and arranges the generated plurality of second data in an order different from the order of the time when the first value shown in each second data is obtained.
A server device including a storage processing unit that stores a plurality of second data arranged by the mixing processing unit in a storage area accessed from the outside.
前記混合処理部は、前記取得処理部により取得された第1データごとに、第2データに示される第2値として、第1データに示されている時刻およびデバイス識別子の組に一意に対応する値を生成する請求項2に記載のサーバ装置。 The acquisition processing unit acquires, as the first data, data indicating the time, the first value obtained at the time, and the device identifier that uniquely identifies the device that obtained the first value at the time. death,
The mixing processing unit uniquely corresponds to the set of the time and the device identifier shown in the first data as the second value shown in the second data for each of the first data acquired by the acquisition processing unit. The server device according to claim 2, which generates a value.
前記格納処理部は、前記取得処理部により取得された複数の第1データに示されている時刻を、それぞれの第1データに示されている第1値から切り離された形で前記記憶領域に書き込む請求項2から4のいずれか1項に記載のサーバ装置。 The mixing processing unit calculates a hash value as a second value shown in the second data for each first data acquired by the acquisition processing unit.
The storage processing unit stores the time indicated in the plurality of first data acquired by the acquisition processing unit in the storage area in a form separated from the first value shown in each of the first data. The server device according to any one of claims 2 to 4 to be written.
前記格納処理部は、前記混合処理部により並べられた複数の第3データを前記記憶領域に格納する請求項2から4のいずれか1項に記載のサーバ装置。 The mixing processing unit decomposes the time shown in the first data into a time of the first unit and a time of the second unit for each first data acquired by the acquisition processing unit, and the first unit. The third data indicating the time of the above and the third value which is the hash value corresponding to the time of the second unit is generated, and the generated plurality of third data are used as the basis of the respective third data. 1 Arrange in a different order from the time shown in the data,
The server device according to any one of claims 2 to 4, wherein the storage processing unit stores a plurality of third data arranged by the mixing processing unit in the storage area.
時刻と第2値との対応関係を示す表である対応表を参照して、前記取得処理部により取得された第2データごとに、第2データに示されている第2値に対応する時刻を特定し、特定した時刻と、第2データに示されている第1値とを示す第1データを生成し、生成した複数の第1データを出力する出力処理部と
を備えるデータ利用装置。 An acquisition processing unit that acquires a plurality of second data indicating a first value and a second value that is a value uniquely corresponding to the time when the first value is obtained from an external storage area.
With reference to the correspondence table, which is a table showing the correspondence between the time and the second value, for each second data acquired by the acquisition processing unit, the time corresponding to the second value shown in the second data. A data utilization device including an output processing unit that specifies, generates first data indicating the specified time and the first value shown in the second data, and outputs a plurality of generated first data.
前記出力処理部は、前記対応表として、時刻およびデバイス識別子の組と第2値との対応関係を示す表を参照して、前記取得処理部により取得された第2データごとに、第2データに示されている第2値に対応する時刻およびデバイス識別子の組を特定し、第1データとして、特定した時刻と、第2データに示されている第1値とともに、特定したデバイス識別子を示すデータを生成する請求項8に記載のデータ利用装置。 As the second value shown in each second data, the acquisition processing unit uniquely selects the time when the first value shown in each second data is obtained and the device which obtained the first value at that time. Gets the value that uniquely corresponds to the set of device identifiers to identify
The output processing unit refers to a table showing the correspondence between the set of time and device identifiers and the second value as the correspondence table, and for each of the second data acquired by the acquisition processing unit, the second data The set of time and device identifier corresponding to the second value shown in is specified, and the specified time and the specified device identifier are shown as the first data together with the first value shown in the second data. The data utilization device according to claim 8, which generates data.
前記出力処理部は、前記データベースを検索することで、前記データベースに格納された第2データごとに、第1データを生成する請求項8または9に記載のデータ利用装置。 The acquisition processing unit stores a plurality of acquired second data in the database, and stores the acquired second data in the database.
The data utilization device according to claim 8 or 9, wherein the output processing unit generates first data for each second data stored in the database by searching the database.
前記出力処理部は、前記取得処理部により読み取られた時刻に対応するハッシュ値を第2値として算出することで前記対応表を生成する請求項8から10のいずれか1項に記載のデータ利用装置。 The acquisition processing unit reads the time when the first value shown in the acquired second data is obtained from the storage area, and reads the time when the first value is obtained.
The data utilization according to any one of claims 8 to 10, wherein the output processing unit generates the correspondence table by calculating the hash value corresponding to the time read by the acquisition processing unit as the second value. Device.
前記出力処理部は、前記第2単位の時刻と第3値とを紐付けるハッシュテーブルを参照して、前記取得処理部により取得された第3データごとに、第3データに示されている第3値に対応する前記第2単位の時刻を特定し、第3データに示されている前記第1単位の時刻と、特定した前記第2単位の時刻とからなる時刻に対応するハッシュ値を第2値として算出することで前記対応表を生成する請求項8から10のいずれか1項に記載のデータ利用装置。 The acquisition processing unit acquires a plurality of third data indicating each of the time of the first unit and the third value which is a hash value corresponding to the time of the second unit from the storage area.
The output processing unit refers to a hash table that associates the time of the second unit with the third value, and each third data acquired by the acquisition processing unit is shown in the third data. The time of the second unit corresponding to the three values is specified, and the hash value corresponding to the time consisting of the time of the first unit shown in the third data and the time of the specified second unit is the second. The data utilization device according to any one of claims 8 to 10, which generates the correspondence table by calculating as two values.
時刻と、当該時刻に得られた値である第1値とをそれぞれ示す複数の第1データを取得する取得処理と、
前記取得処理により取得された第1データごとに、第1データに示されている第1値と、第1データに示されている時刻に一意に対応する値である第2値とを示す第2データを生成し、生成した複数の第2データを、それぞれの第2データに示されている第1値が得られた時刻の順序とは別の順序で並べる混合処理と、
前記混合処理により並べられた複数の第2データを、外部からアクセスされる記憶領域に格納する格納処理と
を実行させるサーバプログラム。 On the computer
An acquisition process for acquiring a plurality of first data indicating a time and a first value obtained at that time, respectively.
For each of the first data acquired by the acquisition process, a first value indicating the first value shown in the first data and a second value indicating a second value uniquely corresponding to the time indicated in the first data. A mixed process in which two data are generated and the generated plurality of second data are arranged in an order different from the order of the time when the first value shown in each second data is obtained.
A server program that executes a storage process of storing a plurality of second data arranged by the mixed process in a storage area accessed from the outside.
第1値と、当該第1値が得られた時刻に一意に対応する値である第2値とをそれぞれ示す複数の第2データを外部の記憶領域から取得する取得処理と、
時刻と第2値との対応関係を示す表である対応表を参照して、前記取得処理により取得された第2データごとに、第2データに示されている第2値に対応する時刻を特定し、特定した時刻と、第2データに示されている第1値とを示す第1データを生成し、生成した複数の第1データを出力する出力処理と
を実行させるデータ利用プログラム。 On the computer
An acquisition process for acquiring a plurality of second data indicating a first value and a second value that is a value uniquely corresponding to the time when the first value is obtained from an external storage area.
With reference to the correspondence table, which is a table showing the correspondence between the time and the second value, for each second data acquired by the acquisition process, the time corresponding to the second value shown in the second data is set. A data utilization program that executes an output process that generates first data indicating a specified time and a first value shown in the second data, and outputs a plurality of generated first data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017200541A JP6916708B2 (en) | 2017-10-16 | 2017-10-16 | Data management system, server device, data utilization device, server program and data utilization program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017200541A JP6916708B2 (en) | 2017-10-16 | 2017-10-16 | Data management system, server device, data utilization device, server program and data utilization program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019074925A JP2019074925A (en) | 2019-05-16 |
JP6916708B2 true JP6916708B2 (en) | 2021-08-11 |
Family
ID=66543309
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017200541A Active JP6916708B2 (en) | 2017-10-16 | 2017-10-16 | Data management system, server device, data utilization device, server program and data utilization program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6916708B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5995644A (en) * | 1982-11-22 | 1984-06-01 | Sanyo Electric Co Ltd | High-speed processor for measurement data |
JP3869618B2 (en) * | 2000-03-31 | 2007-01-17 | 三洋電機株式会社 | Interleave device and interleave restoration device |
JP6098294B2 (en) * | 2013-03-28 | 2017-03-22 | 富士通株式会社 | Information concealment device and information concealment method |
US10496656B2 (en) * | 2014-07-08 | 2019-12-03 | Sap Se | Compressing time stamp columns |
-
2017
- 2017-10-16 JP JP2017200541A patent/JP6916708B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019074925A (en) | 2019-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9202078B2 (en) | Data perturbation and anonymization using one way hash | |
US11157652B2 (en) | Obfuscation and deletion of personal data in a loosely-coupled distributed system | |
US20190305932A1 (en) | Distributed key management and encryption for blockchains | |
US9256657B1 (en) | Tracking data communicated between services | |
US10650476B2 (en) | Electronic discovery process using a blockchain | |
CN111782620B (en) | Credit link automatic tracking platform and method thereof | |
US10776508B2 (en) | Holistic and secure resource provisioning gateway system | |
CN112035471B (en) | Transaction processing method and computer equipment | |
Hou Su et al. | Automating ETL and mining of ethereum blockchain network | |
CN114547204A (en) | Data synchronization method and device, computer equipment and storage medium | |
Yadav et al. | Big data analytics for health systems | |
Rahman et al. | Building Resilient Digital Forensic Frameworks for NoSQL Database: Harnessing the Blockchain and Quantum Technology | |
JP6429962B1 (en) | Information processing apparatus, information processing method, and information processing program | |
Weintraub et al. | Data integrity verification in column-oriented NoSQL databases | |
JP7269194B2 (en) | Information sharing management method and information sharing management device | |
JP6916708B2 (en) | Data management system, server device, data utilization device, server program and data utilization program | |
CN116910820A (en) | Data report processing method, device, computer equipment and storage medium | |
Jamil et al. | Comprehensive review of challenges & technologies for big data analytics | |
US11308115B2 (en) | Method and system for persisting data | |
CN115643090A (en) | Longitudinal federal analysis method, device, equipment and medium based on privacy retrieval | |
US20210150035A1 (en) | Data filing method and system | |
JP2022075328A (en) | Data management method, computer program, and data management system | |
JPWO2016088201A1 (en) | Screen generation system, screen generation method, and screen generation program | |
US11922239B1 (en) | System and method for abstraction of application programming interface creation without code | |
JP7300781B1 (en) | Data management system, data management method, and data management program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210713 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210714 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210716 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6916708 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |