JP6916708B2 - Data management system, server device, data utilization device, server program and data utilization program - Google Patents

Data management system, server device, data utilization device, server program and data utilization program Download PDF

Info

Publication number
JP6916708B2
JP6916708B2 JP2017200541A JP2017200541A JP6916708B2 JP 6916708 B2 JP6916708 B2 JP 6916708B2 JP 2017200541 A JP2017200541 A JP 2017200541A JP 2017200541 A JP2017200541 A JP 2017200541A JP 6916708 B2 JP6916708 B2 JP 6916708B2
Authority
JP
Japan
Prior art keywords
data
value
time
processing unit
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017200541A
Other languages
Japanese (ja)
Other versions
JP2019074925A (en
Inventor
森川 修一
修一 森川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Information Network Corp
Original Assignee
Mitsubishi Electric Information Network Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Information Network Corp filed Critical Mitsubishi Electric Information Network Corp
Priority to JP2017200541A priority Critical patent/JP6916708B2/en
Publication of JP2019074925A publication Critical patent/JP2019074925A/en
Application granted granted Critical
Publication of JP6916708B2 publication Critical patent/JP6916708B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、データ管理システム、サーバ装置、データ利用装置、サーバプログラムおよびデータ利用プログラムに関するものである。 The present invention relates to a data management system, a server device, a data utilization device, a server program, and a data utilization program.

特許文献1、特許文献2および特許文献3には、保管するデータを複数のデータに分割し、これら複数のデータを複数の記憶装置に分散して保管する技術が記載されている。 Patent Document 1, Patent Document 2 and Patent Document 3 describe a technique of dividing the data to be stored into a plurality of data and distributing and storing the plurality of data in a plurality of storage devices.

特開2000−173178号公報Japanese Unexamined Patent Publication No. 2000-1731178 特開2004−171207号公報Japanese Unexamined Patent Publication No. 2004-171207 国際公開第2001/046808号International Publication No. 2001/046808

センサーデバイスで発生する時系列データを利用してデータ分析等を行うシステムにおいて、センサーデバイスの設置場所とデータの利用場所とが地理的に異なる場合、または、センサーデバイスが広く散在する場合等ではセンサーデバイスの時系列データの収集が課題となる。データ収集をクラウド基盤で行い、クラウド上のストレージに格納するような構成では、インターネットを介することでデータ収集に伴う地理的な課題を解決できるが、データをクラウドに置くことによるデータ漏洩の可能性の課題が生じる。 In a system that analyzes data using time-series data generated by a sensor device, if the location where the sensor device is installed and the location where the data is used are geographically different, or if the sensor devices are widely scattered, the sensor Collecting time-series data on devices is an issue. In a configuration where data collection is performed on a cloud platform and stored in storage on the cloud, geographical issues associated with data collection can be solved via the Internet, but there is a possibility of data leakage due to placing data in the cloud. Challenge arises.

データ格納での機密性の強化方法としては、データを単独では意味をなさない単位で分割して、異なるストレージに格納する方法、および、データを暗号化して格納する方法がある。特許文献1、特許文献2および特許文献3に記載の技術のように、データを分割する方法では、データ利用時には複数のストレージからデータを取得する必要があり、保管においても複数ストレージ利用によるコストがかかる。データを暗号化する方法では、暗号鍵の管理が必要となる。 As a method of strengthening confidentiality in data storage, there are a method of dividing data into units that do not make sense by itself and storing them in different storages, and a method of storing data in encrypted form. In the method of dividing data as in the techniques described in Patent Document 1, Patent Document 2, and Patent Document 3, it is necessary to acquire data from a plurality of storages when using the data, and the cost of using the plurality of storages is also high in storage. It takes. The method of encrypting data requires the management of encryption keys.

本発明は、時間的な順序性をなくした形式で時系列データを格納し、利用時に再構成できるようにすることを目的とする。 An object of the present invention is to store time-series data in a format out of temporal order so that it can be reconstructed at the time of use.

本発明の一態様に係るデータ管理システムは、
時刻と、当該時刻に得られた値である第1値とをそれぞれ示す複数の第1データを取得し、取得した第1データごとに、第1データに示されている第1値と、第1データに示されている時刻に一意に対応する値である第2値とを示す第2データを生成し、生成した複数の第2データを、それぞれの第2データに示されている第1値が得られた時刻の順序とは別の順序で並べて、外部からアクセスされる記憶領域に格納するサーバ装置と、
前記サーバ装置により並べられた複数の第2データを前記記憶領域から取得し、時刻と第2値との対応関係を示す表である対応表を参照して、取得した第2データごとに、第2データに示されている第2値に対応する時刻を特定し、特定した時刻と、第2データに示されている第1値とを示すデータを生成することで、前記サーバ装置により取得された複数の第1データを復元するデータ利用装置と
を備える。
The data management system according to one aspect of the present invention is
A plurality of first data indicating the time and the first value obtained at the time are acquired, and for each of the acquired first data, the first value shown in the first data and the first value are obtained. Second data indicating a second value that is a value uniquely corresponding to the time shown in one data is generated, and the generated plurality of second data are the first one shown in each second data. A server device that stores the values in a storage area accessed from the outside by arranging them in a different order from the time when the values were obtained.
A plurality of second data arranged by the server device are acquired from the storage area, and the correspondence table, which is a table showing the correspondence between the time and the second value, is referred to, and for each acquired second data, the second data is obtained. 2 Obtained by the server device by specifying the time corresponding to the second value shown in the data and generating data indicating the specified time and the first value shown in the second data. It is provided with a data utilization device that restores a plurality of first data.

本発明の一態様に係るサーバ装置は、
時刻と、当該時刻に得られた値である第1値とをそれぞれ示す複数の第1データを取得する取得処理部と、
前記取得処理部により取得された第1データごとに、第1データに示されている第1値と、第1データに示されている時刻に一意に対応する値である第2値とを示す第2データを生成し、生成した複数の第2データを、それぞれの第2データに示されている第1値が得られた時刻の順序とは別の順序で並べる混合処理部と、
前記混合処理部により並べられた複数の第2データを、外部からアクセスされる記憶領域に格納する格納処理部と
を備える。
The server device according to one aspect of the present invention is
An acquisition processing unit that acquires a plurality of first data indicating a time and a first value that is a value obtained at that time.
For each of the first data acquired by the acquisition processing unit, a first value shown in the first data and a second value which is a value uniquely corresponding to the time shown in the first data are shown. A mixing processing unit that generates the second data and arranges the generated plurality of second data in an order different from the order of the time when the first value shown in each second data is obtained.
It includes a storage processing unit that stores a plurality of second data arranged by the mixing processing unit in a storage area accessed from the outside.

前記取得処理部は、それぞれの第1データとして、時刻と、当該時刻に得られた第1値とともに、当該時刻に当該第1値を得たデバイスを一意に識別するデバイス識別子を示すデータを取得し、
前記混合処理部は、前記取得処理部により取得された第1データごとに、第2データに示される第2値として、第1データに示されている時刻およびデバイス識別子の組に一意に対応する値を生成する。
The acquisition processing unit acquires, as the first data, data indicating the time, the first value obtained at the time, and the device identifier that uniquely identifies the device that obtained the first value at the time. death,
The mixing processing unit uniquely corresponds to the set of the time and the device identifier shown in the first data as the second value shown in the second data for each of the first data acquired by the acquisition processing unit. Generate a value.

前記格納処理部は、前記混合処理部により並べられた複数の第2データを、前記記憶領域に構築されたデータベースに格納する。 The storage processing unit stores a plurality of second data arranged by the mixing processing unit in a database constructed in the storage area.

前記混合処理部は、前記取得処理部により取得された第1データごとに、第2データに示される第2値として、ハッシュ値を算出し、
前記格納処理部は、前記取得処理部により取得された複数の第1データに示されている時刻を、それぞれの第1データに示されている第1値から切り離された形で前記記憶領域に書き込む。
The mixing processing unit calculates a hash value as a second value shown in the second data for each first data acquired by the acquisition processing unit.
The storage processing unit stores the time indicated in the plurality of first data acquired by the acquisition processing unit in the storage area in a form separated from the first value shown in each of the first data. Write.

前記混合処理部は、前記取得処理部により取得された第1データごとに、第1データに示されている時刻を第1単位の時刻と第2単位の時刻とに分解し、前記第1単位の時刻と、前記第2単位の時刻に対応するハッシュ値である第3値とを示す第3データを生成し、生成した複数の第3データを、それぞれの第3データの元になった第1データに示されている時刻の順序とは別の順序で並べ、
前記格納処理部は、前記混合処理部により並べられた複数の第3データを前記記憶領域に格納する。
The mixing processing unit decomposes the time shown in the first data into a time of the first unit and a time of the second unit for each first data acquired by the acquisition processing unit, and the first unit. The third data indicating the time of the above and the third value which is the hash value corresponding to the time of the second unit is generated, and the generated plurality of third data are used as the basis of the respective third data. 1 Arrange in a different order from the time shown in the data,
The storage processing unit stores a plurality of third data arranged by the mixing processing unit in the storage area.

前記第1単位は年、前記第2単位は月日時である。 The first unit is the year, and the second unit is the month, day, and day.

本発明の一態様に係るデータ利用装置は、
第1値と、当該第1値が得られた時刻に一意に対応する値である第2値とをそれぞれ示す複数の第2データを外部の記憶領域から取得する取得処理部と、
時刻と第2値との対応関係を示す表である対応表を参照して、前記取得処理部により取得された第2データごとに、第2データに示されている第2値に対応する時刻を特定し、特定した時刻と、第2データに示されている第1値とを示す第1データを生成し、生成した複数の第1データを出力する出力処理部と
を備える。
The data utilization device according to one aspect of the present invention is
An acquisition processing unit that acquires a plurality of second data indicating a first value and a second value that is a value uniquely corresponding to the time when the first value is obtained from an external storage area.
With reference to the correspondence table, which is a table showing the correspondence between the time and the second value, for each second data acquired by the acquisition processing unit, the time corresponding to the second value shown in the second data. It is provided with an output processing unit which specifies, generates first data indicating the specified time and the first value shown in the second data, and outputs a plurality of generated first data.

前記取得処理部は、それぞれの第2データに示される第2値として、それぞれの第2データに示される第1値が得られた時刻および当該時刻に当該第1値を得たデバイスを一意に識別するデバイス識別子の組に一意に対応する値を取得し、
前記出力処理部は、前記対応表として、時刻およびデバイス識別子の組と第2値との対応関係を示す表を参照して、前記取得処理部により取得された第2データごとに、第2データに示されている第2値に対応する時刻およびデバイス識別子の組を特定し、第1データとして、特定した時刻と、第2データに示されている第1値とともに、特定したデバイス識別子を示すデータを生成する。
As the second value shown in each second data, the acquisition processing unit uniquely selects the time when the first value shown in each second data is obtained and the device which obtained the first value at that time. Gets the value that uniquely corresponds to the set of device identifiers to identify
The output processing unit refers to a table showing the correspondence between the set of time and device identifiers and the second value as the correspondence table, and for each of the second data acquired by the acquisition processing unit, the second data The set of time and device identifier corresponding to the second value shown in is specified, and the specified time and the specified device identifier are shown as the first data together with the first value shown in the second data. Generate data.

前記取得処理部は、取得した複数の第2データをデータベースに格納し、
前記出力処理部は、前記データベースを検索することで、前記データベースに格納された第2データごとに、第1データを生成する。
The acquisition processing unit stores a plurality of acquired second data in the database, and stores the acquired second data in the database.
By searching the database, the output processing unit generates first data for each second data stored in the database.

前記取得処理部は、取得した複数の第2データに示されている第1値が得られた時刻を前記記憶領域から読み取り、
前記出力処理部は、前記取得処理部により読み取られた時刻に対応するハッシュ値を第2値として算出することで前記対応表を生成する。
The acquisition processing unit reads the time when the first value shown in the acquired second data is obtained from the storage area, and reads the time when the first value is obtained.
The output processing unit generates the correspondence table by calculating a hash value corresponding to the time read by the acquisition processing unit as a second value.

前記取得処理部は、第1単位の時刻と、第2単位の時刻に対応するハッシュ値である第3値とをそれぞれ示す複数の第3データを前記記憶領域から取得し、
前記出力処理部は、前記第2単位の時刻と第3値とを紐付けるハッシュテーブルを参照して、前記取得処理部により取得された第3データごとに、第3データに示されている第3値に対応する前記第2単位の時刻を特定し、第3データに示されている前記第1単位の時刻と、特定した前記第2単位の時刻とからなる時刻に対応するハッシュ値を第2値として算出することで前記対応表を生成する。
The acquisition processing unit acquires a plurality of third data indicating each of the time of the first unit and the third value which is a hash value corresponding to the time of the second unit from the storage area.
The output processing unit refers to a hash table that associates the time of the second unit with the third value, and each third data acquired by the acquisition processing unit is shown in the third data. The time of the second unit corresponding to the three values is specified, and the hash value corresponding to the time consisting of the time of the first unit shown in the third data and the time of the specified second unit is the second. The correspondence table is generated by calculating as two values.

前記第1単位は年、前記第2単位は月日時である。 The first unit is the year, and the second unit is the month, day, and day.

本発明の一態様に係るサーバプログラムは、
コンピュータに、
時刻と、当該時刻に得られた値である第1値とをそれぞれ示す複数の第1データを取得する取得処理と、
前記取得処理により取得された第1データごとに、第1データに示されている第1値と、第1データに示されている時刻に一意に対応する値である第2値とを示す第2データを生成し、生成した複数の第2データを、それぞれの第2データに示されている第1値が得られた時刻の順序とは別の順序で並べる混合処理と、
前記混合処理により並べられた複数の第2データを、外部からアクセスされる記憶領域に格納する格納処理と
を実行させる。
The server program according to one aspect of the present invention
On the computer
An acquisition process for acquiring a plurality of first data indicating a time and a first value obtained at that time, respectively.
For each of the first data acquired by the acquisition process, a first value indicating the first value shown in the first data and a second value indicating a second value uniquely corresponding to the time indicated in the first data. A mixed process in which two data are generated and the generated plurality of second data are arranged in an order different from the order of the time when the first value shown in each second data is obtained.
A storage process of storing a plurality of second data arranged by the mixed process in a storage area accessed from the outside is executed.

本発明の一態様に係るデータ利用プログラムは、
コンピュータに、
第1値と、当該第1値が得られた時刻に一意に対応する値である第2値とをそれぞれ示す複数の第2データを外部の記憶領域から取得する取得処理と、
時刻と第2値との対応関係を示す表である対応表を参照して、前記取得処理により取得された第2データごとに、第2データに示されている第2値に対応する時刻を特定し、特定した時刻と、第2データに示されている第1値とを示す第1データを生成し、生成した複数の第1データを出力する出力処理と
を実行させる。
The data utilization program according to one aspect of the present invention is
On the computer
An acquisition process for acquiring a plurality of second data indicating a first value and a second value that is a value uniquely corresponding to the time when the first value is obtained from an external storage area.
With reference to the correspondence table, which is a table showing the correspondence between the time and the second value, for each second data acquired by the acquisition process, the time corresponding to the second value shown in the second data is set. The first data indicating the specified time and the first value shown in the second data is generated, and the output process for outputting the generated plurality of first data is executed.

本発明によれば、時間的な順序性をなくした形式で時系列データを格納し、利用時に再構成することができる。その結果、時系列データの保管にかかるコストおよび手間を軽減しつつ、データ漏洩時の被害を縮小することができる。 According to the present invention, time series data can be stored in a format without temporal order and reconstructed at the time of use. As a result, it is possible to reduce the damage at the time of data leakage while reducing the cost and labor required for storing the time series data.

実施の形態1に係るデータ管理システムの構成を示すブロック図。The block diagram which shows the structure of the data management system which concerns on Embodiment 1. FIG. 実施の形態1に係るサーバ装置のハードウェア構成例を示すブロック図。The block diagram which shows the hardware configuration example of the server apparatus which concerns on Embodiment 1. FIG. 実施の形態1に係るデータ利用装置のハードウェア構成例を示すブロック図。The block diagram which shows the hardware configuration example of the data utilization apparatus which concerns on Embodiment 1. FIG. 実施の形態1に係るサーバ装置の動作を示すフローチャート。The flowchart which shows the operation of the server apparatus which concerns on Embodiment 1. 実施の形態1に係るデータ利用装置の動作を示すフローチャート。The flowchart which shows the operation of the data utilization apparatus which concerns on Embodiment 1. 実施の形態2に係るデータ管理システムの構成を示すブロック図。The block diagram which shows the structure of the data management system which concerns on Embodiment 2. 実施の形態2に係るデータ利用装置のタイムスタンプテーブルの例を示す表。The table which shows the example of the time stamp table of the data utilization apparatus which concerns on Embodiment 2. 実施の形態2に係るデータ利用装置の計測値テーブルの例を示す表。The table which shows the example of the measurement value table of the data utilization apparatus which concerns on Embodiment 2. 実施の形態2に係るデータ利用装置の動作を示すフローチャート。The flowchart which shows the operation of the data utilization apparatus which concerns on Embodiment 2. 実施の形態3に係るデータ管理システムの構成を示すブロック図。The block diagram which shows the structure of the data management system which concerns on Embodiment 3. 実施の形態4に係るデータ管理システムの構成を示すブロック図。The block diagram which shows the structure of the data management system which concerns on Embodiment 4. 実施の形態4に係るサーバ装置の動作を示すフローチャート。The flowchart which shows the operation of the server apparatus which concerns on Embodiment 4. 実施の形態4に係るデータ利用装置の動作を示すフローチャート。The flowchart which shows the operation of the data utilization apparatus which concerns on Embodiment 4.

以下、本発明の実施の形態について、図を用いて説明する。各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。なお、本発明は、以下に説明する実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。例えば、以下に説明する実施の形態のうち、2つ以上の実施の形態が組み合わせられて実施されても構わない。あるいは、以下に説明する実施の形態のうち、1つの実施の形態または2つ以上の実施の形態の組み合わせが部分的に実施されても構わない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In each figure, the same or corresponding parts are designated by the same reference numerals. In the description of the embodiment, the description will be omitted or simplified as appropriate for the same or corresponding parts. The present invention is not limited to the embodiments described below, and various modifications can be made as needed. For example, among the embodiments described below, two or more embodiments may be combined and implemented. Alternatively, of the embodiments described below, one embodiment or a combination of two or more embodiments may be partially implemented.

実施の形態1.
本実施の形態について、図1から図5を用いて説明する。
Embodiment 1.
The present embodiment will be described with reference to FIGS. 1 to 5.

***構成の説明***
図1を参照して、本実施の形態に係るデータ管理システム700の構成を説明する。
*** Explanation of configuration ***
The configuration of the data management system 700 according to the present embodiment will be described with reference to FIG.

データ管理システム700は、サーバ装置100と、オブジェクトストレージ150と、データ利用装置200と、センサーデバイス300とを備える。サーバ装置100、オブジェクトストレージ150およびデータ利用装置200は、少なくとも1台ずつあればよい。センサーデバイス300は、少なくとも1台あればよいが、本実施の形態では、複数台ある。 The data management system 700 includes a server device 100, an object storage 150, a data utilization device 200, and a sensor device 300. The server device 100, the object storage 150, and the data utilization device 200 may be at least one each. At least one sensor device 300 may be used, but in the present embodiment, there are a plurality of sensor devices 300.

サーバ装置100と、オブジェクトストレージ150と、データ利用装置200と、センサーデバイス300は、インターネット400に接続されている。インターネット400は、LANまたはWAN等、他の種類のネットワークに置き換えられてもよい。「LAN」は、Local Area Networkの略語である。「WAN」は、Wide Area Networkの略語である。 The server device 100, the object storage 150, the data utilization device 200, and the sensor device 300 are connected to the Internet 400. The Internet 400 may be replaced by other types of networks such as LAN or WAN. "LAN" is an abbreviation for Local Area Network. "WAN" is an abbreviation for Wide Area Network.

センサーデバイス300は、計測値を周期的にインターネット400経由でサーバ装置100に送信するデバイスである。サーバ装置100への送信は、ゲートウェイまたはエッジデバイスを介して行われてもよい。計測値は、例えば、温度等の環境計測値、または、産業機器を計測対象として計測値である。センサーデバイス300は、何らかの時系列データを送信する他の種類のデバイスに置き換えられてもよい。 The sensor device 300 is a device that periodically transmits the measured value to the server device 100 via the Internet 400. Transmission to the server device 100 may be via a gateway or edge device. The measured value is, for example, an environmental measured value such as temperature, or a measured value for an industrial device as a measurement target. The sensor device 300 may be replaced by another type of device that transmits some time series data.

サーバ装置100は、任意のコンピュータでよいが、本実施の形態では、クラウド基盤を提供するサーバコンピュータである。クラウド基盤は、例えば、プライベートクラウドまたはパブリッククラウドである。 The server device 100 may be any computer, but in the present embodiment, it is a server computer that provides a cloud platform. The cloud infrastructure is, for example, a private cloud or a public cloud.

サーバ装置100は、機能要素として、取得処理部101と、混合処理部102と、格納処理部103と、デバイス管理部104とを備える。 The server device 100 includes an acquisition processing unit 101, a mixing processing unit 102, a storage processing unit 103, and a device management unit 104 as functional elements.

取得処理部101は、ストリーム処理を行う。具体的には、取得処理部101は、リアルタイムでデータを受信する。取得処理部101は、受信データを一定期間保持する。保持データに対する処理実行およびデータ出力が可能である。 The acquisition processing unit 101 performs stream processing. Specifically, the acquisition processing unit 101 receives data in real time. The acquisition processing unit 101 holds the received data for a certain period of time. It is possible to execute processing and output data for retained data.

混合処理部102は、データ順序混合処理を行う。具体的には、混合処理部102は、センサーデバイス300からの時系列データをタイムスタンプと計測値とに分離する。混合処理部102は、タイムスタンプを記録したファイルであるタイムスタンプファイル601を生成する。また、混合処理部102は、デバイスIDと計測値とを記録したファイルであり、計測値の順序を無作為に入れ替えた計測値ファイル602を生成する。「ID」は、Identifierの略語である。 The mixing processing unit 102 performs data order mixing processing. Specifically, the mixing processing unit 102 separates the time series data from the sensor device 300 into a time stamp and a measured value. The mixing processing unit 102 generates a time stamp file 601 which is a file in which the time stamp is recorded. Further, the mixing processing unit 102 is a file in which the device ID and the measured value are recorded, and generates the measured value file 602 in which the order of the measured values is randomly changed. "ID" is an abbreviation for Identifier.

格納処理部103は、混合処理部102が生成したタイムスタンプファイル601と計測値ファイル602とをオブジェクトストレージ150に格納する。 The storage processing unit 103 stores the time stamp file 601 and the measurement value file 602 generated by the mixing processing unit 102 in the object storage 150.

デバイス管理部104は、センサーデバイス300の識別管理を行う。具体的には、デバイス管理部104は、取得処理部101が受信したデータとセンサーデバイス300とを紐付ける情報の管理を行う。 The device management unit 104 manages the identification of the sensor device 300. Specifically, the device management unit 104 manages information for associating the data received by the acquisition processing unit 101 with the sensor device 300.

オブジェクトストレージ150は、インターネット400経由でアクセス可能なクラウド上のストレージである。オブジェクトストレージ150に対しては、URLとアクセスキーとによりデータアクセスが行われる。「URL」は、Uniform Resource Locatorの略語である。オブジェクトストレージ150は、サーバ装置100に内蔵されていてもよい。 The object storage 150 is a storage on the cloud that can be accessed via the Internet 400. Data access is performed to the object storage 150 by the URL and the access key. "URL" is an abbreviation for Uniform Resource Locator. The object storage 150 may be built in the server device 100.

データ利用装置200は、任意のコンピュータでよいが、本実施の形態では、データ利用拠点に設置されるパーソナルコンピュータである。データ利用拠点は、センサーデバイス300からの時系列データを利用してデータ分析等を行う拠点である。 The data utilization device 200 may be any computer, but in the present embodiment, it is a personal computer installed at the data utilization base. The data use base is a base for performing data analysis and the like using time series data from the sensor device 300.

データ利用装置200は、機能要素として、取得処理部201と、出力処理部202とを備える。 The data utilization device 200 includes an acquisition processing unit 201 and an output processing unit 202 as functional elements.

取得処理部201は、オブジェクトストレージ150から必要なタイムスタンプファイル601と計測値ファイル602とを取得する。 The acquisition processing unit 201 acquires the necessary time stamp file 601 and the measured value file 602 from the object storage 150.

出力処理部202は、データ順序復元処理を行う。具体的には、出力処理部202は、タイムスタンプファイル601と計測値ファイル602とから、タイムスタンプ、デバイスIDおよび計測値が記録されたファイルである時系列データファイル603を生成する。 The output processing unit 202 performs data order restoration processing. Specifically, the output processing unit 202 generates a time-series data file 603, which is a file in which the time stamp, the device ID, and the measured value are recorded, from the time stamp file 601 and the measured value file 602.

図2を参照して、サーバ装置100のハードウェア構成例を説明する。 A hardware configuration example of the server device 100 will be described with reference to FIG.

サーバ装置100は、プロセッサ111を備えるとともに、メモリ112、補助記憶装置113、通信装置114、入力機器115およびディスプレイ116といった他のハードウェアを備える。プロセッサ111は、信号線117を介して他のハードウェアと接続され、これら他のハードウェアを制御する。 The server device 100 includes a processor 111 and other hardware such as a memory 112, an auxiliary storage device 113, a communication device 114, an input device 115, and a display 116. The processor 111 is connected to other hardware via the signal line 117 and controls these other hardware.

サーバ装置100の取得処理部101、混合処理部102、格納処理部103およびデバイス管理部104の機能は、ソフトウェアにより実現される。 The functions of the acquisition processing unit 101, the mixing processing unit 102, the storage processing unit 103, and the device management unit 104 of the server device 100 are realized by software.

プロセッサ111は、サーバプログラムを実行する装置である。サーバプログラムは、取得処理部101、混合処理部102、格納処理部103およびデバイス管理部104の機能を実現するプログラムである。プロセッサ111は、例えば、CPUである。「CPU」は、Central Processing Unitの略語である。 The processor 111 is a device that executes a server program. The server program is a program that realizes the functions of the acquisition processing unit 101, the mixing processing unit 102, the storage processing unit 103, and the device management unit 104. The processor 111 is, for example, a CPU. "CPU" is an abbreviation for Central Processing Unit.

メモリ112および補助記憶装置113は、サーバプログラムを記憶する装置である。メモリ112は、例えば、フラッシュメモリまたはRAMである。「RAM」は、Random Access Memoryの略語である。補助記憶装置113は、例えば、フラッシュメモリまたはHDDである。「HDD」は、Hard Disk Driveの略語である。 The memory 112 and the auxiliary storage device 113 are devices for storing the server program. The memory 112 is, for example, a flash memory or RAM. "RAM" is an abbreviation for Random Access Memory. The auxiliary storage device 113 is, for example, a flash memory or an HDD. "HDD" is an abbreviation for Hard Disk Drive.

通信装置114は、サーバプログラムに入力されるデータを受信するレシーバ118と、サーバプログラムから出力されるデータを送信するトランスミッタ119とを含む。通信装置114は、例えば、通信チップまたはNICである。「NIC」は、Network Interface Cardの略語である。 The communication device 114 includes a receiver 118 that receives data input to the server program and a transmitter 119 that transmits data output from the server program. The communication device 114 is, for example, a communication chip or a NIC. "NIC" is an abbreviation for Network Interface Card.

入力機器115は、サーバプログラムへのデータの入力のために操作される機器である。入力機器115は、例えば、マウス、キーボードまたはタッチパネルである。 The input device 115 is a device operated for inputting data to the server program. The input device 115 is, for example, a mouse, a keyboard, or a touch panel.

ディスプレイ116は、サーバプログラムから出力されるデータを画面に表示する機器である。ディスプレイ116は、例えば、LCDである。「LCD」は、Liquid Crystal Displayの略語である。 The display 116 is a device that displays data output from the server program on the screen. The display 116 is, for example, an LCD. "LCD" is an abbreviation for Liquid Crystal Display.

サーバプログラムは、補助記憶装置113からメモリ112にロードされ、プロセッサ111によって実行される。補助記憶装置113には、サーバプログラムだけでなく、OSも記憶されている。「OS」は、Operating Systemの略語である。プロセッサ111は、OSを実行しながら、サーバプログラムを実行する。なお、サーバプログラムの一部または全部がOSに組み込まれていてもよい。 The server program is loaded from the auxiliary storage 113 into the memory 112 and executed by the processor 111. The auxiliary storage device 113 stores not only the server program but also the OS. "OS" is an abbreviation for Operating System. The processor 111 executes the server program while executing the OS. A part or all of the server program may be incorporated in the OS.

サーバ装置100は、プロセッサ111を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、サーバプログラムの実行を分担する。それぞれのプロセッサは、例えば、CPUである。 The server device 100 may include a plurality of processors that replace the processor 111. These plurality of processors share the execution of the server program. Each processor is, for example, a CPU.

サーバプログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ112、補助記憶装置113、または、プロセッサ111内のレジスタまたはキャッシュメモリに記憶される。 Data, information, signal values and variable values used, processed or output by the server program are stored in the memory 112, the auxiliary storage 113, or the register or cache memory in the processor 111.

サーバプログラムは、取得処理部101、混合処理部102、格納処理部103およびデバイス管理部104により行われる処理をそれぞれ取得処理、混合処理、格納処理およびデバイス管理処理としてコンピュータに実行させるプログラムである。サーバプログラムは、コンピュータ読取可能な媒体に記録されて提供されてもよいし、記録媒体に格納されて提供されてもよいし、プログラムプロダクトとして提供されてもよい。 The server program is a program that causes a computer to execute the processes performed by the acquisition processing unit 101, the mixing processing unit 102, the storage processing unit 103, and the device management unit 104 as acquisition processing, mixing processing, storage processing, and device management processing, respectively. The server program may be recorded and provided on a computer-readable medium, may be stored and provided on a recording medium, or may be provided as a program product.

サーバ装置100は、1台のコンピュータで構成されていてもよいし、複数台のコンピュータで構成されていてもよい。サーバ装置100が複数台のコンピュータで構成されている場合は、取得処理部101、混合処理部102、格納処理部103およびデバイス管理部104の機能が、各コンピュータに分散されて実現されてもよい。 The server device 100 may be composed of one computer or a plurality of computers. When the server device 100 is composed of a plurality of computers, the functions of the acquisition processing unit 101, the mixing processing unit 102, the storage processing unit 103, and the device management unit 104 may be distributed and realized in each computer. ..

図3を参照して、データ利用装置200のハードウェア構成例を説明する。 A hardware configuration example of the data utilization device 200 will be described with reference to FIG.

データ利用装置200は、プロセッサ211を備えるとともに、メモリ212、補助記憶装置213、通信装置214、入力機器215およびディスプレイ216といった他のハードウェアを備える。プロセッサ211は、信号線217を介して他のハードウェアと接続され、これら他のハードウェアを制御する。 The data utilization device 200 includes a processor 211 and other hardware such as a memory 212, an auxiliary storage device 213, a communication device 214, an input device 215, and a display 216. The processor 211 is connected to other hardware via the signal line 217 and controls these other hardware.

データ利用装置200の取得処理部201および出力処理部202の機能は、ソフトウェアにより実現される。 The functions of the acquisition processing unit 201 and the output processing unit 202 of the data utilization device 200 are realized by software.

プロセッサ211は、データ利用プログラムを実行する装置である。データ利用プログラムは、取得処理部201および出力処理部202の機能を実現するプログラムである。プロセッサ211は、例えば、CPUである。 The processor 211 is a device that executes a data utilization program. The data utilization program is a program that realizes the functions of the acquisition processing unit 201 and the output processing unit 202. The processor 211 is, for example, a CPU.

メモリ212および補助記憶装置213は、データ利用プログラムを記憶する装置である。メモリ212は、例えば、フラッシュメモリまたはRAMである。補助記憶装置213は、例えば、フラッシュメモリまたはHDDである。 The memory 212 and the auxiliary storage device 213 are devices for storing the data utilization program. The memory 212 is, for example, a flash memory or a RAM. The auxiliary storage device 213 is, for example, a flash memory or an HDD.

通信装置214は、データ利用プログラムに入力されるデータを受信するレシーバ218と、データ利用プログラムから出力されるデータを送信するトランスミッタ219とを含む。通信装置214は、例えば、通信チップまたはNICである。 The communication device 214 includes a receiver 218 that receives data input to the data utilization program and a transmitter 219 that transmits data output from the data utilization program. The communication device 214 is, for example, a communication chip or a NIC.

入力機器215は、データ利用プログラムへのデータの入力のために操作される機器である。入力機器215は、例えば、マウス、キーボードまたはタッチパネルである。 The input device 215 is a device operated for inputting data into the data utilization program. The input device 215 is, for example, a mouse, a keyboard, or a touch panel.

ディスプレイ216は、データ利用プログラムから出力されるデータを画面に表示する機器である。ディスプレイ216は、例えば、LCDである。 The display 216 is a device that displays the data output from the data utilization program on the screen. The display 216 is, for example, an LCD.

データ利用プログラムは、補助記憶装置213からメモリ212にロードされ、プロセッサ211によって実行される。補助記憶装置213には、データ利用プログラムだけでなく、OSも記憶されている。プロセッサ211は、OSを実行しながら、データ利用プログラムを実行する。なお、データ利用プログラムの一部または全部がOSに組み込まれていてもよい。 The data utilization program is loaded from the auxiliary storage device 213 into the memory 212 and executed by the processor 211. The auxiliary storage device 213 stores not only the data utilization program but also the OS. The processor 211 executes a data utilization program while executing the OS. A part or all of the data utilization program may be incorporated in the OS.

データ利用装置200は、プロセッサ211を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、データ利用プログラムの実行を分担する。それぞれのプロセッサは、例えば、CPUである。 The data utilization device 200 may include a plurality of processors that replace the processor 211. These plurality of processors share the execution of the data utilization program. Each processor is, for example, a CPU.

データ利用プログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ212、補助記憶装置213、または、プロセッサ211内のレジスタまたはキャッシュメモリに記憶される。 The data, information, signal values and variable values used, processed or output by the data utilization program are stored in the memory 212, the auxiliary storage device 213, or the register or cache memory in the processor 211.

データ利用プログラムは、取得処理部201および出力処理部202により行われる処理をそれぞれ取得処理および出力処理としてコンピュータに実行させるプログラムである。データ利用プログラムは、コンピュータ読取可能な媒体に記録されて提供されてもよいし、記録媒体に格納されて提供されてもよいし、プログラムプロダクトとして提供されてもよい。 The data utilization program is a program that causes a computer to execute the processes performed by the acquisition processing unit 201 and the output processing unit 202 as acquisition processing and output processing, respectively. The data utilization program may be recorded and provided on a computer-readable medium, may be stored and provided on a recording medium, or may be provided as a program product.

データ利用装置200は、1台のコンピュータで構成されていてもよいし、複数台のコンピュータで構成されていてもよい。データ利用装置200が複数台のコンピュータで構成されている場合は、取得処理部201および出力処理部202の機能が、各コンピュータに分散されて実現されてもよい。 The data utilization device 200 may be composed of one computer or a plurality of computers. When the data utilization device 200 is composed of a plurality of computers, the functions of the acquisition processing unit 201 and the output processing unit 202 may be distributed and realized in each computer.

***動作の説明***
図1のほかに、図4および図5を参照して、本実施の形態に係るデータ管理システム700の動作を説明する。データ管理システム700の動作は、本実施の形態に係るデータ管理方法に相当する。
*** Explanation of operation ***
In addition to FIG. 1, the operation of the data management system 700 according to the present embodiment will be described with reference to FIGS. 4 and 5. The operation of the data management system 700 corresponds to the data management method according to the present embodiment.

データ管理システム700の動作は、データ格納フェーズと、再構成フェーズとからなる。 The operation of the data management system 700 includes a data storage phase and a reconstruction phase.

データ格納フェーズは、サーバ装置100が時系列データを変換してオブジェクトストレージ150に格納するフェーズである。再構成フェーズは、データ利用装置200がオブジェクトストレージ150のデータから利用可能な時系列データを再構成するフェーズである。 The data storage phase is a phase in which the server device 100 converts time-series data and stores it in the object storage 150. The reconstruction phase is a phase in which the data utilization device 200 reconstructs available time-series data from the data in the object storage 150.

データ格納フェーズでは、取得処理部101が、センサーデバイス300からの計測値をストリーム処理で受信し、1分ごとのような、ある一定周期ごとに、時系列データをデータ順序混合処理に渡す。各周期は、記録時間ウィンドウとして識別される。データ順序混合処理では、混合処理部102が、時系列データを変換し、結果をタイムスタンプファイル601と計測値ファイル602とに出力する。その後、格納処理部103が、オブジェクトストレージ150にタイムスタンプファイル601と計測値ファイル602とを書き込む。 In the data storage phase, the acquisition processing unit 101 receives the measured value from the sensor device 300 by stream processing, and passes the time series data to the data order mixing process at regular intervals such as every minute. Each cycle is identified as a recording time window. In the data order mixing process, the mixing process unit 102 converts the time series data and outputs the result to the time stamp file 601 and the measured value file 602. After that, the storage processing unit 103 writes the time stamp file 601 and the measurement value file 602 to the object storage 150.

データ順序混合処理のフローを図4に示す。 The flow of the data order mixing process is shown in FIG.

データ順序混合処理の開始前に、取得処理部101は、時刻と、当該時刻に得られた値である第1値とをそれぞれ示す複数の第1データを取得する。第1データは、本実施の形態では、センサーデバイス300からのセンサーデータに含まれる1件1件のレコードである。時刻は、本実施の形態では、タイムスタンプの形式で示される。第1値は、本実施の形態では、計測値である。 Before starting the data sequence mixing process, the acquisition processing unit 101 acquires a plurality of first data indicating the time and the first value which is the value obtained at the time. In the present embodiment, the first data is a record for each case included in the sensor data from the sensor device 300. The time is indicated in the form of a time stamp in this embodiment. The first value is a measured value in the present embodiment.

本実施の形態では、取得処理部101は、それぞれの第1データとして、時刻と、当該時刻に得られた第1値とともに、当該時刻に当該第1値を得たセンサーデバイス300を一意に識別するデバイスIDを示すデータを取得する。 In the present embodiment, the acquisition processing unit 101 uniquely identifies the time, the first value obtained at the time, and the sensor device 300 that obtained the first value at the time as the first data of each. Acquires data indicating the device ID to be used.

ステップS11において、混合処理部102には、取得処理部101から記録時間ウィンドウ単位で複数のセンサーデータが入力される。 In step S11, a plurality of sensor data are input to the mixing processing unit 102 from the acquisition processing unit 101 in units of recording time windows.

ステップS12において、混合処理部102は、センサーデータからレコードを1件取り出す。レコードには、タイムスタンプ、デバイスIDおよび1つまたは複数の計測値のデータが含まれる。タイムスタンプは、計測時刻に相当する。デバイスIDは、計測を行ったセンサーデバイス300の識別子に相当する。 In step S12, the mixing processing unit 102 retrieves one record from the sensor data. The record contains data for time stamps, device IDs and one or more measurements. The time stamp corresponds to the measurement time. The device ID corresponds to the identifier of the sensor device 300 that performed the measurement.

ステップS13において、混合処理部102は、レコードのタイムスタンプとデバイスIDとに対してハッシュ処理を行い、ハッシュ値を算出する。 In step S13, the mixing processing unit 102 performs hash processing on the time stamp of the record and the device ID, and calculates the hash value.

ステップS14において、混合処理部102は、ハッシュ値とデバイスID、計測値および記録時間ウィンドウIDとの組をレコードとして、計測値バッファに追加する。記録時間ウィンドウIDは、記録時間ウィンドウを一意に識別するIDである。計測値バッファは、メモリ112上に確保される。 In step S14, the mixing processing unit 102 adds the set of the hash value, the device ID, the measured value, and the recording time window ID as a record to the measured value buffer. The recording time window ID is an ID that uniquely identifies the recording time window. The measurement value buffer is secured on the memory 112.

ステップS15において、混合処理部102は、タイムスタンプバッファにレコードのタイムスタンプ値が存在しない場合、タイムスタンプバッファに追加する。タイムスタンプバッファは、メモリ112上に確保される。 In step S15, if the time stamp value of the record does not exist in the time stamp buffer, the mixing processing unit 102 adds it to the time stamp buffer. The time stamp buffer is secured on the memory 112.

ステップS16において、混合処理部102は、未処理のセンサーデータのレコードがある場合はステップS12からステップS15の処理を繰り返す。すべてのレコードの処理が完了した場合はステップS17に進む。 In step S16, the mixing processing unit 102 repeats the processing of steps S12 to S15 when there is a record of unprocessed sensor data. When the processing of all the records is completed, the process proceeds to step S17.

ステップS17において、混合処理部102は、計測値バッファの内容をレコードの順番を乱数等により無作為に入れ替えて、計測値ファイル602に出力する。 In step S17, the mixing processing unit 102 randomly changes the order of the records in the measurement value buffer by a random number or the like, and outputs the contents to the measurement value file 602.

ステップS18において、混合処理部102は、タイムスタンプバッファの内容を、タイムスタンプと記録時間ウィンドウIDとの組をレコードにした形式でタイムスタンプファイル601に出力する。 In step S18, the mixing processing unit 102 outputs the contents of the time stamp buffer to the time stamp file 601 in the form of a record of a set of the time stamp and the recording time window ID.

このように、データ順序混合処理において、混合処理部102は、取得処理部101により取得された第1データごとに、第1データに示されている第1値と、第1データに示されている時刻に一意に対応する値である第2値とを示す第2データを生成する。第2データは、本実施の形態では、計測値バッファに格納される1件1件のレコードである。第2値は、本実施の形態では、ハッシュ値である。混合処理部102は、生成した複数の第2データを、それぞれの第2データに示されている第1値が得られた時刻の順序とは別の順序で並べる。 As described above, in the data sequence mixing process, the mixing processing unit 102 shows the first value shown in the first data and the first data for each first data acquired by the acquisition processing unit 101. Second data indicating a second value, which is a value uniquely corresponding to a certain time, is generated. In the present embodiment, the second data is a record for each case stored in the measurement value buffer. The second value is a hash value in the present embodiment. The mixing processing unit 102 arranges the generated second data in an order different from the order of the time when the first value shown in each second data is obtained.

本実施の形態では、混合処理部102は、取得処理部101により取得された第1データごとに、第2データに示される第2値として、第1データに示されている時刻およびデバイスIDの組に一意に対応する値を生成する。具体的には、混合処理部102は、取得処理部101により取得された第1データごとに、第2データに示される第2値として、ハッシュ値を算出する。 In the present embodiment, the mixing processing unit 102 sets the time and device ID shown in the first data as the second value shown in the second data for each first data acquired by the acquisition processing unit 101. Generate a value that corresponds uniquely to the pair. Specifically, the mixing processing unit 102 calculates a hash value as a second value shown in the second data for each first data acquired by the acquisition processing unit 101.

データ順序混合処理の終了後に、格納処理部103は、混合処理部102により並べられた複数の第2データを、外部からアクセスされる記憶領域に格納する。記憶領域は、本実施の形態では、オブジェクトストレージ150に確保される。複数の第2データは、本実施の形態では、計測値ファイル602の形式で格納される。 After the data sequence mixing process is completed, the storage processing unit 103 stores a plurality of second data arranged by the mixing processing unit 102 in a storage area accessed from the outside. The storage area is secured in the object storage 150 in the present embodiment. In the present embodiment, the plurality of second data are stored in the format of the measurement value file 602.

本実施の形態では、格納処理部103は、取得処理部101により取得された複数の第1データに示されている時刻を、それぞれの第1データに示されている第1値から切り離された形で記憶領域に書き込む。複数の第1データに示されている時刻は、本実施の形態では、タイムスタンプファイル601の形式で書き込まれる。 In the present embodiment, the storage processing unit 103 separates the times shown in the plurality of first data acquired by the acquisition processing unit 101 from the first values shown in the respective first data. Write to the storage area in the form. In the present embodiment, the times shown in the plurality of first data are written in the format of the time stamp file 601.

再構成フェーズでは、取得処理部201が、オブジェクトストレージ150から必要なタイムスタンプファイル601と計測値ファイル602とを取り出し、データ順序復元処理に渡す。データ順序復元処理では、出力処理部202が、タイムスタンプファイル601と計測値ファイル602とから時系列データを復元し、時系列データファイル603に出力する。 In the reconstruction phase, the acquisition processing unit 201 extracts the necessary time stamp file 601 and the measured value file 602 from the object storage 150 and passes them to the data order restoration process. In the data order restoration process, the output processing unit 202 restores the time series data from the time stamp file 601 and the measured value file 602, and outputs the time series data to the time series data file 603.

データ順序復元処理のフローを図5に示す。 The flow of the data order restoration process is shown in FIG.

データ順序復元処理の開始前に、取得処理部201は、第1値と、当該第1値が得られた時刻に一意に対応する値である第2値とをそれぞれ示す複数の第2データを外部の記憶領域から取得する。前述したように、記憶領域は、本実施の形態では、オブジェクトストレージ150に確保される。第2データは、本実施の形態では、計測値ファイル602に含まれる1件1件のレコードである。第1値は、本実施の形態では、計測値である。第2値は、本実施の形態では、ハッシュ値である。 Prior to the start of the data order restoration process, the acquisition processing unit 201 receives a plurality of second data indicating the first value and the second value which is a value uniquely corresponding to the time when the first value is obtained. Obtained from an external storage area. As described above, the storage area is secured in the object storage 150 in the present embodiment. The second data is, in the present embodiment, one record for each case included in the measurement value file 602. The first value is a measured value in the present embodiment. The second value is a hash value in the present embodiment.

本実施の形態では、取得処理部201は、それぞれの第2データに示される第2値として、それぞれの第2データに示される第1値が得られた時刻および当該時刻に当該第1値を得たセンサーデバイス300を一意に識別するデバイスIDの組に一意に対応する値を取得する。具体的には、取得処理部201は、それぞれの第2データに示される第2値として、ハッシュ値を取得する。 In the present embodiment, the acquisition processing unit 201 sets the first value as the second value shown in the second data at the time when the first value shown in the second data is obtained and at the time. A value uniquely corresponding to the set of device IDs that uniquely identifies the obtained sensor device 300 is acquired. Specifically, the acquisition processing unit 201 acquires a hash value as the second value shown in the respective second data.

また、本実施の形態では、取得処理部201は、取得した複数の第2データに示されている第1値が得られた時刻を記憶領域から読み取る。前述したように、時刻は、本実施の形態では、タイムスタンプの形式でタイムスタンプファイル601に書き込まれている。 Further, in the present embodiment, the acquisition processing unit 201 reads from the storage area the time when the first value shown in the acquired plurality of second data is obtained. As described above, in the present embodiment, the time is written in the time stamp file 601 in the form of a time stamp.

ステップS21において、出力処理部202には、取得処理部201からタイムスタンプファイル601と計測値ファイル602とが入力される。 In step S21, the time stamp file 601 and the measurement value file 602 are input to the output processing unit 202 from the acquisition processing unit 201.

ステップS22において、出力処理部202は、計測値ファイル602のデータから、データで使用されているデバイスIDをすべて抽出する。 In step S22, the output processing unit 202 extracts all the device IDs used in the data from the data of the measurement value file 602.

ステップS23において、出力処理部202は、タイムスタンプファイル601のタイムスタンプ値とステップS22で抽出したデバイスIDとのすべての組み合わせに対するハッシュ処理を行い、タイムスタンプ値およびデバイスIDとハッシュ値との組をレコードとするハッシュ値テーブルを作成する。 In step S23, the output processing unit 202 performs hash processing on all combinations of the time stamp value of the time stamp file 601 and the device ID extracted in step S22, and sets the time stamp value and the set of the device ID and the hash value. Create a hash value table as a record.

ステップS24において、出力処理部202は、計測値ファイル602のデータからレコードを1件取り出す。 In step S24, the output processing unit 202 retrieves one record from the data of the measurement value file 602.

ステップS25において、出力処理部202は、レコードのハッシュ値およびデバイスIDとステップS23で作成したハッシュ値テーブルとを突き合わせて、ハッシュ値およびデバイスIDが一致したタイムスタンプを特定する。 In step S25, the output processing unit 202 matches the hash value and device ID of the record with the hash value table created in step S23, and identifies a time stamp in which the hash value and device ID match.

ステップS26において、出力処理部202は、ステップS25で特定したタイムスタンプとレコードのデバイスIDおよび計測値との組をレコードとして時系列データファイル603に出力する。 In step S26, the output processing unit 202 outputs the set of the time stamp specified in step S25, the device ID of the record, and the measured value as a record to the time series data file 603.

ステップS27において、出力処理部202は、未処理の計測値ファイル602のレコードがある場合はステップS24からステップS26の処理を繰り返す。すべてのレコードの処理が完了した場合に終了となる。 In step S27, the output processing unit 202 repeats the processing of steps S24 to S26 when there is a record of the unprocessed measurement value file 602. It ends when the processing of all records is completed.

このように、データ順序復元処理において、出力処理部202は、時刻と第2値との対応関係を示す表である対応表を参照して、取得処理部201により取得された第2データごとに、第2データに示されている第2値に対応する時刻を特定し、特定した時刻と、第2データに示されている第1値とを示す第1データを生成する。これにより、出力処理部202は、サーバ装置100により取得された複数の第1データを復元する。対応表は、本実施の形態では、ハッシュ値テーブルである。複数の第1データは、本実施の形態では、時系列データファイル603の形式で復元される。出力処理部202は、復元した複数の第1データを出力する。 As described above, in the data order restoration processing, the output processing unit 202 refers to the correspondence table, which is a table showing the correspondence between the time and the second value, for each second data acquired by the acquisition processing unit 201. , The time corresponding to the second value shown in the second data is specified, and the first data indicating the specified time and the first value shown in the second data is generated. As a result, the output processing unit 202 restores the plurality of first data acquired by the server device 100. The correspondence table is a hash value table in the present embodiment. The plurality of first data are restored in the format of the time series data file 603 in the present embodiment. The output processing unit 202 outputs a plurality of restored first data.

本実施の形態では、出力処理部202は、対応表として、時刻およびデバイスIDの組と第2値との対応関係を示す表を参照して、取得処理部201により取得された第2データごとに、第2データに示されている第2値に対応する時刻およびデバイスIDの組を特定する。出力処理部202は、第1データとして、特定した時刻と、第2データに示されている第1値とともに、特定したデバイスIDを示すデータを生成する。 In the present embodiment, the output processing unit 202 refers to a table showing the correspondence between the time and device ID set and the second value as a correspondence table, and for each second data acquired by the acquisition processing unit 201. The time and device ID set corresponding to the second value shown in the second data is specified. The output processing unit 202 generates data indicating the specified device ID as the first data together with the specified time and the first value shown in the second data.

また、本実施の形態では、出力処理部202は、取得処理部201により読み取られた時刻に対応するハッシュ値を第2値として算出することで対応表を生成する。 Further, in the present embodiment, the output processing unit 202 generates a correspondence table by calculating the hash value corresponding to the time read by the acquisition processing unit 201 as the second value.

***実施の形態の効果の説明***
本実施の形態によれば、時間的な順序性をなくした形式で時系列データを格納し、利用時に再構成することができる。その結果、時系列データの保管にかかるコストおよび手間を軽減しつつ、データ漏洩時の被害を縮小することができる。
*** Explanation of the effect of the embodiment ***
According to this embodiment, time-series data can be stored in a format that is not in order in time and can be reconstructed at the time of use. As a result, it is possible to reduce the damage at the time of data leakage while reducing the cost and labor required for storing the time series data.

本実施の形態では、タイムスタンプファイル601と計測値ファイル602との組が漏洩しても、時系列データとしての情報は欠落していないが、そのまま参照しても時間的な順序に関する情報は得られないため、データの価値が低減し、被害を縮小できる。 In the present embodiment, even if the pair of the time stamp file 601 and the measured value file 602 is leaked, the information as time series data is not lost, but the information on the temporal order can be obtained even if it is referred to as it is. Therefore, the value of the data can be reduced and the damage can be reduced.

本実施の形態では、タイムスタンプファイル601と計測値ファイル602との組だけで復号可能なため、データ収集側とデータ利用側での連携処理が不要となる。 In the present embodiment, since the decryption can be performed only by the combination of the time stamp file 601 and the measurement value file 602, the cooperation processing between the data collection side and the data use side becomes unnecessary.

本実施の形態では、データ暗号化と違い、暗号キーの管理が不要となる。 In the present embodiment, unlike data encryption, it is not necessary to manage the encryption key.

本実施の形態では、復号しなくても計測値は利用可能なため、平均、分散、最大または最小等の統計基本量のような順序に関係ない分析はそのまま実行可能となる。 In the present embodiment, since the measured values can be used without decoding, analysis regardless of the order such as statistical basic quantities such as mean, variance, maximum or minimum can be performed as it is.

***他の構成***
本実施の形態では、サーバ装置100の取得処理部101、混合処理部102、格納処理部103およびデバイス管理部104の機能がソフトウェアにより実現されるが、変形例として、取得処理部101、混合処理部102、格納処理部103およびデバイス管理部104の機能が専用のハードウェアにより実現されてもよい。
*** Other configurations ***
In the present embodiment, the functions of the acquisition processing unit 101, the mixing processing unit 102, the storage processing unit 103, and the device management unit 104 of the server device 100 are realized by software, but as a modification, the acquisition processing unit 101 and the mixing process The functions of the unit 102, the storage processing unit 103, and the device management unit 104 may be realized by dedicated hardware.

専用のハードウェアは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA、FPGAまたはASICである。「IC」は、Integrated Circuitの略語である。「GA」は、Gate Arrayの略語である。「FPGA」は、Field−Programmable Gate Arrayの略語である。「ASIC」は、Application Specific Integrated Circuitの略語である。 Dedicated hardware is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA, an FPGA or an ASIC. "IC" is an abbreviation for Integrated Circuit. "GA" is an abbreviation for Gate Array. "FPGA" is an abbreviation for Field-Programmable Gate Array. "ASIC" is an abbreviation for Application Special Integrated Circuit.

別の変形例として、取得処理部101、混合処理部102、格納処理部103およびデバイス管理部104の機能がソフトウェアとハードウェアとの組み合わせにより実現されてもよい。すなわち、取得処理部101、混合処理部102、格納処理部103およびデバイス管理部104の機能の一部が専用のハードウェアにより実現され、残りがソフトウェアにより実現されてもよい。 As another modification, the functions of the acquisition processing unit 101, the mixing processing unit 102, the storage processing unit 103, and the device management unit 104 may be realized by a combination of software and hardware. That is, a part of the functions of the acquisition processing unit 101, the mixing processing unit 102, the storage processing unit 103, and the device management unit 104 may be realized by dedicated hardware, and the rest may be realized by software.

プロセッサ111および専用のハードウェアは、いずれも処理回路である。すなわち、サーバ装置100のハードウェア構成に関わらず、取得処理部101、混合処理部102、格納処理部103およびデバイス管理部104の動作は、処理回路により行われる。 Both the processor 111 and the dedicated hardware are processing circuits. That is, regardless of the hardware configuration of the server device 100, the operations of the acquisition processing unit 101, the mixing processing unit 102, the storage processing unit 103, and the device management unit 104 are performed by the processing circuit.

本実施の形態では、データ利用装置200の取得処理部201および出力処理部202の機能もソフトウェアにより実現されるが、変形例として、取得処理部201および出力処理部202の機能が専用のハードウェアにより実現されてもよい。 In the present embodiment, the functions of the acquisition processing unit 201 and the output processing unit 202 of the data utilization device 200 are also realized by software, but as a modification, the functions of the acquisition processing unit 201 and the output processing unit 202 are dedicated hardware. May be realized by.

専用のハードウェアは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA、FPGAまたはASICである。 Dedicated hardware is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA, an FPGA or an ASIC.

別の変形例として、取得処理部201および出力処理部202の機能がソフトウェアとハードウェアとの組み合わせにより実現されてもよい。すなわち、取得処理部201および出力処理部202の機能の一部が専用のハードウェアにより実現され、残りがソフトウェアにより実現されてもよい。 As another modification, the functions of the acquisition processing unit 201 and the output processing unit 202 may be realized by a combination of software and hardware. That is, a part of the functions of the acquisition processing unit 201 and the output processing unit 202 may be realized by dedicated hardware, and the rest may be realized by software.

プロセッサ211および専用のハードウェアは、いずれも処理回路である。すなわち、データ利用装置200のハードウェア構成に関わらず、取得処理部201および出力処理部202の動作は、処理回路により行われる。 The processor 211 and the dedicated hardware are both processing circuits. That is, regardless of the hardware configuration of the data utilization device 200, the operations of the acquisition processing unit 201 and the output processing unit 202 are performed by the processing circuit.

実施の形態2.
本実施の形態について、主に実施の形態1との差異を、図6から図9を用いて説明する。
Embodiment 2.
The differences between the present embodiment and the first embodiment will be mainly described with reference to FIGS. 6 to 9.

***構成の説明***
図6を参照して、本実施の形態に係るデータ管理システム700の構成を説明する。
*** Explanation of configuration ***
The configuration of the data management system 700 according to the present embodiment will be described with reference to FIG.

本実施の形態では、時系列データ利用の際に、個別に時系列データを再構成するのではなく、データをRDBに格納して、DB処理を利用して時系列データを再構成する。「RDB」は、Relational Databaseの略語である。「DB」は、Databaseの略語である。 In the present embodiment, when the time series data is used, the time series data is not individually reconstructed, but the data is stored in the RDB and the time series data is reconstructed by using the DB processing. "RDB" is an abbreviation for Relational Database. "DB" is an abbreviation for Database.

データ管理システム700は、実施の形態1と同様に、サーバ装置100と、オブジェクトストレージ150と、データ利用装置200と、センサーデバイス300とを備える。 The data management system 700 includes a server device 100, an object storage 150, a data utilization device 200, and a sensor device 300, as in the first embodiment.

サーバ装置100、オブジェクトストレージ150およびセンサーデバイス300については、実施の形態1のものと同じであるため、説明を省略する。 Since the server device 100, the object storage 150, and the sensor device 300 are the same as those in the first embodiment, the description thereof will be omitted.

本実施の形態では、データ利用装置200は、取得処理部201と、出力処理部202とに加えて、データベース610を備える。 In the present embodiment, the data utilization device 200 includes a database 610 in addition to the acquisition processing unit 201 and the output processing unit 202.

取得処理部201は、RDB管理機能を有する。取得処理部201は、データロード処理を行う。具体的には、取得処理部201は、オブジェクトストレージ150からタイムスタンプファイル601と計測値ファイル602とを取得し、データベース610にロードする。 The acquisition processing unit 201 has an RDB management function. The acquisition processing unit 201 performs data loading processing. Specifically, the acquisition processing unit 201 acquires the time stamp file 601 and the measurement value file 602 from the object storage 150 and loads them into the database 610.

出力処理部202は、データ検索処理を行う。具体的には、出力処理部202は、データベース610を検索し、検索結果から時系列データを再構成する。再構成された時系列データは、実施の形態1と同様の時系列データファイル603の形式で出力されてもよいが、本実施の形態では、テーブルの形式でデータベース610に出力される。 The output processing unit 202 performs a data search process. Specifically, the output processing unit 202 searches the database 610 and reconstructs the time series data from the search results. The reconstructed time-series data may be output in the same time-series data file 603 format as in the first embodiment, but in the present embodiment, it is output to the database 610 in the table format.

データベース610は、任意の種類のDBでよいが、本実施の形態では、RDBである。データベース610は、例えば、図3に示した補助記憶装置213に構築される。データベース610は、タイムスタンプテーブル611「TS−Tbl」と、計測値テーブル612「VAL−Tbl」とを有する。 The database 610 may be any kind of DB, but in the present embodiment, it is an RDB. The database 610 is built, for example, in the auxiliary storage device 213 shown in FIG. The database 610 has a time stamp table 611 "TS-Tbl" and a measured value table 612 "VAL-Tbl".

タイムスタンプテーブル611は、タイムスタンプファイル601のデータを格納するテーブルである。図7に示すように、タイムスタンプテーブル611は、記録時間ウィンドウID「WIN−ID」およびタイムスタンプ「S−TS」のカラムを有する。 The time stamp table 611 is a table for storing the data of the time stamp file 601. As shown in FIG. 7, the time stamp table 611 has columns for the recording time window ID “WIN-ID” and the time stamp “S-TS”.

計測値テーブル612は、計測値ファイル602のデータを格納するテーブルである。図8に示すように、計測値テーブル612は、記録時間ウィンドウID「WIN−ID」、ハッシュ値「HASH−VAL」、デバイスID「DEV−ID」および計測値「S−VALUE」のカラムを有する。 The measurement value table 612 is a table for storing the data of the measurement value file 602. As shown in FIG. 8, the measurement value table 612 has columns for the recording time window ID “WIN-ID”, the hash value “HASH-VAL”, the device ID “DEV-ID”, and the measurement value “S-VALUE”. ..

***動作の説明***
図6のほかに、図9を参照して、本実施の形態に係るデータ管理システム700の動作を説明する。データ管理システム700の動作は、本実施の形態に係るデータ管理方法に相当する。
*** Explanation of operation ***
In addition to FIG. 6, the operation of the data management system 700 according to the present embodiment will be described with reference to FIG. The operation of the data management system 700 corresponds to the data management method according to the present embodiment.

データ管理システム700の動作は、実施の形態1と同様に、データ格納フェーズと、再構成フェーズとからなる。 The operation of the data management system 700 includes a data storage phase and a reconstruction phase, as in the first embodiment.

データ格納フェーズについては、実施の形態1のものと同じであるため、説明を省略する。 Since the data storage phase is the same as that of the first embodiment, the description thereof will be omitted.

再構成フェーズでは、取得処理部201が、データロード処理でオブジェクトストレージ150から必要なタイムスタンプファイル601と計測値ファイル602とを取り出し、RDB管理機能を利用してそれぞれタイムスタンプテーブル611および計測値テーブル612にデータをロードする。データを利用する場合は、出力処理部202が、データ検索処理において時系列データを再構成して利用する。 In the reconstruction phase, the acquisition processing unit 201 extracts the time stamp file 601 and the measured value file 602 required from the object storage 150 in the data load processing, and uses the RDB management function to take out the time stamp table 611 and the measured value table, respectively. Load the data into 612. When the data is used, the output processing unit 202 reconstructs and uses the time series data in the data search process.

データ検索処理のフローを図9に示す。なお、説明の便宜上、データ検索処理を複数ステップに分けているが、実際は1回のクエリで実行可能である。 The flow of the data search process is shown in FIG. Although the data search process is divided into a plurality of steps for convenience of explanation, it can actually be executed by one query.

データ検索処理の開始前に、取得処理部201は、第1値と、当該第1値が得られた時刻に一意に対応する値である第2値とをそれぞれ示す複数の第2データを外部の記憶領域から取得する。実施の形態1と同じように、記憶領域は、本実施の形態でも、オブジェクトストレージ150に確保される。第2データは、本実施の形態でも、計測値ファイル602に含まれる1件1件のレコードである。第1値は、本実施の形態でも、計測値である。第2値は、本実施の形態でも、ハッシュ値である。 Before starting the data search process, the acquisition processing unit 201 externally outputs a plurality of second data indicating the first value and the second value which is a value uniquely corresponding to the time when the first value is obtained. Get from the storage area of. Similar to the first embodiment, the storage area is secured in the object storage 150 in the present embodiment as well. The second data is a record for each case included in the measurement value file 602 even in the present embodiment. The first value is also a measured value in this embodiment. The second value is also a hash value in this embodiment.

本実施の形態でも、取得処理部201は、それぞれの第2データに示される第2値として、それぞれの第2データに示される第1値が得られた時刻および当該時刻に当該第1値を得たセンサーデバイス300を一意に識別するデバイスIDの組に一意に対応する値を取得する。具体的には、取得処理部201は、それぞれの第2データに示される第2値として、ハッシュ値を取得する。 Also in the present embodiment, the acquisition processing unit 201 sets the first value as the second value shown in the second data at the time when the first value shown in the second data is obtained and at the time. A value uniquely corresponding to the set of device IDs that uniquely identifies the obtained sensor device 300 is acquired. Specifically, the acquisition processing unit 201 acquires a hash value as the second value shown in the respective second data.

また、本実施の形態でも、取得処理部201は、取得した複数の第2データに示されている第1値が得られた時刻を記憶領域から読み取る。時刻は、本実施の形態でも、タイムスタンプの形式でタイムスタンプファイル601に書き込まれている。 Further, also in the present embodiment, the acquisition processing unit 201 reads from the storage area the time when the first value shown in the acquired plurality of second data is obtained. The time is also written in the time stamp file 601 in the form of a time stamp in this embodiment.

実施の形態1と異なり、本実施の形態では、取得処理部201は、取得した複数の第2データをデータベース610に格納する。 Unlike the first embodiment, in the present embodiment, the acquisition processing unit 201 stores the acquired plurality of second data in the database 610.

ステップS31において、出力処理部202は、以下のクエリにより、使用するデータが含まれる記録時間ウィンドウに対応する記録時間ウィンドウIDを持つレコードのデバイスIDを計測値テーブル612から抽出する。
SELECT DISTINCT DEV−ID FROM VAL−Tbl
WHERE WIN−ID = <記録時間ウィンドウID>
結果をDEVID−Tmpテーブルとする。
In step S31, the output processing unit 202 extracts the device ID of the record having the recording time window ID corresponding to the recording time window including the data to be used from the measured value table 612 by the following query.
SELECT DISTINCT DEV-ID FROM VAL-Tbl
WHERE WIN-ID = <Recording time window ID>
The result is a DEVID-Tmp table.

ステップS32において、出力処理部202は、以下のクエリにより、使用するデータが含まれる記録時間ウィンドウに対応する記録時間ウィンドウIDを持つレコードのタイムスタンプ値をタイムスタンプテーブル611から抽出する。
SELECT S−TS FROM TS−Tbl
WHERE WIN−ID = <記録時間ウィンドウID>
結果をTS−Tmpテーブルとする。
In step S32, the output processing unit 202 extracts the time stamp value of the record having the recording time window ID corresponding to the recording time window including the data to be used from the time stamp table 611 by the following query.
SELECT S-TS FROM TS-Tbl
WHERE WIN-ID = <Recording time window ID>
The result is a TS-Tmp table.

ステップS33において、出力処理部202は、以下のクエリにより、ステップS32で抽出したタイムスタンプとステップS31で抽出したデバイスIDとの直積を求め、ハッシュ処理を行うUDFを使用してハッシュ値テーブルを作成する。「UDF」は、User Defined Functionの略語である。
SELECT S−TS, hash_tsdev(S−TS, DEV−ID) AS HASH−VAL
FROM TS−Tmp, DEVID−Tmp
hash_tsdevは、ハッシュ値を算出するUDFである。結果をTDHASH−Tmpテーブルとする。
In step S33, the output processing unit 202 obtains the direct product of the time stamp extracted in step S32 and the device ID extracted in step S31 by the following query, and creates a hash value table using the UDF that performs hash processing. do. "UDF" is an abbreviation for User Defined Function.
SELECT S-TS, hash_tsdev (S-TS, DEV-ID) AS HASH-VAL
FROM TS-Tmp, DEVID-Tmp
hash_tsdev is a UDF that calculates a hash value. The result is a TDHASH-Tmp table.

ステップS34において、出力処理部202は、以下のクエリにより、ステップS33で作成したハッシュ値テーブルと計測値テーブル612とを結合して、時系列データのテーブルを作成する。
SELECT H.S−TS, V.DEV−ID, V.S−VALUE
FROM VAL−Tbl V, TDHASH−Tmp H
WHERE V.HASH−VAL = H.HASH−VAL AND V.WIN−ID = <記録時間ウィンドウID>
In step S34, the output processing unit 202 joins the hash value table created in step S33 and the measured value table 612 to create a time series data table by the following query.
SELECT H. S-TS, V.I. DEV-ID, V.I. S-VALUE
FROM VAL-Tbl V, TDHASH-Tmp H
WHERE V. HASH-VAL = H. HASH-VAL AND V. WIN-ID = <Recording time window ID>

このように、データ検索処理において、出力処理部202は、時刻と第2値との対応関係を示す表である対応表を参照して、取得処理部201により取得された第2データごとに、第2データに示されている第2値に対応する時刻を特定し、特定した時刻と、第2データに示されている第1値とを示す第1データを生成する。これにより、出力処理部202は、サーバ装置100により取得された複数の第1データを復元する。対応表は、本実施の形態でも、ハッシュ値テーブルである。複数の第1データは、本実施の形態では、テーブルの形式で復元される。出力処理部202は、復元した複数の第1データを出力する。 As described above, in the data search process, the output processing unit 202 refers to the correspondence table, which is a table showing the correspondence relationship between the time and the second value, for each second data acquired by the acquisition processing unit 201. The time corresponding to the second value shown in the second data is specified, and the first data indicating the specified time and the first value shown in the second data is generated. As a result, the output processing unit 202 restores the plurality of first data acquired by the server device 100. The correspondence table is also a hash value table in this embodiment. The plurality of first data are restored in the form of a table in the present embodiment. The output processing unit 202 outputs a plurality of restored first data.

本実施の形態でも、出力処理部202は、対応表として、時刻およびデバイスIDの組と第2値との対応関係を示す表を参照して、取得処理部201により取得された第2データごとに、第2データに示されている第2値に対応する時刻およびデバイスIDの組を特定する。出力処理部202は、第1データとして、特定した時刻と、第2データに示されている第1値とともに、特定したデバイスIDを示すデータを生成する。 Also in the present embodiment, the output processing unit 202 refers to the table showing the correspondence between the time and device ID set and the second value as the correspondence table, and for each second data acquired by the acquisition processing unit 201. The time and device ID set corresponding to the second value shown in the second data is specified. The output processing unit 202 generates data indicating the specified device ID as the first data together with the specified time and the first value shown in the second data.

また、本実施の形態でも、出力処理部202は、取得処理部201により読み取られた時刻に対応するハッシュ値を第2値として算出することで対応表を生成する。 Further, also in the present embodiment, the output processing unit 202 generates a correspondence table by calculating the hash value corresponding to the time read by the acquisition processing unit 201 as the second value.

本実施の形態では、出力処理部202は、データベース610を検索することで、データベース610に格納された第2データごとに、第1データを生成する。 In the present embodiment, the output processing unit 202 searches the database 610 to generate the first data for each of the second data stored in the database 610.

***実施の形態の効果の説明***
本実施の形態では、RDB操作により時系列データを復元できるため、データ順序復号処理用のプログラム等が不要となる。
*** Explanation of the effect of the embodiment ***
In the present embodiment, since the time series data can be restored by the RDB operation, a program or the like for data order decoding processing becomes unnecessary.

本実施の形態では、RDBを利用するため、復号後のデータ分析等との連携が容易である。 In the present embodiment, since the RDB is used, it is easy to cooperate with data analysis after decoding.

実施の形態3.
本実施の形態について、主に実施の形態2との差異を、図10を用いて説明する。
Embodiment 3.
The difference between the present embodiment and the second embodiment will be mainly described with reference to FIG.

***構成の説明***
図10を参照して、本実施の形態に係るデータ管理システム700の構成を説明する。
*** Explanation of configuration ***
The configuration of the data management system 700 according to the present embodiment will be described with reference to FIG.

本実施の形態では、タイムスタンプファイル601と計測値ファイル602とをオブジェクトストレージ150に格納せず、クラウド上のRDBに格納し、データ利用拠点では、BIツール220を利用してクラウド上のRDBにアクセスして、時系列データを再構成する。「BI」は、Business Intelligenceの略語である。 In the present embodiment, the time stamp file 601 and the measurement value file 602 are not stored in the object storage 150 but stored in the RDB on the cloud, and at the data usage base, the BI tool 220 is used in the RDB on the cloud. Access and reconstruct time series data. "BI" is an abbreviation for Business Intelligence.

データ管理システム700は、サーバ装置100と、データ利用装置200と、センサーデバイス300とを備える。 The data management system 700 includes a server device 100, a data utilization device 200, and a sensor device 300.

センサーデバイス300については、実施の形態1のものと同じであるため、説明を省略する。 Since the sensor device 300 is the same as that of the first embodiment, the description thereof will be omitted.

本実施の形態では、サーバ装置100は、取得処理部101と、混合処理部102と、格納処理部103と、デバイス管理部104とに加えて、データベース610を備える。 In the present embodiment, the server device 100 includes a database 610 in addition to the acquisition processing unit 101, the mixing processing unit 102, the storage processing unit 103, and the device management unit 104.

取得処理部101、混合処理部102およびデバイス管理部104については、実施の形態1のものと同じであるため、説明を省略する。 The acquisition processing unit 101, the mixing processing unit 102, and the device management unit 104 are the same as those in the first embodiment, and thus the description thereof will be omitted.

格納処理部103は、RDB管理機能を有する。格納処理部103は、ファイルロード処理を行う。具体的には、格納処理部103は、混合処理部102が生成したタイムスタンプファイル601と計測値ファイル602とをデータベース610にロードする。 The storage processing unit 103 has an RDB management function. The storage processing unit 103 performs a file loading process. Specifically, the storage processing unit 103 loads the time stamp file 601 and the measurement value file 602 generated by the mixing processing unit 102 into the database 610.

データベース610は、任意の種類のDBでよいが、本実施の形態では、RDBである。データベース610は、例えば、図2に示した補助記憶装置113に構築される。データベース610は、タイムスタンプテーブル611「TS−Tbl」と、計測値テーブル612「VAL−Tbl」とを有する。 The database 610 may be any kind of DB, but in the present embodiment, it is an RDB. The database 610 is built, for example, in the auxiliary storage device 113 shown in FIG. The database 610 has a time stamp table 611 "TS-Tbl" and a measured value table 612 "VAL-Tbl".

タイムスタンプテーブル611は、タイムスタンプファイル601のデータを格納するテーブルである。タイムスタンプテーブル611は、図7に示した実施の形態2のものと同じでよい。 The time stamp table 611 is a table for storing the data of the time stamp file 601. The time stamp table 611 may be the same as that of the second embodiment shown in FIG.

計測値テーブル612は、計測値ファイル602のデータを格納するテーブルである。計測値テーブル612は、図8に示した実施の形態2のものと同じでよい。 The measurement value table 612 is a table for storing the data of the measurement value file 602. The measurement value table 612 may be the same as that of the second embodiment shown in FIG.

本実施の形態では、データ利用装置200は、取得処理部201および出力処理部202の機能を実現するソフトウェアとして、BIツール220を備える。 In the present embodiment, the data utilization device 200 includes a BI tool 220 as software that realizes the functions of the acquisition processing unit 201 and the output processing unit 202.

BIツール220は、データベース610と連携して、データを分析および可視化するツールである。データベース610のデータを入力して、データ操作を行うことが可能である。 The BI tool 220 is a tool for analyzing and visualizing data in cooperation with the database 610. It is possible to input data from the database 610 and perform data manipulation.

取得処理部201は、BIツール220の機能を利用してデータベース610からデータを取得する。 The acquisition processing unit 201 acquires data from the database 610 by using the function of the BI tool 220.

出力処理部202は、データ検索処理を行う。具体的には、出力処理部202は、BIツール220の機能を利用してデータベース610を検索し、検索結果から時系列データを再構成する。再構成された時系列データは、実施の形態1と同様の時系列データファイル603の形式で出力されてもよいし、実施の形態2と同様に、テーブルの形式で出力されてもよいし、その他の形式で出力されてもよい。 The output processing unit 202 performs a data search process. Specifically, the output processing unit 202 searches the database 610 using the function of the BI tool 220, and reconstructs the time series data from the search results. The reconstructed time-series data may be output in the same time-series data file 603 format as in the first embodiment, or may be output in the table format as in the second embodiment. It may be output in other formats.

***動作の説明***
図10を参照して、本実施の形態に係るデータ管理システム700の動作を説明する。データ管理システム700の動作は、本実施の形態に係るデータ管理方法に相当する。
*** Explanation of operation ***
The operation of the data management system 700 according to the present embodiment will be described with reference to FIG. The operation of the data management system 700 corresponds to the data management method according to the present embodiment.

データ管理システム700の動作は、実施の形態1と同様に、データ格納フェーズと、再構成フェーズとからなる。 The operation of the data management system 700 includes a data storage phase and a reconstruction phase, as in the first embodiment.

データ格納フェーズは、実施の形態2でオブジェクトストレージ150を経由しないで時系列データの変換からRDBへの格納までを行う手順と同等となる。再構成フェーズは、クラウドのデータベース610の対象データをBIツール220で読み込んで、BIツール220上で実施の形態2と同様のデータ検索処理を行う手順となる。 The data storage phase is equivalent to the procedure in the second embodiment from the conversion of the time series data to the storage in the RDB without going through the object storage 150. The reconstruction phase is a procedure in which the target data of the cloud database 610 is read by the BI tool 220 and the data search process similar to that of the second embodiment is performed on the BI tool 220.

このように、本実施の形態では、格納処理部103は、混合処理部102により並べられた複数の第2データを、記憶領域に構築されたデータベース610に格納する。記憶領域は、本実施の形態では、サーバ装置100に確保される。複数の第2データは、本実施の形態では、計測値テーブル612の形式で格納される。 As described above, in the present embodiment, the storage processing unit 103 stores the plurality of second data arranged by the mixing processing unit 102 in the database 610 constructed in the storage area. The storage area is secured in the server device 100 in the present embodiment. The plurality of second data are stored in the format of the measured value table 612 in the present embodiment.

***実施の形態の効果の説明***
本実施の形態では、データをクラウド上のRDBに格納するため、統計基本量のような順序に関係ない分析を容易に実行可能である。
*** Explanation of the effect of the embodiment ***
In the present embodiment, since the data is stored in the RDB on the cloud, it is possible to easily execute an analysis regardless of the order such as a statistical basic quantity.

本実施の形態では、データがデータベース610に格納されるため、管理が容易である。 In the present embodiment, since the data is stored in the database 610, management is easy.

実施の形態4.
本実施の形態について、主に実施の形態1との差異を、図11から図13を用いて説明する。
Embodiment 4.
The differences between the present embodiment and the first embodiment will be mainly described with reference to FIGS. 11 to 13.

***構成の説明***
図11を参照して、本実施の形態に係るデータ管理システム700の構成を説明する。
*** Explanation of configuration ***
The configuration of the data management system 700 according to the present embodiment will be described with reference to FIG.

本実施の形態では、タイムスタンプファイル601がなくなり、デバイスIDを管理するためのデバイスIDテーブル604が追加されている。 In the present embodiment, the time stamp file 601 disappears, and the device ID table 604 for managing the device ID is added.

本実施の形態では、時系列データを計測値ファイル605のみに変換する。計測値ファイル605には、第1ハッシュ値と、年と、第2ハッシュ値と、1つ以上の計測値とが含まれる。 In the present embodiment, the time series data is converted only into the measurement value file 605. The measurement value file 605 contains a first hash value, a year, a second hash value, and one or more measurement values.

***動作の説明***
図11のほかに、図12および図13を参照して、本実施の形態に係るデータ管理システム700の動作を説明する。データ管理システム700の動作は、本実施の形態に係るデータ管理方法に相当する。
*** Explanation of operation ***
In addition to FIG. 11, the operation of the data management system 700 according to the present embodiment will be described with reference to FIGS. 12 and 13. The operation of the data management system 700 corresponds to the data management method according to the present embodiment.

データ管理システム700の動作は、実施の形態1と同様に、データ格納フェーズと、再構成フェーズとからなる。 The operation of the data management system 700 includes a data storage phase and a reconstruction phase, as in the first embodiment.

データ格納フェーズにおけるデータ順序混合処理のフローを図12に示す。 The flow of the data order mixing process in the data storage phase is shown in FIG.

データ順序混合処理の開始前に、取得処理部101は、時刻と、当該時刻に得られた値である第1値とをそれぞれ示す複数の第1データを取得する。実施の形態1と同じように、第1データは、本実施の形態でも、センサーデバイス300からのセンサーデータに含まれる1件1件のレコードである。時刻は、本実施の形態でも、タイムスタンプの形式で示される。第1値は、本実施の形態でも、計測値である。 Before starting the data sequence mixing process, the acquisition processing unit 101 acquires a plurality of first data indicating the time and the first value which is the value obtained at the time. Similar to the first embodiment, the first data is a record for each case included in the sensor data from the sensor device 300 in the present embodiment as well. The time is also shown in the form of a time stamp in this embodiment. The first value is also a measured value in this embodiment.

本実施の形態でも、取得処理部101は、それぞれの第1データとして、時刻と、当該時刻に得られた第1値とともに、当該時刻に当該第1値を得たセンサーデバイス300を一意に識別するデバイスIDを示すデータを取得する。 Also in the present embodiment, the acquisition processing unit 101 uniquely identifies the time, the first value obtained at the time, and the sensor device 300 that obtained the first value at the time as the first data of each. Acquires data indicating the device ID to be used.

ステップS41において、混合処理部102には、取得処理部101から記録時間ウィンドウ単位で複数のセンサーデータが入力される。 In step S41, a plurality of sensor data are input to the mixing processing unit 102 from the acquisition processing unit 101 in units of recording time windows.

ステップS42において、混合処理部102は、センサーデータからレコードを1件取り出す。レコードには、タイムスタンプ、デバイスIDおよび1つまたは複数の計測値のデータが含まれる。タイムスタンプは、計測時刻に相当する。デバイスIDは、計測を行ったセンサーデバイス300の識別子に相当する。 In step S42, the mixing processing unit 102 retrieves one record from the sensor data. The record contains data for time stamps, device IDs and one or more measurements. The time stamp corresponds to the measurement time. The device ID corresponds to the identifier of the sensor device 300 that performed the measurement.

ステップS43において、混合処理部102は、レコードのタイムスタンプとデバイスIDとに対してハッシュ処理を行い、第1ハッシュ値を算出する。 In step S43, the mixing processing unit 102 performs hash processing on the time stamp of the record and the device ID, and calculates the first hash value.

ステップS44において、混合処理部102は、タイムスタンプ情報「YYYY−MM−DD hh:mm:ss」の月日「MM−DD」と時間「hh」とから第2ハッシュ値を算出する。 In step S44, the mixing processing unit 102 calculates the second hash value from the date “MM-DD” and the time “hh” of the time stamp information “YYYY-MM-DD hh: mm: ss”.

ステップS45において、混合処理部102は、第1ハッシュ値と計測値およびタイムスタンプ情報の年「YYYY」と第2ハッシュ値とを組としたレコードを、計測値バッファに追加する。 In step S45, the mixing processing unit 102 adds a record in which the first hash value, the measured value, and the year “YYYY” of the time stamp information and the second hash value are set to the measured value buffer.

ステップS46において、混合処理部102は、未処理のセンサーデータのレコードがある場合はステップS42からステップS45の処理を繰り返す。すべてのレコードの処理が完了した場合はステップS47に進む。 In step S46, the mixing processing unit 102 repeats the processing of steps S42 to S45 when there is a record of unprocessed sensor data. When the processing of all the records is completed, the process proceeds to step S47.

ステップS47において、混合処理部102は、計測値バッファの内容をレコードの順番を乱数等により無作為に入れ替えて、計測値ファイル605に出力する。 In step S47, the mixing processing unit 102 randomly changes the order of the records in the measurement value buffer by a random number or the like, and outputs the contents to the measurement value file 605.

このように、データ順序混合処理において、混合処理部102は、取得処理部101により取得された第1データごとに、第1データに示されている第1値と、第1データに示されている時刻に一意に対応する値である第2値とを示す第2データを生成する。第2データは、本実施の形態でも、計測値バッファに格納される1件1件のレコードである。第2値は、本実施の形態では、第1ハッシュ値である。混合処理部102は、生成した複数の第2データを、それぞれの第2データに示されている第1値が得られた時刻の順序とは別の順序で並べる。 As described above, in the data sequence mixing process, the mixing processing unit 102 shows the first value shown in the first data and the first data for each first data acquired by the acquisition processing unit 101. Second data indicating a second value, which is a value uniquely corresponding to a certain time, is generated. The second data is a record for each case stored in the measurement value buffer even in the present embodiment. The second value is the first hash value in the present embodiment. The mixing processing unit 102 arranges the generated second data in an order different from the order of the time when the first value shown in each second data is obtained.

本実施の形態でも、混合処理部102は、取得処理部101により取得された第1データごとに、第2データに示される第2値として、第1データに示されている時刻およびデバイスIDの組に一意に対応する値を生成する。具体的には、混合処理部102は、取得処理部101により取得された第1データごとに、第2データに示される第2値として、第1ハッシュ値を算出する。 Also in the present embodiment, the mixing processing unit 102 sets the time and device ID shown in the first data as the second value shown in the second data for each first data acquired by the acquisition processing unit 101. Generate a value that corresponds uniquely to the pair. Specifically, the mixing processing unit 102 calculates the first hash value as the second value shown in the second data for each of the first data acquired by the acquisition processing unit 101.

実施の形態1と異なり、本実施の形態では、混合処理部102は、取得処理部101により取得された第1データごとに、第1データに示されている時刻を第1単位の時刻と第2単位の時刻とに分解し、第1単位の時刻と、第2単位の時刻に対応するハッシュ値である第3値とを示す第3データを生成する。第1単位は年、第2単位は月日時であるが、第1単位および第2単位を別の単位の組み合わせにしてもよい。例えば、第1単位は年月、第2単位は日時でもよい。第3値は、本実施の形態では、第2ハッシュ値である。混合処理部102は、生成した複数の第3データを、それぞれの第3データの元になった第1データに示されている時刻の順序とは別の順序で並べる。 Unlike the first embodiment, in the present embodiment, the mixing processing unit 102 sets the time shown in the first data as the time of the first unit for each first data acquired by the acquisition processing unit 101. It is decomposed into two units of time, and third data showing the time of the first unit and the third value which is a hash value corresponding to the time of the second unit is generated. The first unit is the year and the second unit is the month and time, but the first unit and the second unit may be a combination of different units. For example, the first unit may be the year and month, and the second unit may be the date and time. The third value is the second hash value in the present embodiment. The mixing processing unit 102 arranges the generated plurality of third data in an order different from the time order shown in the first data on which the third data is based.

データ順序混合処理の終了後に、格納処理部103は、混合処理部102により並べられた複数の第2データと複数の第3データとを、外部からアクセスされる記憶領域に格納する。記憶領域は、本実施の形態でも、オブジェクトストレージ150に確保される。複数の第2データは、本実施の形態では、計測値ファイル605の形式で格納される。複数の第3データは、本実施の形態では、複数の第2データとともに計測値ファイル605の形式で格納されるが、複数の第2データとは別のファイルに格納されてもよいし、複数の第2データとは別の形式で格納されてもよい。 After the data sequence mixing process is completed, the storage processing unit 103 stores the plurality of second data and the plurality of third data arranged by the mixing processing unit 102 in a storage area accessed from the outside. The storage area is secured in the object storage 150 also in this embodiment. The plurality of second data are stored in the format of the measurement value file 605 in the present embodiment. In the present embodiment, the plurality of third data are stored together with the plurality of second data in the format of the measurement value file 605, but may be stored in a file different from the plurality of second data, or a plurality of third data. It may be stored in a format different from the second data of.

再構成フェーズでは、取得処理部201が、オブジェクトストレージ150から必要な計測値ファイル605を取り出し、データ順序復元処理に渡す。データ順序復元処理では、事前にサーバ装置100のデバイス管理部104と連携してデバイスIDテーブル604からデバイスID群を取得しておき、この取得済のデバイスID群と計測値ファイル605とから時系列データを復元し、時系列データファイル603に出力する。 In the reconstruction phase, the acquisition processing unit 201 extracts the necessary measurement value file 605 from the object storage 150 and passes it to the data order restoration process. In the data order restoration process, the device ID group is acquired from the device ID table 604 in advance in cooperation with the device management unit 104 of the server device 100, and the acquired device ID group and the measured value file 605 are used in a time series. The data is restored and output to the time series data file 603.

データ順序復元処理のフローを図13に示す。 The flow of the data order restoration process is shown in FIG.

データ順序復元処理の開始前に、取得処理部201は、第1値と、当該第1値が得られた時刻に一意に対応する値である第2値とをそれぞれ示す複数の第2データを外部の記憶領域から取得する。前述したように、記憶領域は、本実施の形態でも、オブジェクトストレージ150に確保される。第2データは、本実施の形態でも、計測値ファイル605に含まれる1件1件のレコードである。第1値は、本実施の形態でも、計測値である。第2値は、本実施の形態では、第1ハッシュ値である。 Prior to the start of the data order restoration process, the acquisition processing unit 201 receives a plurality of second data indicating the first value and the second value which is a value uniquely corresponding to the time when the first value is obtained. Obtained from an external storage area. As described above, the storage area is secured in the object storage 150 also in this embodiment. The second data is a record for each case included in the measurement value file 605 even in the present embodiment. The first value is also a measured value in this embodiment. The second value is the first hash value in the present embodiment.

本実施の形態では、取得処理部201は、それぞれの第2データに示される第2値として、それぞれの第2データに示される第1値が得られた時刻および当該時刻に当該第1値を得たセンサーデバイス300を一意に識別するデバイスIDの組に一意に対応する値を取得する。具体的には、取得処理部201は、それぞれの第2データに示される第2値として、第1ハッシュ値を取得する。 In the present embodiment, the acquisition processing unit 201 sets the first value as the second value shown in the second data at the time when the first value shown in the second data is obtained and at the time. A value uniquely corresponding to the set of device IDs that uniquely identifies the obtained sensor device 300 is acquired. Specifically, the acquisition processing unit 201 acquires the first hash value as the second value shown in the respective second data.

実施の形態1と異なり、本実施の形態では、取得処理部201は、第1単位の時刻と、第2単位の時刻に対応するハッシュ値である第3値とをそれぞれ示す複数の第3データを記憶領域から取得する。前述したように、第1単位は年、第2単位は月日時であるが、第1単位および第2単位を別の単位の組み合わせにしてもよい。第3値は、本実施の形態では、第2ハッシュ値である。 Unlike the first embodiment, in the present embodiment, the acquisition processing unit 201 has a plurality of third data indicating the time of the first unit and the third value which is a hash value corresponding to the time of the second unit. From the storage area. As described above, the first unit is the year and the second unit is the month and time, but the first unit and the second unit may be a combination of different units. The third value is the second hash value in the present embodiment.

ステップS51において、出力処理部202は、1月1日0時から12月31日23時までの第2ハッシュ値を算出し、第2ハッシュ値テーブルを作成する。 In step S51, the output processing unit 202 calculates the second hash value from 0:00 on January 1st to 23:00 on December 31st, and creates a second hash value table.

ステップS52において、出力処理部202には、取得処理部201から計測値ファイル605のデータが入力される。 In step S52, the data of the measurement value file 605 is input to the output processing unit 202 from the acquisition processing unit 201.

ステップS53において、出力処理部202は、計測値ファイル605のデータから、データに含まれる年と第2ハッシュ値とをすべて抽出する。 In step S53, the output processing unit 202 extracts all the year and the second hash value included in the data from the data of the measurement value file 605.

ステップS54において、出力処理部202は、ステップS53で抽出した第2ハッシュ値とステップS51で作成した第2ハッシュ値テーブルとを突き合わせて、計測値ファイル605のデータの年月日時をすべて基準年月日時として導出する。 In step S54, the output processing unit 202 collates the second hash value extracted in step S53 with the second hash value table created in step S51, and sets all the dates and times of the data in the measurement value file 605 as the reference year and month. Derived as a date and time.

ステップS55において、出力処理部202は、基準年月日時の期間に含まれるタイムスタンプのすべてのバリエーションを作成する。具体的には、出力処理部202は、基準年月日時「YYYY−MM−DD hh」を全パターンのタイムスタンプ値「YYYY−MM−DD hh:mm:ss」に展開する。出力処理部202は、これらのタイムスタンプ値と取得済のデバイスID群に含まれるデバイスIDとを組み合わせてハッシュ処理を行い、第1ハッシュ値テーブルを作成する。 In step S55, the output processing unit 202 creates all variations of the time stamp included in the period of the base date and time. Specifically, the output processing unit 202 expands the reference date and time “YYYY-MM-DD hh” into the time stamp values “YYYY-MM-DD hh: mm: ss” of all patterns. The output processing unit 202 combines these time stamp values with the device IDs included in the acquired device ID group to perform hash processing, and creates a first hash value table.

ステップS56において、出力処理部202は、計測値ファイル605のデータからレコードを1件取り出す。 In step S56, the output processing unit 202 extracts one record from the data of the measurement value file 605.

ステップS57において、出力処理部202は、レコードの第1ハッシュ値とステップS55で作成した第1ハッシュ値テーブルとを突き合わせて、第1ハッシュ値が一致したタイムスタンプおよびデバイスIDを特定する。 In step S57, the output processing unit 202 matches the first hash value of the record with the first hash value table created in step S55, and identifies the time stamp and the device ID in which the first hash values match.

ステップS58において、出力処理部202は、ステップS57で特定したタイムスタンプおよびデバイスIDとレコードの計測値との組をレコードとして時系列データファイル603に出力する。 In step S58, the output processing unit 202 outputs the set of the time stamp and the device ID specified in step S57 and the measured value of the record as a record to the time series data file 603.

ステップS59において、出力処理部202は、未処理の計測値ファイル605のレコードがある場合はステップS56からステップS58の処理を繰り返す。すべてのレコードの処理が完了した場合に終了となる。 In step S59, the output processing unit 202 repeats the processing of steps S56 to S58 if there is a record of the unprocessed measurement value file 605. It ends when the processing of all records is completed.

このように、データ順序復元処理において、出力処理部202は、時刻と第2値との対応関係を示す表である対応表を参照して、取得処理部201により取得された第2データごとに、第2データに示されている第2値に対応する時刻を特定し、特定した時刻と、第2データに示されている第1値とを示す第1データを生成する。これにより、出力処理部202は、サーバ装置100により取得された複数の第1データを復元する。対応表は、本実施の形態では、第1ハッシュ値テーブルである。複数の第1データは、本実施の形態では、時系列データファイル603の形式で復元される。出力処理部202は、復元した複数の第1データを出力する。 As described above, in the data order restoration processing, the output processing unit 202 refers to the correspondence table, which is a table showing the correspondence between the time and the second value, for each second data acquired by the acquisition processing unit 201. , The time corresponding to the second value shown in the second data is specified, and the first data indicating the specified time and the first value shown in the second data is generated. As a result, the output processing unit 202 restores the plurality of first data acquired by the server device 100. The correspondence table is the first hash value table in the present embodiment. The plurality of first data are restored in the format of the time series data file 603 in the present embodiment. The output processing unit 202 outputs a plurality of restored first data.

本実施の形態では、出力処理部202は、対応表として、時刻およびデバイスIDの組と第2値との対応関係を示す表を参照して、取得処理部201により取得された第2データごとに、第2データに示されている第2値に対応する時刻およびデバイスIDの組を特定する。出力処理部202は、第1データとして、特定した時刻と、第2データに示されている第1値とともに、特定したデバイスIDを示すデータを生成する。 In the present embodiment, the output processing unit 202 refers to a table showing the correspondence between the time and device ID set and the second value as a correspondence table, and for each second data acquired by the acquisition processing unit 201. The time and device ID set corresponding to the second value shown in the second data is specified. The output processing unit 202 generates data indicating the specified device ID as the first data together with the specified time and the first value shown in the second data.

実施の形態1と異なり、本実施の形態では、出力処理部202は、第2単位の時刻と第3値とを紐付けるハッシュテーブルを参照して、取得処理部201により取得された第3データごとに、第3データに示されている第3値に対応する第2単位の時刻を特定し、第3データに示されている第1単位の時刻と、特定した第2単位の時刻とからなる時刻に対応するハッシュ値を第2値として算出することで対応表を生成する。ハッシュテーブルは、本実施の形態では、第2ハッシュ値テーブルである。 Unlike the first embodiment, in the present embodiment, the output processing unit 202 refers to the hash table that associates the time of the second unit with the third value, and the third data acquired by the acquisition processing unit 201. For each, the time of the second unit corresponding to the third value shown in the third data is specified, and from the time of the first unit shown in the third data and the time of the specified second unit. A correspondence table is generated by calculating the hash value corresponding to the time as the second value. The hash table is the second hash value table in the present embodiment.

***実施の形態の効果の説明***
本実施の形態では、計測値ファイル605のみでは、単なる計測値の集まりであり、そのまま参照しても時間的な順序に関する情報あるいは計測デバイス情報は得られないため、データ漏洩に対する対策が可能となる。
*** Explanation of the effect of the embodiment ***
In the present embodiment, the measurement value file 605 is merely a collection of measurement values, and even if it is referred to as it is, information on the temporal order or measurement device information cannot be obtained, so that it is possible to take measures against data leakage. ..

100 サーバ装置、101 取得処理部、102 混合処理部、103 格納処理部、104 デバイス管理部、111 プロセッサ、112 メモリ、113 補助記憶装置、114 通信装置、115 入力機器、116 ディスプレイ、117 信号線、118 レシーバ、119 トランスミッタ、150 オブジェクトストレージ、200 データ利用装置、201 取得処理部、202 出力処理部、211 プロセッサ、212 メモリ、213 補助記憶装置、214 通信装置、215 入力機器、216 ディスプレイ、217 信号線、218 レシーバ、219 トランスミッタ、220 BIツール、300 センサーデバイス、400 インターネット、601 タイムスタンプファイル、602 計測値ファイル、603 時系列データファイル、604 デバイスIDテーブル、605 計測値ファイル、610 データベース、611 タイムスタンプテーブル、612 計測値テーブル、700 データ管理システム。 100 server unit, 101 acquisition processing unit, 102 mixing processing unit, 103 storage processing unit, 104 device management unit, 111 processor, 112 memory, 113 auxiliary storage device, 114 communication device, 115 input device, 116 display, 117 signal line, 118 receiver, 119 transmitter, 150 object storage, 200 data utilization device, 201 acquisition processing unit, 202 output processing unit, 211 processor, 212 memory, 213 auxiliary storage device, 214 communication device, 215 input device, 216 display, 217 signal line , 218 receiver, 219 transmitter, 220 BI tool, 300 sensor device, 400 internet, 601 time stamp file, 602 measurement value file, 603 time series data file, 604 device ID table, 605 measurement value file, 610 database, 611 time stamp. Table, 612 measurement table, 700 data management system.

Claims (15)

時刻と、当該時刻に得られた値である第1値とをそれぞれ示す複数の第1データを取得し、取得した第1データごとに、第1データに示されている第1値と、第1データに示されている時刻に一意に対応する値である第2値とを示す第2データを生成し、生成した複数の第2データを、それぞれの第2データに示されている第1値が得られた時刻の順序とは別の順序で並べて、外部からアクセスされる記憶領域に格納するサーバ装置と、
前記サーバ装置により並べられた複数の第2データを前記記憶領域から取得し、時刻と第2値との対応関係を示す表である対応表を参照して、取得した第2データごとに、第2データに示されている第2値に対応する時刻を特定し、特定した時刻と、第2データに示されている第1値とを示すデータを生成することで、前記サーバ装置により取得された複数の第1データを復元するデータ利用装置と
を備えるデータ管理システム。
A plurality of first data indicating the time and the first value obtained at the time are acquired, and for each of the acquired first data, the first value shown in the first data and the first value are obtained. Second data indicating a second value that is a value uniquely corresponding to the time shown in one data is generated, and the generated plurality of second data are the first one shown in each second data. A server device that stores the values in a storage area accessed from the outside by arranging them in a different order from the time when the values were obtained.
A plurality of second data arranged by the server device are acquired from the storage area, and the correspondence table, which is a table showing the correspondence between the time and the second value, is referred to, and for each acquired second data, the second data is obtained. 2 Obtained by the server device by specifying the time corresponding to the second value shown in the data and generating data indicating the specified time and the first value shown in the second data. A data management system including a data utilization device that restores a plurality of first data.
時刻と、当該時刻に得られた値である第1値とをそれぞれ示す複数の第1データを取得する取得処理部と、
前記取得処理部により取得された第1データごとに、第1データに示されている第1値と、第1データに示されている時刻に一意に対応する値である第2値とを示す第2データを生成し、生成した複数の第2データを、それぞれの第2データに示されている第1値が得られた時刻の順序とは別の順序で並べる混合処理部と、
前記混合処理部により並べられた複数の第2データを、外部からアクセスされる記憶領域に格納する格納処理部と
を備えるサーバ装置。
An acquisition processing unit that acquires a plurality of first data indicating a time and a first value that is a value obtained at that time.
For each of the first data acquired by the acquisition processing unit, a first value shown in the first data and a second value which is a value uniquely corresponding to the time shown in the first data are shown. A mixing processing unit that generates the second data and arranges the generated plurality of second data in an order different from the order of the time when the first value shown in each second data is obtained.
A server device including a storage processing unit that stores a plurality of second data arranged by the mixing processing unit in a storage area accessed from the outside.
前記取得処理部は、それぞれの第1データとして、時刻と、当該時刻に得られた第1値とともに、当該時刻に当該第1値を得たデバイスを一意に識別するデバイス識別子を示すデータを取得し、
前記混合処理部は、前記取得処理部により取得された第1データごとに、第2データに示される第2値として、第1データに示されている時刻およびデバイス識別子の組に一意に対応する値を生成する請求項2に記載のサーバ装置。
The acquisition processing unit acquires, as the first data, data indicating the time, the first value obtained at the time, and the device identifier that uniquely identifies the device that obtained the first value at the time. death,
The mixing processing unit uniquely corresponds to the set of the time and the device identifier shown in the first data as the second value shown in the second data for each of the first data acquired by the acquisition processing unit. The server device according to claim 2, which generates a value.
前記格納処理部は、前記混合処理部により並べられた複数の第2データを、前記記憶領域に構築されたデータベースに格納する請求項2または3に記載のサーバ装置。 The server device according to claim 2 or 3, wherein the storage processing unit stores a plurality of second data arranged by the mixing processing unit in a database constructed in the storage area. 前記混合処理部は、前記取得処理部により取得された第1データごとに、第2データに示される第2値として、ハッシュ値を算出し、
前記格納処理部は、前記取得処理部により取得された複数の第1データに示されている時刻を、それぞれの第1データに示されている第1値から切り離された形で前記記憶領域に書き込む請求項2から4のいずれか1項に記載のサーバ装置。
The mixing processing unit calculates a hash value as a second value shown in the second data for each first data acquired by the acquisition processing unit.
The storage processing unit stores the time indicated in the plurality of first data acquired by the acquisition processing unit in the storage area in a form separated from the first value shown in each of the first data. The server device according to any one of claims 2 to 4 to be written.
前記混合処理部は、前記取得処理部により取得された第1データごとに、第1データに示されている時刻を第1単位の時刻と第2単位の時刻とに分解し、前記第1単位の時刻と、前記第2単位の時刻に対応するハッシュ値である第3値とを示す第3データを生成し、生成した複数の第3データを、それぞれの第3データの元になった第1データに示されている時刻の順序とは別の順序で並べ、
前記格納処理部は、前記混合処理部により並べられた複数の第3データを前記記憶領域に格納する請求項2から4のいずれか1項に記載のサーバ装置。
The mixing processing unit decomposes the time shown in the first data into a time of the first unit and a time of the second unit for each first data acquired by the acquisition processing unit, and the first unit. The third data indicating the time of the above and the third value which is the hash value corresponding to the time of the second unit is generated, and the generated plurality of third data are used as the basis of the respective third data. 1 Arrange in a different order from the time shown in the data,
The server device according to any one of claims 2 to 4, wherein the storage processing unit stores a plurality of third data arranged by the mixing processing unit in the storage area.
前記第1単位は年、前記第2単位は月日時である請求項6に記載のサーバ装置。 The server device according to claim 6, wherein the first unit is a year and the second unit is a month and time. 第1値と、当該第1値が得られた時刻に一意に対応する値である第2値とをそれぞれ示す複数の第2データを外部の記憶領域から取得する取得処理部と、
時刻と第2値との対応関係を示す表である対応表を参照して、前記取得処理部により取得された第2データごとに、第2データに示されている第2値に対応する時刻を特定し、特定した時刻と、第2データに示されている第1値とを示す第1データを生成し、生成した複数の第1データを出力する出力処理部と
を備えるデータ利用装置。
An acquisition processing unit that acquires a plurality of second data indicating a first value and a second value that is a value uniquely corresponding to the time when the first value is obtained from an external storage area.
With reference to the correspondence table, which is a table showing the correspondence between the time and the second value, for each second data acquired by the acquisition processing unit, the time corresponding to the second value shown in the second data. A data utilization device including an output processing unit that specifies, generates first data indicating the specified time and the first value shown in the second data, and outputs a plurality of generated first data.
前記取得処理部は、それぞれの第2データに示される第2値として、それぞれの第2データに示される第1値が得られた時刻および当該時刻に当該第1値を得たデバイスを一意に識別するデバイス識別子の組に一意に対応する値を取得し、
前記出力処理部は、前記対応表として、時刻およびデバイス識別子の組と第2値との対応関係を示す表を参照して、前記取得処理部により取得された第2データごとに、第2データに示されている第2値に対応する時刻およびデバイス識別子の組を特定し、第1データとして、特定した時刻と、第2データに示されている第1値とともに、特定したデバイス識別子を示すデータを生成する請求項8に記載のデータ利用装置。
As the second value shown in each second data, the acquisition processing unit uniquely selects the time when the first value shown in each second data is obtained and the device which obtained the first value at that time. Gets the value that uniquely corresponds to the set of device identifiers to identify
The output processing unit refers to a table showing the correspondence between the set of time and device identifiers and the second value as the correspondence table, and for each of the second data acquired by the acquisition processing unit, the second data The set of time and device identifier corresponding to the second value shown in is specified, and the specified time and the specified device identifier are shown as the first data together with the first value shown in the second data. The data utilization device according to claim 8, which generates data.
前記取得処理部は、取得した複数の第2データをデータベースに格納し、
前記出力処理部は、前記データベースを検索することで、前記データベースに格納された第2データごとに、第1データを生成する請求項8または9に記載のデータ利用装置。
The acquisition processing unit stores a plurality of acquired second data in the database, and stores the acquired second data in the database.
The data utilization device according to claim 8 or 9, wherein the output processing unit generates first data for each second data stored in the database by searching the database.
前記取得処理部は、取得した複数の第2データに示されている第1値が得られた時刻を前記記憶領域から読み取り、
前記出力処理部は、前記取得処理部により読み取られた時刻に対応するハッシュ値を第2値として算出することで前記対応表を生成する請求項8から10のいずれか1項に記載のデータ利用装置。
The acquisition processing unit reads the time when the first value shown in the acquired second data is obtained from the storage area, and reads the time when the first value is obtained.
The data utilization according to any one of claims 8 to 10, wherein the output processing unit generates the correspondence table by calculating the hash value corresponding to the time read by the acquisition processing unit as the second value. Device.
前記取得処理部は、第1単位の時刻と、第2単位の時刻に対応するハッシュ値である第3値とをそれぞれ示す複数の第3データを前記記憶領域から取得し、
前記出力処理部は、前記第2単位の時刻と第3値とを紐付けるハッシュテーブルを参照して、前記取得処理部により取得された第3データごとに、第3データに示されている第3値に対応する前記第2単位の時刻を特定し、第3データに示されている前記第1単位の時刻と、特定した前記第2単位の時刻とからなる時刻に対応するハッシュ値を第2値として算出することで前記対応表を生成する請求項8から10のいずれか1項に記載のデータ利用装置。
The acquisition processing unit acquires a plurality of third data indicating each of the time of the first unit and the third value which is a hash value corresponding to the time of the second unit from the storage area.
The output processing unit refers to a hash table that associates the time of the second unit with the third value, and each third data acquired by the acquisition processing unit is shown in the third data. The time of the second unit corresponding to the three values is specified, and the hash value corresponding to the time consisting of the time of the first unit shown in the third data and the time of the specified second unit is the second. The data utilization device according to any one of claims 8 to 10, which generates the correspondence table by calculating as two values.
前記第1単位は年、前記第2単位は月日時である請求項12に記載のデータ利用装置。 The data utilization device according to claim 12, wherein the first unit is a year and the second unit is a month and time. コンピュータに、
時刻と、当該時刻に得られた値である第1値とをそれぞれ示す複数の第1データを取得する取得処理と、
前記取得処理により取得された第1データごとに、第1データに示されている第1値と、第1データに示されている時刻に一意に対応する値である第2値とを示す第2データを生成し、生成した複数の第2データを、それぞれの第2データに示されている第1値が得られた時刻の順序とは別の順序で並べる混合処理と、
前記混合処理により並べられた複数の第2データを、外部からアクセスされる記憶領域に格納する格納処理と
を実行させるサーバプログラム。
On the computer
An acquisition process for acquiring a plurality of first data indicating a time and a first value obtained at that time, respectively.
For each of the first data acquired by the acquisition process, a first value indicating the first value shown in the first data and a second value indicating a second value uniquely corresponding to the time indicated in the first data. A mixed process in which two data are generated and the generated plurality of second data are arranged in an order different from the order of the time when the first value shown in each second data is obtained.
A server program that executes a storage process of storing a plurality of second data arranged by the mixed process in a storage area accessed from the outside.
コンピュータに、
第1値と、当該第1値が得られた時刻に一意に対応する値である第2値とをそれぞれ示す複数の第2データを外部の記憶領域から取得する取得処理と、
時刻と第2値との対応関係を示す表である対応表を参照して、前記取得処理により取得された第2データごとに、第2データに示されている第2値に対応する時刻を特定し、特定した時刻と、第2データに示されている第1値とを示す第1データを生成し、生成した複数の第1データを出力する出力処理と
を実行させるデータ利用プログラム。
On the computer
An acquisition process for acquiring a plurality of second data indicating a first value and a second value that is a value uniquely corresponding to the time when the first value is obtained from an external storage area.
With reference to the correspondence table, which is a table showing the correspondence between the time and the second value, for each second data acquired by the acquisition process, the time corresponding to the second value shown in the second data is set. A data utilization program that executes an output process that generates first data indicating a specified time and a first value shown in the second data, and outputs a plurality of generated first data.
JP2017200541A 2017-10-16 2017-10-16 Data management system, server device, data utilization device, server program and data utilization program Active JP6916708B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017200541A JP6916708B2 (en) 2017-10-16 2017-10-16 Data management system, server device, data utilization device, server program and data utilization program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017200541A JP6916708B2 (en) 2017-10-16 2017-10-16 Data management system, server device, data utilization device, server program and data utilization program

Publications (2)

Publication Number Publication Date
JP2019074925A JP2019074925A (en) 2019-05-16
JP6916708B2 true JP6916708B2 (en) 2021-08-11

Family

ID=66543309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017200541A Active JP6916708B2 (en) 2017-10-16 2017-10-16 Data management system, server device, data utilization device, server program and data utilization program

Country Status (1)

Country Link
JP (1) JP6916708B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5995644A (en) * 1982-11-22 1984-06-01 Sanyo Electric Co Ltd High-speed processor for measurement data
JP3869618B2 (en) * 2000-03-31 2007-01-17 三洋電機株式会社 Interleave device and interleave restoration device
JP6098294B2 (en) * 2013-03-28 2017-03-22 富士通株式会社 Information concealment device and information concealment method
US10496656B2 (en) * 2014-07-08 2019-12-03 Sap Se Compressing time stamp columns

Also Published As

Publication number Publication date
JP2019074925A (en) 2019-05-16

Similar Documents

Publication Publication Date Title
EP3794487B1 (en) Obfuscation and deletion of personal data in a loosely-coupled distributed system
US9256657B1 (en) Tracking data communicated between services
US20190305932A1 (en) Distributed key management and encryption for blockchains
US20120303616A1 (en) Data Perturbation and Anonymization Using One Way Hash
US20140258226A1 (en) Asynchronous transaction management, systems and methods
US10650476B2 (en) Electronic discovery process using a blockchain
Essa et al. IFHDS: intelligent framework for securing healthcare bigdata
Hou Su et al. Automating ETL and mining of ethereum blockchain network
CN114547204A (en) Data synchronization method and device, computer equipment and storage medium
Yadav et al. Big data analytics for health systems
JP6429962B1 (en) Information processing apparatus, information processing method, and information processing program
Weintraub et al. Data integrity verification in column-oriented NoSQL databases
JP6916708B2 (en) Data management system, server device, data utilization device, server program and data utilization program
CN116910820A (en) Data report processing method, device, computer equipment and storage medium
US10776508B2 (en) Holistic and secure resource provisioning gateway system
Jamil et al. Comprehensive review of challenges & technologies for big data analytics
US11308115B2 (en) Method and system for persisting data
CN115643090A (en) Longitudinal federal analysis method, device, equipment and medium based on privacy retrieval
CN112035471B (en) Transaction processing method and computer equipment
JP7269194B2 (en) Information sharing management method and information sharing management device
JP2022075328A (en) Data management method, computer program, and data management system
JP6606222B1 (en) Log information collection and analysis system
Rahman et al. Building Resilient Digital Forensic Frameworks for NoSQL Database: Harnessing the Blockchain and Quantum Technology
US11922239B1 (en) System and method for abstraction of application programming interface creation without code
JP7300781B1 (en) Data management system, data management method, and data management program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210716

R150 Certificate of patent or registration of utility model

Ref document number: 6916708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150