WO2018117218A1 - データ処理システムおよびデータ処理方法 - Google Patents

データ処理システムおよびデータ処理方法 Download PDF

Info

Publication number
WO2018117218A1
WO2018117218A1 PCT/JP2017/045941 JP2017045941W WO2018117218A1 WO 2018117218 A1 WO2018117218 A1 WO 2018117218A1 JP 2017045941 W JP2017045941 W JP 2017045941W WO 2018117218 A1 WO2018117218 A1 WO 2018117218A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
holding device
processed
stored
information
Prior art date
Application number
PCT/JP2017/045941
Other languages
English (en)
French (fr)
Inventor
啓一郎 柏木
久治 石井
由唯 吉田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US16/471,447 priority Critical patent/US11514083B2/en
Priority to JP2018558067A priority patent/JP6629994B2/ja
Priority to EP17884612.7A priority patent/EP3561679B1/en
Priority to CN201780079851.1A priority patent/CN110088745B/zh
Publication of WO2018117218A1 publication Critical patent/WO2018117218A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/06—Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
    • G06F12/0638—Combination of memories, e.g. ROM and RAM such as to permit replacement or supplementing of words in one module by words in another module
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/168—Details of user interfaces specifically adapted to file systems, e.g. browsing and visualisation, 2d or 3d GUIs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1041—Resource optimization

Definitions

  • Embodiments described herein relate generally to a data processing system and a data processing method.
  • IoT Internet of Things
  • devices devices
  • networks networks
  • an application that performs failure prediction or the like, which is a part of an example using IoT, uses data such as an image captured by a camera (Camera).
  • the characteristics of data such as images are different from the characteristics of general sensor data.
  • Data such as images is binary data (Binary data).
  • Binary data is unstructured data with a large file size.
  • the data processing system for IoT is required to be a system that selects an appropriate data storage method according to the type of data.
  • Sensor data is linked to time-series data and accumulated permanently, and processing is performed in bulk.
  • the latest data is acquired at a high speed. It is required to be a data processing system that achieves both permanent storage of data associated with series data and high speed acquisition of the latest data.
  • An existing data processing system is configured by the following (1) and (2) like the configuration of a general computer.
  • a storage device such as a hard disk, which has a generally large capacity and can store data permanently, but the data reading speed is not relatively high.
  • a data holding device such as a cache that has a relatively high data reading speed but generally has a small capacity and does not store data permanently.
  • a general data processing system has a mechanism for holding an index in a memory in order to increase a data search speed.
  • the number of indexes increases with the number of data. For this reason, when handling very large numbers of data such as sensor data, generating an index becomes a bottleneck when writing data, and the data size of the index can be stored in memory. The problem of exceeding.
  • the value of the latest category is frequently referenced (read). For this reason, even if an index is generated for all data, most of the index is not referred to. For this reason, the effect of speeding up by the index is small.
  • a general data processing system has a mechanism for increasing the reading speed of the same data using a cache.
  • it is not realistic to store the latest value of a large amount of sensor data in a cache having a limited capacity.
  • the reference frequency of the same data is low. For this reason, the effect of increasing the reading speed by using the cache is small.
  • binary data such as images have a large file size and are not structured. For this reason, if binary data is stored in the same database as sensor data, it is necessary to convert the file format, so that high-speed writing and reading are difficult.
  • the application, device, and data processing system interface (Interface) is updated as the data model is updated due to a change in device connection configuration and a change in application requirements. ), And consistency between configuration information is easily lost. For this reason, the management burden for maintaining the I / F consistency of the entire system is large.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a data processing system and a data processing method capable of achieving both improvement in data access speed and persistence of stored data.
  • an aspect of a data processing system includes first and second data storage devices having storage media capable of permanently storing data, and the data stored in the first data storage device. And a data holding device having a storage medium capable of storing at high speed compared to the second data storage device, the type of data to be processed is determined, and the data to be processed is structured data In this case, the data to be processed is stored in the data holding device and stored together in the first data storage device, and the data to be processed is binary data.
  • a system having a controller for storing certain data in the data holding device and a controller for storing the data in the second data storage device.
  • FIG. 1 is a diagram showing a first configuration example of a data processing system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a second configuration example of the data processing system according to the embodiment of the present invention.
  • FIG. 3 is a diagram for explaining processing of the data processing system according to the embodiment of the present invention.
  • FIG. 4 is a flowchart for explaining processing at the time of data processing system data reference (search) in the embodiment of the present invention.
  • a data holding device for example, a cache on a memory
  • the latest data is not always stored in the data holding device.
  • the data processing system first writes data (Data) received from a device or the like into a data holding device, for example, a cache provided in a memory or a memory in a kernel space of an OS (Operating System). Then, the data processing system writes this data and time series information in the data storage device.
  • a data holding device for example, a cache provided in a memory or a memory in a kernel space of an OS (Operating System).
  • OS Operating System
  • the data processing system writes this data and time series information in the data storage device.
  • the data is associated with the time series and is permanently stored in the data storage device, and the latest data can be referred to at high speed.
  • FIG. 1 is a diagram illustrating a first configuration example of a data processing system according to an embodiment of the present invention.
  • a data processing system (data storage / processing system) 10 includes an application I / F providing unit (first interface providing unit) 40, a device side I / F providing unit (second Interface providing unit) 50 and a data processing unit 60.
  • Each unit in the data processing system 10 can be realized by a device such as a personal computer (Personal computer (PC)).
  • the computer device includes a processor such as a CPU (Central Processing Unit), a volatile memory connected to the processor, a nonvolatile memory, a communication interface, and the like.
  • Each part of the data processing system 10 implements various processes by executing a program (Program) stored in the nonvolatile memory by the processor.
  • Program program
  • FIG. 2 is a diagram showing a second configuration example of the data storage processing system in the embodiment of the present invention.
  • the data processing system 10 further includes a setting information generation function unit (setting information generation unit) 20 in addition to the configuration described in FIG. 1.
  • the setting information generation function unit 20 includes an I / F and setting information generation function unit 20a.
  • the I / F and setting information generation function unit 20a includes a common data structure generation source information storage device 30 that stores common data structure generation source information or a file describing the common data structure generation source information.
  • Common data structure generation source information includes (1) application program (also referred to as application or application), (2) device-side I / F, and (3) API (application programming interface).
  • the common data structure generation source information may be a csv file that defines a class, an attribute, a relation, and a json file that defines a relation between instances.
  • the application I / F providing unit 40 has a function of providing an interface for the application 80, for example, an API to the application 80.
  • the data processing unit 60 includes a data holding device 61, a first data storage device 62a, a second data storage device 62b, and a query controller 63.
  • the query controller 63 has a function of processing a request for data reference (acquisition) input from an application or the like.
  • the query controller 63 has a function of determining the type of data stored in the data holding device 61, the first data storage device 62a, or the second data storage device 62b, or the data requested by the query.
  • the query controller 63 stores or acquires data to be processed with any of the data holding device 61, the first data storage device 62a, and the second data storage device 62b according to the determination result. Has a function of exchanging information.
  • the data holding device 61 has a storage medium such as a nonvolatile memory capable of storing data. Under the same cost condition, the storage capacity of the storage medium included in the data holding device 61 is smaller than the storage capacity of the storage medium included in the first data storage device 62a and the storage medium included in the second data storage device 62b. Due to the characteristics of the storage medium, the data holding device 61 has a function of reading data from the storage medium at a high speed and a function of storing new data in the storage medium.
  • the first data storage device 62a has a storage medium such as a nonvolatile memory capable of permanently storing data. Due to the characteristics of the storage medium, the data holding device 61 has a function of permanently storing data that is not binary data in the storage medium and a function of reading data that is not binary data from the storage medium at high speed.
  • the second data storage device 62b has a storage medium such as a nonvolatile memory capable of storing data permanently. Due to the characteristics of the storage medium, the data holding device 61 has a function of permanently storing binary data in the storage medium and a function of reading binary data from the storage medium at high speed. Compared to the storage medium of the first data storage device 62a and the storage medium of the second data storage device 62b, the storage medium included in the data holding device 61 writes data at high speed or reads out data at high speed. It has the characteristics that can be.
  • the device-side I / F providing unit 50 is an interface for an application such as a device driver / protocol converter / sensor / device 90, for example, an API, a device driver / protocol converter / sensor / device 90, etc. It has a function to provide.
  • a device driver / protocol converter / sensor / device may be collectively referred to as a device.
  • the query controller 63 of the data processing system 10 performs processing by the data processing unit 60, that is, the data processing unit 60.
  • the query controller 63 writes the structured data to the data holding device 61 (does not accumulate permanently). Further, the query controller 63 permanently stores the structured data, information serving as a search key for the data, and time information in the first data storage device 62a via the data holding device 61. This maintains the persistence of the structured data.
  • the query controller 63 stores the binary data in the data holding device 61 and the binary data stored in the data holding device 61. Data is permanently stored in the second data storage device 62b. This maintains the persistence of the binary data.
  • the query controller 63 When the query controller 63 stores the binary data in the second data storage device 62b via the data holding device 61, the query controller 63 uses the file name of the binary data stored in the second data storage device 62b, etc.
  • information that becomes Key when searching binary data, for example, a class name, an instance ID, and a time stamp (Time (stamp) may be included.
  • the query controller 63 uses the information that becomes the key to transmit the binary data from the second data storage device 62b via the data holding device 61. Can be obtained.
  • the query controller 63 when the query controller 63 accumulates binary data in the second data storage device 62b, the query controller 63 stores information on the storage destination of this binary data (such as the file path of the second data storage device 62b). The data may be written to the data holding device 61 or the first data storage device 62a through the same route as the structured data. As a result, the query controller 63 retrieves the information on the storage destination of the binary data using the information that becomes the key, and can acquire the information on the storage destination at high speed.
  • the I / F and setting information generation function unit 20a in the setting information generation function unit 20 is configured based on the common data structure generation information stored in the common data structure generation information storage device 30.
  • Application-oriented I / Fs, device-side I / Fs, or portions thereof may be generated so that they are consistent.
  • the query controller 63 may determine the type of data using the data type setting information generated based on the common data structure generator information stored in the common data structure generator information storage device 30.
  • the query controller 63 constantly overwrites the data set already stored in the data holding device 61 with the latest data set with high reference frequency in the structured data, so that the new structured data is obtained in time series. Data can be read at high speed.
  • the query controller 63 uses information that becomes a key when searching for the structured data, for example, a class name, an instance ID, and a time stamp. First, the data holding device 61 is searched, and when the data is not stored in the data holding device 61, the first data storage device 62a is searched via the data holding device 61.
  • the query controller 63 first searches the data holding device 61 using the information that becomes the key when searching for the binary data, and the data is the data holding device. If the data is not stored in 61, the second data storage device 62 b is searched via the data holding device 61.
  • the data processing unit 60 can automatically generate an application-oriented I / F, device-side I / F, and data type setting information.
  • the common data structure generator information stored in the common data structure generator information storage device 30 includes, for example, (1) a csv file that defines a class, an attribute, and a relation, and (2) a json that defines a relation between instances. It may be a file.
  • the I / F and setting information generation function unit 20a includes (1) data type setting information indicating a correspondence relationship between data types, (2) Application-oriented I / F such as REST API, (3) Device-side I / F such as MQTT API, or a part thereof may be generated.
  • the correspondence between data types is, for example, (1) the correspondence between class names and binary data, or (2) the correspondence between class names and structured data (such as json).
  • the end point of the REST API which is an example of an application I / F, may be “/ class name / instance ID / time stamp”.
  • the topic name of MQTT API which is an example of the device side I / F, may be “/ class name / instance ID / time stamp”.
  • the I / F and setting information generation function unit 20a uses the I for application when referring to the data in the data processing unit 60.
  • / F for example, REST API endpoint
  • device-side I / F for example, MQTT API topic (Topic) name
  • I / F for example, REST API endpoint
  • I / F for example, MQTT API topic (Topic) name
  • the query controller 63 selects a database or the like having an appropriate property according to the data type, and the data is stored in the data holding device. 61. Write and read between the first data storage device 62a and the second data storage device 62b.
  • FIG. 3 is a diagram for explaining processing by the data processing system according to the embodiment of the present invention.
  • the data holding device 61, the first data storage device 62a, and the second data storage device 62b described in FIG. 1 include a memory 61-2, a DB (Database) 62a-2, and a file DB 62b.
  • the DB 62a-2 collectively stores structured data having a smaller data size than the binary data stored in the file DB 62b-2.
  • the file DB 62b-2 individually stores binary data having a data size larger than that of the structured data stored in the DB 62a-2.
  • a broker 64 is provided between the query controller 63 and the device-side I / F providing unit 50.
  • the broker 64 exchanges data between the query controller 63 and the device-side I / F providing unit 50.
  • the query controller 63 includes data type setting information and information such as a class name included in a header in an HTTP request that is a request for storing data input from the device driver / protocol converter / sensor / device 90. Match. By this collation, the query controller 63 accumulates from the device driver / protocol converter / sensor / device etc. 90 to the data holding device 61, the first data storage device 62a, and the second data storage device 62b in the data processing unit 60. The object, that is, the type of data to be processed by the data processing unit 60 is determined. As a result of the determination, if the data to be stored is structured data described in a format such as json, the query controller 63 writes the data in the memory 61-2 and also stores the data in the memory 61-2.
  • the data written in is classified on the basis of the common data structure generation source information for each device that generated the data, and the classified data is classified into one or more key information (key information) for acquiring the data. And Value information (measurement data to be stored) are written together in the DB 62a-2.
  • the query controller 63 stores the binary data in the memory 61-2 and generates data from the data written in the memory 61-2.
  • Each of the devices is classified based on the common data structure generation source information, and the classified data is individually written in the file DB 62b-2 in a binary format or in a form that can be searched with the information that becomes the key.
  • the query controller 63 When a data acquisition request (such as HTTP) input from an application is sent to the query controller 63 (S1), the query controller 63 includes data type setting information, information such as a class name included in the header of the data acquisition request, , The type of data that is an acquisition target (search target) from the data processing unit 60 by the query controller 63 is determined.
  • data acquisition request such as HTTP
  • search target information such as a class name included in the header of the data acquisition request
  • the query controller 63 searches the memory 61-2 by using information (class name, instance ID, time stamp, etc.) that becomes Key.
  • the structured data to be acquired is stored in the memory 61-2 (Yes in S3), the structured data to be acquired from the file including the structured data from the memory 61-2.
  • the acquired data is acquired at high speed (S4).
  • the query controller 63 searches the DB 62a-2 using the time information and the information that becomes the key, A file including the structured data to be acquired from the DB 62a-2 is copied to the memory 61-2, and the data to be acquired from the file including the structured data is copied from the memory 61-2 at high speed. (S5).
  • the query controller 63 searches the memory 61-2 using the information that is the above key, and the binary data to be acquired is When stored in the memory 61-2 (Yes in S6), this binary data is acquired from the memory 61-2 at high speed (S7).
  • the query controller 63 uses the information that becomes the key to store the file DB 62b-2 via the memory 61-2.
  • the file containing the binary data to be acquired is copied from the file DB 62b-2 to the memory 61-2, and the binary data to be acquired is acquired from the memory 61-2 at high speed (S8).
  • the query controller 63 returns the data acquired in S4, S5, S7, or S8 to the application as data requested by the data acquisition request (S9). In this way, data can be efficiently acquired by acquiring data using information that becomes a key.
  • the data processing system performs data storage or acquisition processing on a device having appropriate characteristics according to the data type in accordance with the data characteristics of the IoT system.
  • a device having appropriate characteristics according to the data type in accordance with the data characteristics of the IoT system.
  • the data processing system 10 determines the data type using the data type setting information generated based on the common data structure generation source information, thereby maintaining the consistency with the I / F of the application, the device, etc. and the data It is possible to cope with structural changes.
  • IoT platform Platinum
  • the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the scope of the invention in the implementation stage.
  • the embodiments may be appropriately combined as much as possible, and in that case, the combined effect can be obtained.
  • the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements.
  • the method described in each embodiment is a program (software means) that can be executed by a computer (computer), for example, a magnetic disk (floppy disk, hard disk, etc.). Further, it can be stored in a storage medium such as an optical disk (CD-ROM, DVD, MO, etc.), a semiconductor memory (ROM, RAM, flash memory, etc.), or transmitted and distributed via a communication medium.
  • the program stored on the medium side also includes a setting program for configuring software means (including not only the execution program but also the table structure and data structure) to be executed in the computer.
  • a computer that implements this apparatus reads a program stored in a storage medium, constructs software means by a setting program in some cases, and executes the above-described processing by controlling the operation by this software means.
  • the storage medium referred to in this specification is not limited to distribution, and includes storage media such as a magnetic disk and a semiconductor memory provided in a computer or a device connected via a network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

実施形態におけるデータ処理システムは、データを永続的に記憶可能な記憶媒体を有する第１および第２のデータ記憶装置（６２ａ，６２ｂ）と、前記データを前記第１および第２のデータ記憶装置（６２ａ，６２ｂ）と比較して高速に記憶可能な記憶媒体を有するデータ保持装置（６１）と、処理対象であるデータの種別を判別し、前記処理対象であるデータが構造化されたデータである場合に、前記処理対象であるデータを前記データ保持装置（６１）に記憶すると共に、前記処理対象であるデータを前記第１のデータ記憶装置（６２ａ）にまとめて記憶し、前記処理対象であるデータがバイナリデータである場合に、前記処理対象であるデータを前記データ保持装置（６１）に記憶すると共に、前記処理対象であるデータを前記第２のデータ記憶装置（６２ｂ）に記憶するコントローラ（６３）とを有する。

Description

データ処理システムおよびデータ処理方法
　本発明の実施形態は、データ処理システムおよびデータ処理方法に関する。
　近年、様々なセンサ（Sensor）、デバイス（Device）とネットワーク（Network）とを接続し、データ活用を行うＩｏＴ（Internet of Things）が注目されている。ＩｏＴでは多種多様のセンサ、デバイス等からデータが継続的に収集される。このことから、大量で、１つあたりのデータサイズが小さい時系列データを蓄積するデータベースシステム（Database system）が必要である。
　また、ＩｏＴを活用する例の一部である、故障予測等を行なうアプリケーション（Application）は、センサデータに加えて、カメラ（Camera）により撮影した画像等のデータを利用する。画像等のデータの特性は、一般的なセンサデータの特性とは異なる。画像等のデータは、バイナリデータ（Binary data）でなる。バイナリデータは、ファイルサイズが大きく、かつ構造化されていないデータである。
　以上の特性から、ＩｏＴ向けデータ処理システムは、データの種類に応じて適切なデータ蓄積手法を選択するシステムであることが求められる。
　また、ＩｏＴの活用例の多くの場合において、デバイス、センサから直近のタイミングで取得したデータを元に、分析、予測、アクチュエーション（Actuation）等を行なう。このことから、以下の（１）、（２）がシステムの特徴である。
　（１）時系列順に高頻度でデータが記憶装置に書込まれる
　（２）全データのうち時系列上で最新の区分に属する値を参照する頻度が高い
　さらに、ＩｏＴシステムの代表的な活用例は、長期的に記憶（記録、蓄積）したデータを用いた分析およびリアルタイム（Real time）分析に基づく異常検知等が一般的である。このことから、下記の（１）、（２）で示される要求がある（例えば非特許文献１参照）。
　（１）センサデータを時系列データと紐付けて永続的に蓄積し、バルク（Bulk）で処理を行う
　（２）最新のデータを高い速度で取得する
　以上の要求から、ＩｏＴ向けシステムは、時系列データに紐付けられたデータの永続的蓄積と最新のデータの取得の高速性とを両立するデータ処理システムであることが求められる。
　既存のデータ処理システムは、一般的なコンピュータ（Computer）の構成のように、以下の（１）、（２）により構成される。
　（１）ハードディスク（Hard disk）等のように、容量が一般的に大きく、データを永続的に記憶可能であるが、データの読み出し速度が比較的高くない記憶装置
　（２）メモリ（Memory）に設けられるキャッシュ（Cache）等のように、データの読み出し速度が比較的高いが、容量が一般的に小さく、データを永続的に保存しないデータ保持装置
　一般的なデータ処理システムは、データの検索速度を高くするために、インデックス（Index）をメモリに保持する仕組みを有する。しかし、インデックスの数はデータ数に応じて増加する。このため、センサデータのように、数が非常に多いデータを扱う場合、インデックスを生成することがデータ書き込み時のボトルネック（Bottleneck）となるとともに、インデックスのデータサイズがメモリに記憶可能なデータサイズを超えるという課題が生じる。
　さらに、センサデータでは、最新の区分の値が参照される（読み込まれる）頻度が高い。このため、全データについてインデックスを生成したとしても、このインデックスの大部分は参照されない。このため、インデックスによる高速化の効果は小さい。
　さらに、一般的なデータ処理システムは、キャッシュを用いて同一のデータの読み込み速度を高くする仕組みを有する。しかし、容量が限られたキャッシュに大量のセンサデータの最新値を保持させることは現実的ではない。さらに、時系列順に最新値が常時更新されるセンサデータに関しては、同一のデータの参照頻度が低い。このため、キャッシュを用いることによる読み込み速度の高速化の効果は小さい。
　これらの書き込みおよび読み込み時の課題があるため、インデックスを用いたデータベースおよびキャッシュを単純に用いる従来の構成では、センサデータの高速な処理と保存データの永続化との両立が難しかった。
　また、画像等のバイナリデータは、構造化されておらずファイルサイズが大きい特徴を有する。このため、バイナリデータをセンサデータと同じデータベースに保存すると、ファイル形式を変換する必要があるため、高速な書き込みおよび読み込みが難しい。
　さらに、データ処理システムでは、デバイス接続構成の変更およびアプリ要件の変更が発生することにより、データモデルが更新されること等に伴い、アプリケーション、デバイス、データ処理系のＩ／Ｆ（インタフェース（Interface））、および設定情報の間の整合性が失われやすい。このため、システム全体のＩ／Ｆの整合性を維持するための管理負担が大きい。
　上記のように、ＩｏＴ分野では従来のデバイスよりも多数のセンサデータの処理を要求される。さらに、長期的な分析とリアルタイム分析との両方が処理対象となりうるため、時系列データを永続的に蓄積することと、データの最新値を高速かつ高頻度に読み込むことがそれぞれ求められる。また、センサデータ等の、データサイズが小さい、構造化されたデータと、画像データ等の、データサイズが大きい（構造化されたデータと比較してデータサイズが大きい）バイナリデータとの両方を蓄積する仕組みが必要である。
　従来のデータ処理システムでは、時系列の大量の構造化されたデータ、バイナリデータについて書き込み速度および読み込み速度の向上と保存データの永続性とを共に達成することが難しい。
　本発明はこのような事情に鑑みてなされたものであり、その目的は、データのアクセス速度の向上と保存データの永続性とを両立できるデータ処理システムおよびデータ処理方法を提供することである。
　上記目的を達成するために、この発明の実施形態におけるデータ処理システムの態様は、データを永続的に記憶可能な記憶媒体を有する第１および第２のデータ記憶装置と、前記データを前記第１および第２のデータ記憶装置と比較して高速に記憶可能な記憶媒体を有するデータ保持装置と、処理対象であるデータの種別を判別し、前記処理対象であるデータが構造化されたデータである場合に、前記処理対象であるデータを前記データ保持装置に記憶すると共に、前記第１のデータ記憶装置にまとめて記憶し、前記処理対象であるデータがバイナリデータである場合に、前記処理対象であるデータを前記データ保持装置に記憶すると共に、前記第２のデータ記憶装置に記憶するコントローラとを有するシステムを提供する。
　本発明によれば、データのアクセス速度の向上と保存データの永続性とを両立することが可能になる。
図１は、本発明の実施形態におけるデータ処理システムの第１の構成例を示す図である。 図２は、本発明の実施形態におけるデータ処理システムの第２の構成例を示す図である。 図３は、本発明の実施形態におけるデータ処理システムの処理について説明する図である。 図４は、本発明の実施形態におけるデータ処理システムデータ参照（検索）時の処理について説明するフローチャートである。
実施形態
　以下、発明の実施形態のデータ処理方法が適用されたデータ処理システムを、図面を参照して説明する。　
　本実施形態では、ＩｏＴ分野では、状態監視等を定期的に実行するアプリケーションが多く、データ検索において最新の時刻のデータを読み込む頻度が高い特徴を有することに注目した。本実施形態では、データ保持装置に最近の時刻のデータを保持することでデータを高速に読み込むことを可能とする。
　従来の一般的な構成では、アクセスされる頻度が高いデータが、データ保持装置、例えばメモリ上のキャッシュ等に保持され、最新のデータが必ずしもデータ保持装置に記憶されているとは限らない。　
　この場合、データを永続的に記憶するデータ記憶装置、例えばハードディスク等からデータを読み込む必要がある。データ記憶装置からのデータを読み込み速度は、データ保持装置からのデータの読み込み速度より遅いため、最新のデータを読み込むためにかかる時間が長くなってしまう。
　そこで、本実施形態では、データ処理システムは、デバイス等から受け取ったデータ（Data）を、まず、データ保持装置、例えばメモリに設けられるキャッシュまたはOS（Operating System）のカーネル空間のメモリ等に書き込む。そして、データ処理システムは、このデータおよび時系列情報をデータ記憶装置に書き込む。これにより、データを時系列と紐付けてデータ記憶装置に永続的に保存し、かつ最新のデータを高速に参照可能とした。
　図１は、本発明の実施形態におけるデータ処理システムの第１の構成例を示す図である。
　図１に示すように、実施形態におけるデータ処理システム（データ蓄積・処理システム）１０は、アプリケーション向けＩ／Ｆ提供部（第１のインタフェース提供部）４０、デバイス側Ｉ／Ｆ提供部（第２のインタフェース提供部）５０、データ処理部６０を備える。　
　データ処理システム１０内の各部は、例えばパーソナルコンピュータ（Personal computer（ＰＣ））などのコンピュータデバイスとした装置により実現することができる。例えば、コンピュータデバイスは、ＣＰＵ（Central Processing Unit）などのプロセッサ（Processor）と、プロセッサに接続される揮発性メモリと、不揮発性メモリと、通信インタフェースなどを備える。プロセッサが不揮発性メモリに記憶したプログラム（Program）を実行することにより、データ処理システム１０の各部は、各種の処理を実現する。
　図２は、本発明の実施形態におけるデータ蓄積処理システムの第２の構成例を示す図である。　
　図２に示した例では、データ処理システム１０は、図１で説明した構成に加え、設定情報生成機能部（設定情報生成部）２０をさらに備える。この設定情報生成機能部２０は、Ｉ／Ｆおよび設定情報生成機能部２０ａを有する。　
　このＩ／Ｆおよび設定情報生成機能部２０ａは、共通データ構造生成元情報、またはそれを記述したファイルを記憶する共通データ構造生成元情報記憶装置３０を備える。　
　共通データ構造生成元情報は、（１）アプリケーションプログラム（Application）（アプリケーションまたはアプリと称することもある）、（２）デバイス側Ｉ／Ｆ、（３）ＡＰＩ（アプリケーションプログラミングインタフェース（Application programming interface））、（４）データ処理部向け設定情報、（５）各種Ｉ／Ｆ等、の生成元としての共通の情報である。　
　共通データ構造生成元情報は、クラス（Class）、アトリビュート（Attribute）、リレーション（Relation）を定義したｃｓｖファイル、およびインスタンス（Instance）間のリレーションを定義したｊｓｏｎファイルであってもよい。
　以下、設定情報生成機能部２０、アプリケーション向けＩ／Ｆ提供部４０、デバイス側Ｉ／Ｆ提供部５０、データ処理部６０についてそれぞれ説明する。
　アプリケーション向けＩ／Ｆ提供部４０は、アプリケーション８０向けのインタフェース、例えばＡＰＩをアプリケーション８０に提供する機能を有する。
　データ処理部６０は、データ保持装置６１、第１のデータ記憶装置６２ａ、第２のデータ記憶装置６２ｂ，クエリ（Query）コントローラ６３を有する。
　クエリコントローラ６３は、アプリケーション等から入力されたデータ参照（取得）等の要求を処理する機能を有する。クエリコントローラ６３は、データ保持装置６１、第１のデータ記憶装置６２ａ、または第２のデータ記憶装置６２ｂに蓄積されるデータ、もしくはクエリにより要求されるデータの種類を判別する機能を有する。　
　クエリコントローラ６３は、この判別の結果に応じて、データ保持装置６１、第１のデータ記憶装置６２ａ、第２のデータ記憶装置６２ｂのいずれかとの間で、処理対象となるデータの蓄積または取得のためのやり取りを行なう機能を有する。
　データ保持装置６１は、データを記憶可能な不揮発性メモリなどの記憶媒体を有する。同じコストの条件下では、データ保持装置６１が有する記憶媒体の記憶容量は、第１のデータ記憶装置６２ａが有する記憶媒体および第２のデータ記憶装置６２ｂが有する記憶媒体の容量より少ない。　
　この記憶媒体が有する特性により、データ保持装置６１は、この記憶媒体からデータを高速に読み出す機能と、新たなデータを当該記憶媒体に保存する機能を有する。　
　第１のデータ記憶装置６２ａは、データを永続的に可能な不揮発性メモリなどの記憶媒体を有する。この記憶媒体が有する特性により、データ保持装置６１は、この記憶媒体に対し、バイナリデータでないデータを永続的に蓄積する機能と、この記憶媒体からバイナリデータでないデータを高速に読み出す機能とを有する。
　第２のデータ記憶装置６２ｂは、データを永続的に記憶可能な不揮発性メモリなどの記憶媒体を有する。この記憶媒体が有する特性により、データ保持装置６１は、この記憶媒体に対し、バイナリデータを永続的に蓄積する機能と、この記憶媒体からバイナリデータを高速に読み出す機能を有する。　
　データ保持装置６１が有する記憶媒体は、第１のデータ記憶装置６２ａが有する記憶媒体および第２のデータ記憶装置６２ｂが有する記憶媒体と比較して、データを高速に書き込み、またはデータを高速に読み出すことができる特性を有する。
　デバイス側Ｉ／Ｆ提供部５０は、デバイスドライバ（Device driver）／プロトコルコンバータ（Protocol converter）／センサ／デバイス等９０のアプリケーション向けのインタフェース、例えばＡＰＩを、デバイスドライバ／プロトコルコンバータ／センサ／デバイス等９０に提供する機能を有する。デバイスドライバ（Device driver）／プロトコルコンバータ（Protocol converter）／センサ／デバイス等を総称してデバイスと呼ぶこともある。
　デバイスドライバ／プロトコルコンバータ／センサ／デバイス等９０から入力されたデータをデータ処理部６０へ蓄積するときに、データ処理システム１０のクエリコントローラ６３は、データ処理部６０による処理対象、つまりデータ処理部６０内のデータ保持装置６１、第１のデータ記憶装置６２ａまたは第２のデータ記憶装置６２ｂへの蓄積対象）であるデータの種類を判別する。このデータが構造化されたデータであるとき、クエリコントローラ６３は、当該構造化されたデータをデータ保持装置６１に書き込む（永続的には蓄積しない）。　
　また、クエリコントローラ６３は、この構造化されたデータ及び当該データの検索キーとなる情報ならびに時刻情報をデータ保持装置６１を経由して第１のデータ記憶装置６２ａに永続的に蓄積する。これにより、構造化されたデータの永続性を維持する。
　また、上記の判別されたデータが構造化されたデータでなくバイナリデータであるとき、クエリコントローラ６３は、このバイナリデータをデータ保持装置６１に蓄積すると共に、このデータ保持装置６１に蓄積されたバイナリデータを第２のデータ記憶装置６２ｂに永続的に蓄積する。これにより、バイナリデータの永続性を維持する。
　クエリコントローラ６３がデータ保持装置６１を経由してバイナリデータを第２のデータ記憶装置６２ｂに蓄積する際、クエリコントローラ６３は、この第２のデータ記憶装置６２ｂに蓄積されるバイナリデータのファイル名等に対し、バイナリデータを検索する際のＫｅｙとなる情報（Ｋｅｙ情報）、例えばクラス名、インスタンスＩＤ、タイムスタンプ（Time stamp）を含めてもよい。これにより、後にバイナリデータを第２のデータ記憶装置６２ｂから取得する時に、クエリコントローラ６３は、このＫｅｙとなる情報を用いてバイナリデータを第２のデータ記憶装置６２ｂからデータ保持装置６１を経由して取得できる。
　また、同じく、クエリコントローラ６３がバイナリデータを第２のデータ記憶装置６２ｂに蓄積するとき、クエリコントローラ６３は、このバイナリデータの保存先の情報（第２のデータ記憶装置６２ｂのファイルパス等）を、構造化されたデータと同様の経路でデータ保持装置６１または第１のデータ記憶装置６２ａに書き込んでもよい。これにより、クエリコントローラ６３は、バイナリデータの保存先の情報を、上記のＫｅｙとなる情報を用いて検索し、この保存先の情報を高速に取得できる。
　また、設定情報生成機能部２０内のＩ／Ｆおよび設定情報生成機能部２０ａは、共通データ構造生成元情報記憶装置３０に記憶される共通データ構造生成元情報に基づいて、データ種別設定情報、アプリケーション向けＩ／Ｆ、デバイス側Ｉ／Ｆ、またはそれらの一部を、これらが一貫性を有するように生成してもよい。
　クエリコントローラ６３は、共通データ構造生成元情報記憶装置３０に記憶される共通データ構造生成元情報に基づいて生成されたデータ種別設定情報を用いて、データの種類を判別してもよい。
　さらに、クエリコントローラ６３が、構造化されたデータにおける、参照頻度の高い最新のデータセットをデータ保持装置６１に既に記憶されているデータセットに常に上書きすることにより、時系列的に新しい構造化されたデータを高速に読み込み可能である。
　データ読み込み時に、読み込みが要求されたデータの種別を判別する。この種別が、ｊｓｏｎ等の構造化されたデータである場合には、クエリコントローラ６３は、この構造化されたデータを検索するときのＫｅｙとなる情報、例えばクラス名、インスタンスＩＤ、タイムスタンプを用いて、まずデータ保持装置６１を検索し、データがデータ保持装置６１に記憶されていなかった場合にデータ保持装置６１を経由して第１のデータ記憶装置６２ａを検索する。
　一方、判別した種別がバイナリデータである場合には、クエリコントローラ６３は、上記のバイナリデータを検索するときのＫｅｙとなる情報を用いて、まずデータ保持装置６１を検索し、データがデータ保持装置６１に記憶されていなかった場合にデータ保持装置６１を経由して第２のデータ記憶装置６２ｂを検索する。
　次に、本発明の実施形態におけるデータ処理システムによる処理について説明する。　
　データ処理部６０は、アプリ向けＩ／Ｆ、デバイス側Ｉ／Ｆ、およびデータ種別設定情報を自動的に生成することができる。
　共通データ構造生成元情報記憶装置３０に記憶される共通データ構造生成元情報は、例えば、（１）クラス・アトリビュート・リレーション等を定義したｃｓｖファイル、および（２）インスタンス間のリレーションを定義したｊｓｏｎファイルであってもよい。
　共通データ構造生成元情報記憶装置３０に記憶される共通データ構造生成元情報に基づいて、Ｉ／Ｆおよび設定情報生成機能部２０ａは、（１）データ種別の対応関係を表すデータ種別設定情報、（２）ＲＥＳＴ　ＡＰＩ等のアプリ向けＩ／Ｆ、（３）ＭＱＴＴ　ＡＰＩ等のデバイス側Ｉ／Ｆ、またはそれらの一部を生成してもよい。　
　データ種別の対応関係は、例えば、（１）クラス名とバイナリデータとの対応関係、または（２）クラス名と構造化されたデータ（ｊｓｏｎ等）との対応関係である。
　アプリ向けＩ／Ｆの一例である、ＲＥＳＴ　ＡＰＩのｅｎｄｐｏｉｎｔは、「／クラス名／インスタンスＩＤ／タイムスタンプ」でもよい。また、デバイス側Ｉ／Ｆの一例である、ＭＱＴＴ　ＡＰＩのトピック名は、「／クラス名／インスタンスＩＤ／タイムスタンプ」でもよい。
　また、共通データ構造生成元情報に基づいて生成された上記のデータ種別設定情報に基づき、Ｉ／Ｆおよび設定情報生成機能部２０ａは、データ処理部６０内のデータを参照するときのアプリ向けＩ／Ｆ（例えば、ＲＥＳＴ　ＡＰＩのｅｎｄｐｏｉｎｔ）およびデバイス側Ｉ／Ｆ（例えば、ＭＱＴＴ　ＡＰＩのトピック（Topic）名）を、一貫性が維持されるＩ／Ｆとして一元的に生成してもよい。
　また、ＨＴＴＰリクエスト（Request）のクラス名等の情報およびデータ種別設定情報に基づき、クエリコントローラに６３は、適切な性質を有するデータベース等を、データの種別に応じて選択し、データをデータ保持装置６１、第１のデータ記憶装置６２ａ、第２のデータ記憶装置６２ｂの間で書き込みおよび読み出しする。
　図３は、本発明の実施形態におけるデータ処理システムによる処理について説明する図である。　
　次に、図３を参照してデータ蓄積時の処理について説明する。図３に示した例では、図１で説明したデータ保持装置６１、第１のデータ記憶装置６２ａ、第２のデータ記憶装置６２ｂが、メモリ６１－２、ＤＢ（Database）６２ａ－２、ファイルＤＢ６２ｂ－２に１対１で対応する。ＤＢ６２ａ－２は、ファイルＤＢ６２ｂ－２に記憶するバイナリデータと比較してデータサイズが小さい構造化されたデータをまとめて記憶する。ファイルＤＢ６２ｂ－２は、ＤＢ６２ａ－２に記憶する構造化されたデータと比較してデータサイズが大きいバイナリデータを個別に記憶する。また、図３に示した例では、クエリコントローラ６３とデバイス側Ｉ／Ｆ提供部５０との間にブローカ（Broker）６４が設けられる。ブローカ６４は、クエリコントローラ６３とデバイス側Ｉ／Ｆ提供部５０との間でデータをやり取りする。
　クエリコントローラ６３は、データ種別設定情報と、デバイスドライバ／プロトコルコンバータ／センサ／デバイス等９０から入力されたデータを蓄積する要求であるＨＴＴＰリクエストにおけるヘッダ（Header）に含まれるクラス名などの情報とを照合する。この照合により、クエリコントローラ６３は、デバイスドライバ／プロトコルコンバータ／センサ／デバイス等９０からデータ処理部６０内のデータ保持装置６１、第１のデータ記憶装置６２ａ、第２のデータ記憶装置６２ｂへ蓄積する対象、つまり、データ処理部６０による処理対象であるデータの種別を判別する。　
　判別の結果、上記の蓄積対象であるデータが、ｊｓｏｎ等の形式で記述された構造化されたデータである場合、クエリコントローラ６３は、データをメモリ６１－２に書き込むとともに、このメモリ６１－２に書き込まれたデータを、データを生成したデバイス毎に、共通データ構造生成元情報に基づいて分類し、この分類したデータを、当該データの取得用の１つまたは複数のＫｅｙ情報（キー情報）とＶａｌｕｅ情報（蓄積対象である測定データ）とともにＤＢ６２a－２にまとめて書き込む。
　上記の蓄積対象であるデータが、画像等のバイナリデータであるとき、クエリコントローラ６３は、このバイナリデータをメモリ６１－２に蓄積すると共に、メモリ６１－２に書き込まれたデータを、データを生成したデバイス毎に、共通データ構造生成元情報に基づいて分類し、この分類したデータを、バイナリ形式で、また、Ｋｅｙとなる情報で検索可能な形でファイルＤＢ６２ｂ－２に個別に書き込む。
　次に、図３、図４を参照してデータ参照（検索）時の処理について説明する。　
　アプリケーションから入力されたデータ取得要求（ＨＴＴＰなど）がクエリコントローラ６３に送られると（Ｓ１）、クエリコントローラ６３は、データ種別設定情報と、データ取得要求のヘッダに含まれるクラス名などの情報と、を照合することで、クエリコントローラ６３によるデータ処理部６０からの取得対象（検索対象）であるデータの種別を判別する。
　取得対象であるデータが構造化されたデータであるとき（Ｓ２のＹｅｓ）、クエリコントローラ６３は、Ｋｅｙとなる情報（クラス名・インスタンスＩＤ・タイムスタンプ等）を用いてメモリ６１－２を検索し、取得対象である構造化されたデータがメモリ６１－２に蓄積されているとき（Ｓ３のＹｅｓ）、メモリ６１－２から、この構造化されたデータを含むファイル中から取得対象である構造化されたデータを高速に取得する（Ｓ４）。　
　また、取得対象である構造化されたデータがメモリ６１－２に蓄積されていないとき（Ｓ３のＮｏ）、クエリコントローラ６３は、時刻情報およびＫｅｙとなる情報を用いてＤＢ６２ａ－２を検索し、このＤＢ６２ａ－２から取得対象である構造化されたデータを含むファイルをメモリ６１－２にコピーし、メモリ６１－２から、この構造化されたデータを含むファイル中から取得対象であるデータを高速に取得する（Ｓ５）。
　取得対象であるデータがバイナリデータ（画像など）である場合（Ｓ２のＮｏ）、クエリコントローラ６３は、上記のＫｅｙとなる情報を用いてメモリ６１－２を検索し、取得対象であるバイナリデータがメモリ６１－２に蓄積されているとき（Ｓ６のＹｅｓ）、このバイナリデータをメモリ６１－２から高速に取得する（Ｓ７）。
　また、取得対象であるバイナリデータがメモリ６１－２に蓄積されていないとき（Ｓ６のＮｏ）、クエリコントローラ６３は、Ｋｅｙとなる情報を用いてメモリ６１－２を経由してファイルＤＢ６２ｂ－２を検索し、このファイルＤＢ６２ｂ－２から取得対象であるバイナリデータを含むファイルをメモリ６１－２にコピーし、メモリ６１－２から取得対象であるバイナリデータを高速に取得する（Ｓ８）。クエリコントローラ６３は、Ｓ４、Ｓ５、Ｓ７、またはＳ８により取得したデータを、データ取得要求により要求されたデータとしてアプリケーションに返す（Ｓ９）。このように、Ｋｅｙとなる情報を用いてデータを取得することで、効率的にデータを取得できる。
　（発明の効果）
　本発明の実施形態では、データ処理システムは、ＩｏＴシステムのデータ特性に合わせて、データ種別に応じて、適切な特性を有する装置にデータの保存または取得処理を行なう。これにより、時系列データを永続的に蓄積可能で、かつ、参照頻度が高い最新のデータを高速に読み出し可能であるシステムを構築することができる。
　また、データ処理システム１０が、共通データ構造生成元情報に基づいて生成されたデータ種別設定情報を用いてデータ種別を判別することで、アプリケーションおよびデバイス等のＩ／Ｆとの整合性保持およびデータ構造の変更に対応することが可能である。本発明の実施形態では、バイナリデータおよび時系列データを扱うアプリケーションおよびデバイスと接続可能なデータ処理システム、ならびに、このシステムに基づくＩｏＴプラットフォーム（Platform）を構築することが可能である。
　なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。
　また、各実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウエア（Software）手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク（Floppy disk）、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ（Flash memory）等）等の記憶媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段（実行プログラムのみならずテーブル（Table）構造およびデータ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記憶媒体に記憶されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記憶媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクおよび半導体メモリ等の記憶媒体を含む。

Claims (7)

  1. 　データを永続的に記憶可能な記憶媒体を有する第１および第２のデータ記憶装置（６２ａ，６２ｂ）と、
    　前記データを前記第１および第２のデータ記憶装置（６２ａ，６２ｂ）と比較して高速に記憶可能な記憶媒体を有するデータ保持装置（６１）と、
    　　処理対象であるデータの種別を判別し、
    　　前記処理対象であるデータが構造化されたデータである場合に、前記処理対象であるデータを前記データ保持装置（６１）に記憶すると共に、前記処理対象であるデータを前記第１のデータ記憶装置（６２ａ）に記憶し、
    　　前記処理対象であるデータがバイナリデータである場合に、前記処理対象であるデータを前記第２のデータ記憶装置（６２ｂ）に記憶するコントローラ（６３）と
    を備えるデータ処理システム。
  2. 　前記コントローラ（６３）に用いる設定情報を生成する設定情報生成部（２０）と、
    　前記設定情報の生成元の情報である生成元情報を記憶する記憶装置（３０）と
    をさらに備え、
    　前記コントローラ（６３）は、
    　前記設定情報生成部（２０）により生成された設定情報に基づいて、前記処理対象であるデータの種別を判別する
    請求項１に記載のデータ処理システム。
  3. 　アプリケーションに用いるインタフェースを前記アプリケーションへ提供する第１のインタフェース提供部（４０）と、
    　デバイスに用いるインタフェースを前記デバイスへ提供する第２のインタフェース提供部（５０）とをさらに備え、
    　前記設定情報生成部（２０）は、
    　前記アプリケーションに用いるインタフェースと前記デバイスに用いるインタフェースとの一貫性を有する前記設定情報を前記生成元情報を用いて生成する
    請求項２に記載のデータ処理システム。
  4. 　アプリケーションに用いるインタフェースを前記アプリケーションへ提供する第１のインタフェース提供部（４０）と、
    　デバイスに用いるインタフェースを前記デバイスへ提供する第２のインタフェース提供部（５０）とをさらに備え、
    　前記生成元情報は、
    　前記アプリケーションに用いるインタフェース、前記デバイスに用いるインタフェース、前記設定情報をそれぞれ生成するための共通の情報としての共通データ構造生成元情報である
    請求項２に記載のデータ処理システム。
  5. 　前記コントローラ（６３）は、
    　　前記処理対象であるデータが前記構造化されたデータであるときに、前記処理対象であるデータを前記データ保持装置（６１）に記憶すると共に、前記データ保持装置（６１）に記憶された前記構造化されたデータを、データを生成したデバイス毎に分類し、前記バイナリデータと比較してサイズが小さいデータを、前記構造化されたデータの取得用のキー情報および時刻情報とともに前記第１のデータ記憶装置（６２ａ）にまとめて記憶し、
    　　取得対象であるデータが前記構造化されたデータであるときに、前記キー情報を用いて前記データ保持装置（６１）を検索し、
    　　前記取得対象である前記構造化されたデータが前記データ保持装置（６１）に記憶されているときは、この構造化されたデータを含むファイル中から取得対象である構造化されたデータを検索して前記データ保持装置（６１）から取得し、
    　　前記取得対象である構造化されたデータが前記データ保持装置（６１）に記憶されていないときは、前記キー情報および前記時刻情報を用いて、前記第１のデータ記憶装置（６２ａ）から前記取得対象である構造化されたデータを含むファイルを前記データ保持装置（６１）にコピーし、前記データ保持装置（６１）から、この構造化されたデータを含むファイル中から取得対象である構造化されたデータを検索して取得する
    請求項１ないし請求項４のいずれか１項に記載のデータ処理システム。
  6. 　前記コントローラ（６３）は、
    　　前記処理対象であるデータが前記バイナリデータであるときに、前記処理対象であるデータを前記データ保持装置（６１）に記憶すると共に、前記データ保持装置（６１）に記憶された前記バイナリデータを、データを生成したデバイス毎に分類し、前記構造化されたデータと比較してサイズが大きいデータを、前記バイナリデータの取得用のキー情報とともに前記第２のデータ記憶装置（６２ｂ）に個別に記憶し、
    　　取得対象であるデータが前記バイナリデータであるときに、前記キー情報を用いて前記データ保持装置（６１）を検索し、
    　　前記取得対象である前記バイナリデータが前記データ保持装置（６１）に記憶されているときは、このバイナリデータを前記データ保持装置（６１）から取得し、
    　　前記取得対象である前記バイナリデータが前記データ保持装置（６１）に記憶されていないときは、前記キー情報を用いて、前記第２のデータ記憶装置（６２ｂ）から前記取得対象であるバイナリデータを含むファイルを前記データ保持装置（６１）にコピーし、前記データ保持装置（６１）からこのバイナリデータを取得する
    請求項１ないし請求項４のいずれか１項に記載のデータ処理システム。
  7. 　データ処理システムにおいて実施されるデータ処理方法であって、
    　前記データ処理システムが、
    　　データを永続的に記憶可能な記憶媒体を有する第１および第２のデータ記憶装置（６２ａ，６２ｂ）と、前記データを前記第１および第２のデータ記憶装置（６２ａ，６２ｂ）と比較して高速に記憶可能な記憶媒体を有するデータ保持装置（６１）とを有し、
    　　処理対象であるデータの種別を判別し、
    　　前記処理対象であるデータを前記データ保持装置（６１）に記憶すると共に、前記処理対象であるデータが構造化されたデータである場合に、前記処理対象であるデータを前記第１のデータ記憶装置（６２ａ）に記憶し、
    　　前記処理対象であるデータがバイナリデータである場合に、前記処理対象であるデータを前記第２のデータ記憶装置（６２ｂ）に記憶する
    データ処理方法。
PCT/JP2017/045941 2016-12-22 2017-12-21 データ処理システムおよびデータ処理方法 WO2018117218A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/471,447 US11514083B2 (en) 2016-12-22 2017-12-21 Data processing system and data processing method
JP2018558067A JP6629994B2 (ja) 2016-12-22 2017-12-21 データ処理システムおよびデータ処理方法
EP17884612.7A EP3561679B1 (en) 2016-12-22 2017-12-21 Data processing system and data processing method
CN201780079851.1A CN110088745B (zh) 2016-12-22 2017-12-21 数据处理系统以及数据处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016249723 2016-12-22
JP2016-249723 2016-12-22

Publications (1)

Publication Number Publication Date
WO2018117218A1 true WO2018117218A1 (ja) 2018-06-28

Family

ID=62626785

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/045941 WO2018117218A1 (ja) 2016-12-22 2017-12-21 データ処理システムおよびデータ処理方法

Country Status (5)

Country Link
US (1) US11514083B2 (ja)
EP (1) EP3561679B1 (ja)
JP (1) JP6629994B2 (ja)
CN (1) CN110088745B (ja)
WO (1) WO2018117218A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020010192A (ja) * 2018-07-09 2020-01-16 横河電機株式会社 データ収集システム及びデータ収集方法
CN112579834A (zh) * 2021-02-22 2021-03-30 北京工业大数据创新中心有限公司 一种工业设备数据的存储方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3731128B1 (en) * 2017-12-20 2024-07-24 FeliCa Networks, Inc. Information processing device and information processing method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009265840A (ja) * 2008-04-23 2009-11-12 Internatl Business Mach Corp <Ibm> データベースのキャッシュシステム
JP2010227326A (ja) * 2009-03-27 2010-10-14 Advanced Telecommunication Research Institute International 行動識別システム
JP2010271862A (ja) * 2009-05-20 2010-12-02 Toshiba Corp 情報処理システムおよび情報処理装置
JP2015026167A (ja) * 2013-07-25 2015-02-05 株式会社東芝 警報管理装置および警報管理方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1450275A3 (en) 1996-10-31 2007-08-08 Sensormatic Electronics Corporation Intelligent video information management system
JP2002055995A (ja) * 2000-05-31 2002-02-20 Canon Inc 情報処理方法及び装置
JP2002202905A (ja) * 2000-10-27 2002-07-19 Canon Inc データ蓄積方法及び装置、並びに記憶媒体
JP4810009B2 (ja) * 2001-06-27 2011-11-09 キヤノン株式会社 データ処理装置、方法およびプログラム
JP4194588B2 (ja) * 2005-08-12 2008-12-10 キヤノン株式会社 再生装置及び再生方法
JP2008024385A (ja) 2006-07-18 2008-02-07 Toppan Forms Co Ltd 物品管理システム
EP2115627B1 (en) * 2007-01-07 2017-10-18 Apple Inc. Synchronization methods and systems
US7979627B2 (en) * 2007-05-14 2011-07-12 Buffalo Inc. Storage device with binary and multivalued memory
JP4944812B2 (ja) * 2008-02-20 2012-06-06 株式会社リコー 情報処理システムと情報処理方法とプログラム
EP2377055A4 (en) * 2008-12-30 2013-04-17 Intelligent Spatial Technologies Inc MOBILE IMAGE SEARCH AND INDEXING SYSTEM AND METHOD
US20140365861A1 (en) * 2011-04-25 2014-12-11 Google Inc. Prefetching binary data for use by a browser plugin
US20120317337A1 (en) * 2011-06-09 2012-12-13 Microsoft Corporation Managing data placement on flash-based storage by use
GB2506164A (en) * 2012-09-24 2014-03-26 Ibm Increased database performance via migration of data to faster storage
JP6172508B2 (ja) 2013-06-25 2017-08-02 富士電機機器制御株式会社 データ収集システム及び有線・無線変換器
US10261942B2 (en) 2014-05-01 2019-04-16 Longsand Limited Embedded processing of structured and unstructured data using a single application protocol interface (API)
JP5948399B2 (ja) 2014-12-04 2016-07-06 日本電信電話株式会社 情報記録装置、方法およびプログラム
US20160210306A1 (en) * 2015-01-15 2016-07-21 Commvault Systems, Inc. Managing structured data in a data storage system
JP6516630B2 (ja) * 2015-08-26 2019-05-22 キヤノン株式会社 メモリ制御回路及びその制御方法
US10216740B2 (en) * 2016-03-31 2019-02-26 Acronis International Gmbh System and method for fast parallel data processing in distributed storage systems
CN106095796A (zh) * 2016-05-30 2016-11-09 中国邮政储蓄银行股份有限公司 分布式数据存储方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009265840A (ja) * 2008-04-23 2009-11-12 Internatl Business Mach Corp <Ibm> データベースのキャッシュシステム
JP2010227326A (ja) * 2009-03-27 2010-10-14 Advanced Telecommunication Research Institute International 行動識別システム
JP2010271862A (ja) * 2009-05-20 2010-12-02 Toshiba Corp 情報処理システムおよび情報処理装置
JP2015026167A (ja) * 2013-07-25 2015-02-05 株式会社東芝 警報管理装置および警報管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3561679A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020010192A (ja) * 2018-07-09 2020-01-16 横河電機株式会社 データ収集システム及びデータ収集方法
JP7073952B2 (ja) 2018-07-09 2022-05-24 横河電機株式会社 データ収集システム及びデータ収集方法
CN112579834A (zh) * 2021-02-22 2021-03-30 北京工业大数据创新中心有限公司 一种工业设备数据的存储方法及系统

Also Published As

Publication number Publication date
EP3561679A4 (en) 2020-08-19
US20200192916A1 (en) 2020-06-18
EP3561679A1 (en) 2019-10-30
EP3561679B1 (en) 2024-03-27
JPWO2018117218A1 (ja) 2019-03-28
CN110088745A (zh) 2019-08-02
JP6629994B2 (ja) 2020-01-15
US11514083B2 (en) 2022-11-29
CN110088745B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
US10180891B2 (en) Monitoring processes running on a platform as a service architecture
CN109144696B (zh) 一种任务调度方法、装置、电子设备及存储介质
JP6134437B2 (ja) データ転送監視システム、データ転送監視方法、および拠点システム
WO2018117218A1 (ja) データ処理システムおよびデータ処理方法
KR101621385B1 (ko) 클라우드 스토리지 서비스의 파일 검색 시스템 및 방법, 및 파일 제어 방법
US10484835B2 (en) Publishing messages based on geographic area
US20210373914A1 (en) Batch to stream processing in a feature management platform
WO2016016944A1 (ja) データベース管理システム及びデータベース管理方法
US10095737B2 (en) Information storage system
US20130204913A1 (en) File list generation method, system, and program, and file list generation device
US9286055B1 (en) System, method, and computer program for aggregating fragments of data objects from a plurality of devices
JP5956064B2 (ja) 計算機システム、データ管理方法、及び計算機
JP2016028320A (ja) 情報処理方法、プログラム、および情報処理装置
US11775864B2 (en) Feature management platform
JP2011186853A (ja) データ処理装置及びシステム及び方法及びプログラム
WO2018225747A1 (ja) 分散システム、データ管理装置、データ管理方法、及びコンピュータ読み取り可能な記録媒体
JP6481355B2 (ja) プロセス管理装置、方法及びプログラム
JP6193491B2 (ja) 計算機システム
JP6881124B2 (ja) 検索制御プログラム、検索制御方法および検索制御装置
JP6789307B2 (ja) データ処理装置およびデータ処理方法
JP6480495B2 (ja) データ管理装置、データ管理方法、およびプログラム
JP2016184272A (ja) データベース管理システム、そのバッファリング方法およびコンピュータ・プログラム
CN111566627A (zh) 信息蓄积装置、数据处理系统及程序
JP5602474B2 (ja) 情報制御方法、プログラムおよび情報制御システム
JP2014229044A (ja) データ処理装置のデータ取得を高速化するためのプログラム、記録媒体および装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17884612

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018558067

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017884612

Country of ref document: EP

Effective date: 20190722