WO2020049759A1 - データ処理装置、データ処理方法及びデータ処理プログラム - Google Patents

データ処理装置、データ処理方法及びデータ処理プログラム Download PDF

Info

Publication number
WO2020049759A1
WO2020049759A1 PCT/JP2019/006424 JP2019006424W WO2020049759A1 WO 2020049759 A1 WO2020049759 A1 WO 2020049759A1 JP 2019006424 W JP2019006424 W JP 2019006424W WO 2020049759 A1 WO2020049759 A1 WO 2020049759A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
format
metadata
unit
sensing
Prior art date
Application number
PCT/JP2019/006424
Other languages
English (en)
French (fr)
Inventor
哲二 大和
泰司 吉川
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to CN201980052969.4A priority Critical patent/CN112567346A/zh
Priority to US17/268,968 priority patent/US11468082B2/en
Publication of WO2020049759A1 publication Critical patent/WO2020049759A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity

Definitions

  • the present invention relates to a data processing device, a data processing method, and a data processing program.
  • Patent Document 1 discloses a system applicable to data distribution.
  • sensing data is distributed.
  • Metadata indicating an attribute of the sensing data is associated with the sensing data.
  • sensing data that satisfies a user request is searched for by referring to metadata (see Patent Document 1).
  • the present invention has been made to solve such a problem, and an object of the present invention is to provide a data processing apparatus capable of simplifying data processing in a subsequent process regardless of the format of input data.
  • a data processing method and a data processing program are provided.
  • the data processing device is configured to generate output data by performing processing on input data.
  • the data processing device includes a memory and a processor.
  • the memory is configured to store a program.
  • the processor is configured to execute the program.
  • the first data format is a format including actual data.
  • Each of the second and third data formats is a format including real data and metadata indicating an attribute of the real data.
  • each of the actual data and the metadata forms a different data unit.
  • actual data and metadata constitute one data unit.
  • the program is configured to cause the processor to execute a step of generating output data of the second data format by performing a format conversion process when the format of the input data is the first and third data formats. I have.
  • output data in the second data format is generated even if the format of the input data is the first and third data formats. That is, in this data processing device, data in the second data format is output regardless of the format of the input data. Therefore, according to this data processing device, the data in the common data format (second data format) is provided to the post-process regardless of the format of the input data, so that the data processing in the post-process can be simplified. .
  • the program may be configured to cause the processor to further execute a step of generating output data in the second data format when the format of the input data is the second data format.
  • the program may be configured to cause the processor to further execute a step of outputting actual data included in the output data to an ETL (Extract / Transform / Load) tool.
  • ETL Extract / Transform / Load
  • the program may be configured to cause the processor to execute a step of performing a process on the metadata according to the process performed on the actual data in the ETL tool.
  • this data processing device a process corresponding to the process performed on the actual data in the ETL tool is performed on the metadata. Therefore, according to this data processing device, the relationship between the actual data and the metadata can be normally maintained even when the existing ETL tool is used.
  • the actual data may be sensing data generated by a sensor.
  • a data processing method is a method of generating output data by performing processing on input data.
  • the first data format is a format including actual data.
  • Each of the second and third data formats is a format including real data and metadata indicating an attribute of the real data.
  • each of the actual data and the metadata forms a different data unit.
  • actual data and metadata constitute one data unit.
  • the data processing method includes a step of generating output data in a second data format by performing a format conversion process when the format of the input data is the first and third data formats.
  • output data in the second data format is generated even if the format of the input data is the first and third data formats. That is, in this data processing method, data in the second data format is output regardless of the format of the input data. Therefore, according to this data processing method, the data in the common data format (second data format) is provided to the subsequent process regardless of the format of the input data, so that the data processing in the subsequent process can be simplified. .
  • the data processing program is configured to cause a processor to execute a process of generating output data by performing a process on input data.
  • the first data format is a format including actual data.
  • Each of the second and third data formats is a format including real data and metadata indicating an attribute of the real data.
  • each of the actual data and the metadata forms a different data unit.
  • actual data and metadata constitute one data unit.
  • the data processing program is configured to cause the processor to execute a step of generating output data of the second data format by performing a format conversion process when the format of the input data is the first and third data formats. Have been.
  • output data in the second data format is generated even if the format of the input data is the first and third data formats. That is, when the data processing program is executed by the processor, data of the second data format is output regardless of the format of the input data. Therefore, according to this data processing program, the data in the common data format (second data format) is provided to the post-process regardless of the format of the input data, so that the data processing in the post-process can be simplified. .
  • FIG. 3 is a diagram for describing an outline of a data processing server.
  • FIG. 1 is a diagram illustrating an example of a configuration of an analysis data generation system including a data processing server. It is a figure for explaining the kind of data format of data memorized by sensing data DB.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of a data processing server.
  • FIG. 3 is a diagram illustrating an example of a software configuration of a data processing server and an example of a software configuration of an ETL server.
  • FIG. 3 is a diagram illustrating a detailed configuration of a data format conversion unit.
  • FIG. 7 is a diagram for explaining the contents of data conversion performed by a data format conversion unit.
  • FIG. 1 is a diagram illustrating an example of a configuration of an analysis data generation system including a data processing server. It is a figure for explaining the kind of data format of data memorized by sensing data DB.
  • FIG. 3 is a diagram illustrating an example of a
  • FIG. 3 is a diagram illustrating a detailed configuration of a metadata conversion unit.
  • FIG. 6 is a diagram illustrating an example of metadata conversion in a value conversion unit.
  • 11 is a flowchart illustrating an example of a procedure of a data format conversion process in a data format conversion unit.
  • 9 is a flowchart illustrating an example of a procedure of a metadata conversion process in a metadata conversion unit.
  • the present embodiment will be described in detail with reference to the drawings.
  • the same or corresponding portions have the same reference characters allotted, and description thereof will not be repeated.
  • the present embodiment described below is merely an example of the present invention in every respect.
  • This embodiment can be variously modified and changed within the scope of the present invention. That is, in implementing the present invention, a specific configuration can be appropriately adopted according to the embodiment.
  • FIG. 1 is a diagram for describing an outline of data processing device (data processing server) 100 according to the present embodiment.
  • the data processing server 100 is connected to a sensing data DB (database) 200 via a network.
  • Various sensing data are accumulated in the sensing data DB 200.
  • the data processing server 100 generates output data by performing processing on the sensing data input from the sensing data DB 200.
  • the data processing server 100 outputs the generated output data to a subsequent process.
  • the data format of the sensing data stored in the sensing data DB 200 is not always unified. Although details will be described later, for example, the data format includes i) first data including sensing data (not including metadata indicating an attribute of the sensing data (hereinafter, also simply referred to as “metadata”)). Format, ii) a second data format including sensing data and metadata, wherein each of the sensing data and metadata constitutes a different data unit; iii) including sensing data and metadata, wherein the sensing data and metadata are 1 There is a third data format that constitutes one data unit.
  • data processing server 100 includes a data format conversion unit 102.
  • the data format conversion unit 102 generates output data in the second data format by performing a data format conversion process on the input data even if the data in the first and third data formats is input. That is, the data processing server 100 outputs data in the second data format regardless of the format of the input data.
  • the data in the common data format (second data format) is provided to the post-process regardless of the format of the input data, thereby simplifying the data processing in the post-process. it can.
  • the configuration of the entire system, the hardware configuration and software configuration of the data processing server 100, and the operation of the data processing server 100 will be sequentially described.
  • FIG. 2 is a diagram showing an example of a configuration of the analysis data generation system 10 including the data processing server 100 according to the present embodiment.
  • the analysis data generation system 10 is a system that generates analysis data used by a data analysis person based on sensing data generated by a sensor installed at a manufacturing site or the like.
  • the data for analysis includes sensing data (actual data) and metadata for helping the person in charge of data analysis understand the sensing data.
  • the metadata indicates an attribute of the sensing data. Note that the metadata may be generated at a manufacturing site or the like, or may be generated in the process of generating the data for analysis.
  • the data analysis staff can appropriately handle the sensing data by referring to the metadata associated with the sensing data. As a result, the data analysis staff can perform appropriate data analysis.
  • the analysis data generation system 10 includes a data processing server 100, a sensing data DB 200, an analysis data DB 300, an ETL server 400, and an ID management server 500.
  • the sensing data DB 200 stores sensing data generated by the sensor.
  • sensors that generate sensing data stored in the sensing data DB 200 include an image sensor (camera), a temperature sensor, a humidity sensor, an illuminance sensor, a force sensor, a sound sensor, an RFID (Radio Frequency IDentification) sensor, and an infrared sensor. , An attitude sensor, a rainfall sensor, a radioactivity sensor, a gas sensor, and the like.
  • the sensor does not necessarily have to be a fixed type, but may be a mobile type such as a mobile phone, a smartphone, and a tablet. Further, the sensor does not necessarily need to be configured by a single sensing device, and may be configured by a plurality of sensing devices.
  • the sensor may be installed for any purpose. For example, the sensor is installed for factory automation (FA) and production management in a factory, urban traffic control, environmental measurement such as weather, health care, crime prevention, and the like. May be.
  • FA factory automation
  • the sensing data DB200 stores sensing data generated by various sensors. Therefore, the format of the data stored in the sensing data DB 200 is not always unified. For example, the sensing data DB 200 stores data in a plurality of data formats.
  • FIG. 3 is a diagram for explaining types of data formats of data stored in the sensing data DB 200.
  • the first data format is a data format including sensing data (actual data) (not including metadata).
  • the sensing data includes a value V11 generated by the sensor.
  • the second data format is a data format that includes sensing data and metadata, and each of the sensing data and metadata forms a different data unit.
  • the sensing data includes an ID (identification) and a value V21 generated by the sensor. How the ID is determined will be described later in detail.
  • the metadata includes an ID and a value V22 indicating an attribute of the sensing data.
  • the sensing data and the metadata are associated with each other by including a common ID (identification).
  • the third data format is a data format that includes sensing data and metadata, and the sensing data and metadata constitute one data unit.
  • a value V31 generated by the sensor is stored, and metadata is stored in a header portion.
  • ETL server 400 implements a so-called ETL tool. That is, the ETL server 400 extracts data from the sensing data DB 200 (E), converts the extracted data into a state suitable for analysis (T), and loads the converted data into the analysis data DB 300 (L). ).
  • ETL server 400 will be described later in detail.
  • the data processing server 100 performs processing in advance on the sensing data that the ETL server 400 has requested the sensing data DB 200 to transmit.
  • the data processing server 100 outputs the sensing data (actual data) acquired from the sensing data DB 200 to the ETL server 400 and performs processing on the metadata associated with the sensing data.
  • the data processing server 100 outputs the processed metadata to the analysis data DB 300.
  • the data processing server 100 will be described later in detail.
  • the analysis data DB 300 stores sensing data processed by the ETL server 400 and metadata processed by the data processing server 100. Each of the sensing data and the metadata stored in the analysis data DB 300 is processed so that a person in charge of data analysis can easily analyze the data.
  • the ID management server 500 manages the ID included in each of the sensing data (actual data) and the metadata in the second data format.
  • the ID management server 500 receives a request from the data processing server 100 and the ETL server 400, and generates an ID that does not overlap with the issued ID.
  • the ID management server 500 generates, for example, a UUID (Universally @ Unique @ Identifier).
  • the ID management server 500 stores the transition (history) of the ID included in each sensing data and each metadata. That is, for example, when an ID included in certain sensing data is changed, the ID management server 500 stores the ID before the change and the ID after the change in association with the sensing data. Therefore, for example, the provider of the sensing data can check how the provided sensing data is used by accessing the ID management server 500.
  • FIG. 4 is a diagram illustrating an example of a hardware configuration of the data processing server 100.
  • data processing server 100 is realized by, for example, a general-purpose computer.
  • the data processing server 100 includes a control unit 170, a communication I / F (interface) 190, and a storage unit 180, and each component is electrically connected via a bus 195. .
  • the control unit 170 includes a CPU (Central Processing Unit) 172, a RAM (Random Access Memory) 174, a ROM (Read Only Memory) 176, and the like, and is configured to control each component according to information processing. .
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • Communication I / F 190 communicates with external devices (for example, sensing data DB 200, analysis data DB 300, ETL server 400, and ID management server 500 (FIG. 2)) provided outside data processing server 100 via the Internet. It is configured to be.
  • Communication I / F 190 includes, for example, a wired LAN (Local Area Network) module or a wireless LAN module.
  • the storage unit 180 is, for example, an auxiliary storage device such as a hard disk drive or a solid state drive.
  • the storage unit 180 is configured to store, for example, a control program 181.
  • the control program 181 is a control program of the data processing server 100 executed by the control unit 170. For example, each software module described later may be realized by the control unit 170 executing the control program 181. When the control unit 170 executes the control program 181, the control program 181 is loaded on the RAM 174. Then, the control unit 170 controls each component by interpreting and executing the control program 181 expanded in the RAM 174 by the CPU 172.
  • the hardware configuration of the ETL server 400 can be the same as the hardware configuration of the data processing server 100.
  • FIG. 5 is a diagram illustrating an example of a software configuration of the data processing server 100 and an example of a software configuration of the ETL server 400.
  • the data processing server 100 includes a data format conversion unit 102, a data separation unit 104, a metadata conversion unit 106, and a metadata transmission unit 108.
  • Each of the data format conversion unit 102, the data separation unit 104, the metadata conversion unit 106, and the metadata transmission unit 108 is a software module realized by the control unit 170 (FIG. 4) executing the control program 181.
  • the ETL server 400 includes a data extraction unit 402, a data conversion unit 404, and a load unit 406.
  • Each of the data extraction unit 402, the data conversion unit 404, and the load unit 406 is a software module realized by a control unit (processor) (not shown) included in the ETL server 400 executing a control program (not shown).
  • These software modules start processing when the data extraction unit 402 included in the ETL server 400 requests the sensing data DB 200 to transmit data. That is, the data stored in the sensing data DB 200 is transmitted to the data format conversion unit 102 when the data extracting unit 402 transmits an API (Application Programming Interface) command requesting data transmission to the sensing data DB 200. Thus, the process is started.
  • API Application Programming Interface
  • the data format conversion unit 102 is a software module that unifies the data format of input data to the above-described second data format.
  • the data format conversion unit 102 determines the data format of the input data, and performs a data format conversion process according to the determination result.
  • the data generated by data format conversion section 102 is output to data separation section 104.
  • the data format conversion unit 102 will be described later in detail.
  • the data separation unit 104 is a software module that separates input data into sensing data (actual data) and metadata. Since the ETL server 400 often performs only the processing of the actual data, the data separation unit 104 outputs the sensing data to the data extraction unit 402 and outputs the metadata to the metadata conversion unit 106.
  • the data extraction unit 402 outputs the input (extracted) sensing data to the data conversion unit 404.
  • the data conversion unit 404 is a software module that performs conversion processing on input data according to a conversion rule predetermined for each type of sensing data, for example. For example, assume that the value of the sensing data generated by the temperature sensor indicates a voltage value (V). In this case, the conversion rule indicates, for example, a conversion formula between the voltage value (V) and the temperature (° C.). Data conversion unit 404 converts the input voltage value (V) into temperature (° C.), for example, according to this conversion formula. Further, for example, it is assumed that the number of digits of the sensing data generated by the sensor is 10 digits.
  • a rule for unifying the number of digits of sensing data to five digits is defined as a conversion rule.
  • the data conversion unit 404 converts the number of digits of the input sensing data into five digits according to the conversion rule.
  • the data conversion unit 404 changes the ID included in the sensing data.
  • the data conversion unit 404 requests the ID management server 500 to issue a new ID.
  • the data conversion unit 404 adds the ID to the sensing data.
  • Data conversion section 404 outputs the converted sensing data to loading section 406.
  • the loading unit 406 is a software module that outputs input data to the analysis data DB 300.
  • the analysis data DB 300 stores the sensing data input from the load unit 406.
  • the metadata conversion unit 106 is a software module that performs a conversion process on metadata according to a conversion process performed on sensing data in the ETL server 400.
  • the converted metadata is output to the metadata transmission unit 108.
  • the metadata conversion unit 106 will be described later in detail.
  • the metadata transmission unit 108 is a software module that outputs input data to the analysis data DB 300.
  • the metadata input from the metadata transmission unit 108 is stored.
  • FIG. 6 is a diagram showing a detailed configuration of the data format conversion unit 102.
  • the data format conversion unit 102 includes a data format determination unit 110, a first conversion unit 112, and a second conversion unit 114.
  • the data format determination unit 110 is a software module that determines the data format of input data.
  • the data format determination unit 110 determines which of the first, second, and third data formats the input data has. Specifically, the data format determination unit 110 determines whether i) the input data includes the metadata, and ii) determines whether the sensing data (actual data) and the metadata constitute the same data unit. Is determined.
  • the data format determination unit 110 determines that the input data does not include metadata, it determines that the format of the input data is the first data format. If the data format determination unit 110 determines that the input data includes the metadata and that the sensing data and the metadata each constitute a different data unit, the format of the input data is the second data format. Is determined. If the data format determination unit 110 determines that the input data includes the metadata and that the sensing data and the metadata constitute one data unit, the data format determination unit 110 determines that the format of the input data is the third data format. judge.
  • the data format determination unit 110 determines that the input data is in the first data format
  • the data format determination unit 110 outputs the data to the first conversion unit 112.
  • the data format determination unit 110 outputs the data to the data separation unit 104.
  • the data format determination unit 110 outputs the data to the second conversion unit 114. That is, when it is determined that the input data is in the second data format, the data format conversion process is not performed.
  • the first converter 112 is a software module that converts data in the first data format into data in the second data format.
  • the second conversion unit 114 is a software module that converts data in the third data format into data in the second data format.
  • FIG. 7 is a diagram for explaining the contents of data conversion performed in the data format conversion unit 102.
  • first conversion unit 112 converts data in the first data format into the second data format. Specifically, the first conversion unit 112 generates metadata indicating a predetermined default value. Further, the first conversion unit 112 requests the ID management server 500 (FIG. 5) to issue an ID, and adds the received ID to each of the sensing data and the metadata. As a result, sensing data and metadata having different data units, each having a common ID, are generated.
  • the second conversion unit 114 converts data in the third data format into the second data format. Specifically, the second conversion unit 114 separates the sensing data and the metadata into different data units. Further, the second conversion unit 114 requests the ID management server 500 (FIG. 5) to issue an ID, and adds the received ID to each of the sensing data and the metadata. As a result, sensing data and metadata having different data units, each having a common ID, are generated.
  • each of the data whose data format has been converted by first conversion unit 112 and the data whose data format has been converted by second conversion unit 114 are output to data separation unit 104.
  • the data format conversion unit 102 generates output data in the second data format even if the format of the input data is the first and third data formats. That is, the data format converter 102 outputs data in the second data format regardless of the format of the input data. Therefore, according to the data format conversion unit 102, the data in the common data format (second data format) is provided to the post-process regardless of the format of the input data, thereby simplifying the data processing in the post-process. it can.
  • FIG. 8 is a diagram showing a detailed configuration of the metadata conversion unit 106.
  • the metadata conversion unit 106 includes an inquiry unit 120, an ID conversion unit 122, and a value conversion unit 124.
  • the inquiry unit 120 is a software module that inquires the ETL server 400 about the processing content for the sensing data. For example, the inquiry unit 120 inquires of the ETL server 400 about i) the presence or absence of the change of the ID of the sensing data, the changed ID, and ii) the conversion content of the value of the sensing data.
  • the conversion content of the value of the sensing data is, for example, “unit conversion” or “digit number conversion”.
  • the inquiry unit 120 receives a response to the inquiry from the ETL server 400.
  • the inquiry unit 120 outputs an instruction to the ID conversion unit 122 and the value conversion unit 124 according to the content of the response from the ETL server 400. That is, when the ID of the sensing data is changed in the ETL server 400, the inquiry unit 120 outputs an instruction to the ID conversion unit 122 to change the ID of the metadata to the changed ID. Further, when the value of the sensing data is changed in the ETL server 400, the inquiry unit 120 instructs the value conversion unit 124 to change the value of the metadata to a value compatible with the changed value. Output.
  • the ID conversion unit 122 is a software module that processes metadata in accordance with an instruction from the inquiry unit 120. For example, when the ID of the sensing data is changed in the ETL server 400, the ID conversion unit 122 changes the ID included in the metadata to the changed ID included in the sensing data. On the other hand, for example, when the ID of the sensing data is not changed in the ETL server 400, the ID conversion unit 122 does not change the ID included in the metadata. That is, ID conversion section 122 changes the ID included in the metadata only when the ID included in the sensing data is changed in ETL server 400. According to this configuration, although the ID is limited, it is possible to avoid a situation in which the ID is issued more than necessary.
  • the value conversion unit 124 is a software module that processes metadata in accordance with an instruction from the inquiry unit 120. For example, when the value of the sensing data is converted (changed) in the ETL server 400, the value conversion unit 124 changes the value of the metadata to a value that matches the value after the change.
  • FIG. 9 is a diagram illustrating an example of metadata conversion in the value conversion unit 124.
  • the value of the sensing data is converted as the unit of the sensing data is changed from voltage (V) to temperature (° C.), and the number of digits of the sensing data is It has been converted from 10 digits to 5 digits.
  • the “unit” item included in the metadata is changed from “V” to “° C.”, and the “digits” item included in the metadata is changed to “digits”. "10 digits” is changed to "5 digits”.
  • the metadata generated by value conversion section 124 is output to metadata transmission section 108.
  • the metadata conversion unit 106 processing according to the processing performed on the sensing data (actual data) in the ETL server 400 (ETL tool) is performed on the metadata. Therefore, according to the metadata conversion unit 106, even when the existing ETL tool is used, the relationship between the sensing data (actual data) and the metadata can be normally maintained.
  • the sensing data and the metadata indicating the attribute of the sensing data are associated with each other by including a common ID. Therefore, when the ID of the sensing data is changed in the ETL server 400 and the ID of the metadata is not changed, it is impossible to associate the sensing data with the metadata.
  • the metadata conversion unit 106 when the ID included in the sensing data is changed in the ETL server 400, the ID included in the metadata is changed to the changed ID included in the sensing data. You. Therefore, according to the metadata conversion unit 106, even when the ID of the sensing data is changed in the ETL server 400, the association between the sensing data and the metadata can be maintained.
  • the matching between the sensing data and the metadata may not be achieved unless the value of the metadata is changed.
  • the metadata conversion unit 106 when the value included in the sensing data is changed in the ETL server 400, the value included in the metadata is matched with the changed value included in the sensing data. Is changed to a value that can be taken. Therefore, according to the metadata conversion unit 106, even if the value of the sensing data is changed in the ETL server 400, the consistency between the sensing data and the metadata can be maintained.
  • FIG. 10 is a flowchart illustrating an example of a procedure of a data format conversion process in the data format conversion unit 102. The process shown in this flowchart is started by the control unit 170 (data format conversion unit 102) when data stored in the sensing data DB 200 is input to the data format conversion unit 102.
  • control unit 170 determines whether or not the data format of the input data is the second data format (step S100). If it is determined that the data format of the input data is the second data format (YES in step S100), the process proceeds to step S140.
  • control unit 170 determines whether the data format of the input data is the first data format (step S110). ). When it is determined that the format of the input data is the first data format (YES in step S110), control unit 170 converts the format of the input data from the first data format to the second data format (step S120).
  • control unit 170 converts the format of the input data from the third data format to the second data format (step S130). . After that, the control unit 170 outputs data in the second data format (step S140). Thereby, the format of the output data of the data format conversion unit 102 is unified to the second data format.
  • FIG. 11 is a flowchart illustrating an example of a procedure of the metadata conversion process in the metadata conversion unit 106. The processing shown in this flowchart is started by the control unit 170 (metadata conversion unit 106) when metadata is input to the metadata conversion unit 106.
  • control unit 170 inquires of ETL server 400 about the processing content for sensing data (actual data) including the same ID as the ID included in the input metadata (step S200). Control unit 170 determines whether a response has been received from ETL server 400 (step S210). If it is determined that no answer has been received (NO in step S210), control unit 170 repeats the process of step S210.
  • control unit 170 determines whether or not the ID of the sensing data has been converted in ETL server 400 based on the received answer (step S210). S220). If it is determined that the ID of the sensing data has not been converted (NO in step S220), the process proceeds to step S240.
  • control unit 170 converts the ID of the metadata into the converted ID included in the sensing data (step S230).
  • the control unit 170 determines whether the value of the sensing data has been converted in the ETL server 400 based on the answer received in step S210 (step S240). If it is determined that the value of the sensing data has not been converted (NO in step S240), the process proceeds to step S260.
  • control unit 170 converts the value of the metadata into a value that matches the value included in the sensing data (step S250). ). After that, the control unit 170 outputs the converted metadata (step S260). As a result, metadata consistent with the sensing data processed in the ETL server 400 is generated.
  • control unit 170 performs the format conversion process to thereby convert the second data. It is configured to generate output data in a format. That is, the data processing server 100 outputs data in the second data format regardless of the format of the input data. Therefore, according to the data processing server 100, the data in the common data format (second data format) is provided to the post-process regardless of the format of the input data, thereby simplifying the data processing in the post-process. it can.
  • the data processing server 100 is an example of a “data processing device” of the present invention
  • the storage unit 180 is an example of a “memory” of the present invention
  • the control unit 170 is an example of a “processor” of the present invention. It is.
  • the data stored in the sensing data DB 200 and the data processed in the data processing server 100 are the sensing data.
  • the data stored in the sensing data DB 200 and the data processed in the data processing server 100 do not necessarily need to be sensing data.
  • the data stored in the sensing data DB 200 and the data processed in the data processing server 100 are data other than sensing data such as purchase history data of each user at the shopping site and score data of each user at the game site. It may be data.
  • the sensing data separated in the data processing server 100 is output to the ETL server 400.
  • the sensing data does not necessarily have to be output to the ETL server 400.
  • data in the second data format generated in data processing server 100 may be simply output to analysis data DB 300.
  • the metadata generated in the data processing server 100 is output to the analysis data DB 300.
  • the output destination of the metadata generated in the data processing server 100 is not limited to the analysis data DB 300.
  • the metadata generated in the data processing server 100 may be output to the load unit 406 of the ETL server 400.
  • the loading unit 406 associates the sensing data with the metadata and outputs the data to the analysis data DB 300.
  • 10 data generation system for analysis 100 data processing server, 102 data format conversion unit, 104 data separation unit, 106 metadata conversion unit, 108 metadata transmission unit, 110 data format determination unit, 112 first conversion unit, 114 second Conversion unit, 120 inquiry unit, 122 ID conversion unit, 124 value conversion unit, 170 control unit, 172 CPU, 174 RAM, 176 ROM, 180 storage unit, 181 control program, 190 communication I / F, 195 bus, 200 sensing data DB, 300 data DB for analysis, 400 ETL server, 402 data extractor, 404 data converter, 406 loader, 500 ID management server.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

第1データ形式は、実データを含む形式である。第2及び第3データ形式の各々は、実データと該実データの属性を示すメタデータとを含む形式である。第2データ形式においては、実データ及びメタデータの各々が異なるデータ単位を構成する。第3データ形式においては、実データ及びメタデータが1つのデータ単位を構成する。プログラムは、入力データの形式が第1及び第3データ形式である場合に、形式の変換処理を施すことによって、第2データ形式の出力データを生成するステップをプロセッサに実行させるように構成されている。

Description

データ処理装置、データ処理方法及びデータ処理プログラム
 本発明は、データ処理装置、データ処理方法及びデータ処理プログラムに関する。
 WO2014/041826(特許文献1)は、データ流通に適用可能なシステムを開示する。このシステムにおいては、たとえば、センシングデータが流通する。センシングデータには、センシングデータの属性を示すメタデータが対応付けられている。このシステムにおいては、メタデータを参照することによって、利用者の要求を満たすセンシングデータが探索される(特許文献1参照)。
WO2014/041826
 何らかのデータ処理を考えた場合に、データ処理の対象となるデータの形式が複数種類存在することがあり得る。たとえば、上記特許文献1におけるメタデータが実データに対応づけられているデータ形式と、メタデータが対応付けられておらず実データのみを含むデータ形式との両方がデータ処理の対象となる場合が考えられる。しかしながら、複数種類のデータ形式がデータ処理の対象となると、データ処理が煩雑になる。
 本発明は、このような問題を解決するためになされたものであって、その目的は、入力されるデータの形式に拘わらず後工程におけるデータ処理を簡易にすることが可能なデータ処理装置、データ処理方法及びデータ処理プログラムを提供することである。
 本発明のある局面に従うデータ処理装置は、入力データに処理を施すことによって出力データを生成するように構成されている。データ処理装置は、メモリと、プロセッサとを備える。メモリは、プログラムを記憶するように構成されている。プロセッサは、プログラムを実行するように構成されている。入力データの形式としては、第1、第2及び第3データ形式がある。第1データ形式は、実データを含む形式である。第2及び第3データ形式の各々は、実データと該実データの属性を示すメタデータとを含む形式である。第2データ形式においては、実データ及びメタデータの各々が異なるデータ単位を構成する。第3データ形式においては、実データ及びメタデータが1つのデータ単位を構成する。プログラムは、入力データの形式が第1及び第3データ形式である場合に、形式の変換処理を施すことによって、第2データ形式の出力データを生成するステップをプロセッサに実行させるように構成されている。
 このデータ処理装置においては、入力データの形式が第1及び第3データ形式であったとしても、第2データ形式の出力データが生成される。すなわち、このデータ処理装置においては、入力データの形式に拘わらず第2データ形式のデータが出力される。したがって、このデータ処理装置によれば、入力データの形式に拘わらず共通のデータ形式(第2データ形式)のデータが後工程に提供されるため、後工程におけるデータ処理を簡易にすることができる。
 上記データ処理装置において、プログラムは、入力データの形式が第2データ形式である場合に、第2データ形式の出力データを生成するステップをさらにプロセッサに実行させるように構成されていてもよい。
 また、上記データ処理装置において、プログラムは、出力データに含まれる実データをETL(Extract/Transform/Load)ツールに出力するステップをさらにプロセッサに実行させるように構成されていてもよい。
 また、上記データ処理装置において、プログラムは、ETLツールにおいて実データに施された処理に応じた処理をメタデータに施すステップをプロセッサに実行させるように構成されていてもよい。
 このデータ処理装置においては、ETLツールにおいて実データに施された処理に応じた処理がメタデータに施される。したがって、このデータ処理装置によれば、既存のETLツールを使用した場合であっても、実データとメタデータとの関係性を正常に保つことができる。
 また、上記データ処理装置において、実データは、センサによって生成されたセンシングデータであってもよい。
 本発明の別の局面に従うデータ処理方法は、入力データに処理を施すことによって出力データを生成する方法である。入力データの形式としては、第1、第2及び第3データ形式がある。第1データ形式は、実データを含む形式である。第2及び第3データ形式の各々は、実データと該実データの属性を示すメタデータとを含む形式である。第2データ形式においては、実データ及びメタデータの各々が異なるデータ単位を構成する。第3データ形式においては、実データ及びメタデータが1つのデータ単位を構成する。データ処理方法は、入力データの形式が第1及び第3データ形式である場合に、形式の変換処理を施すことによって、第2データ形式の出力データを生成するステップを含む。
 このデータ処理方法においては、入力データの形式が第1及び第3データ形式であったとしても、第2データ形式の出力データが生成される。すなわち、このデータ処理方法においては、入力データの形式に拘わらず第2データ形式のデータが出力される。したがって、このデータ処理方法によれば、入力データの形式に拘わらず共通のデータ形式(第2データ形式)のデータが後工程に提供されるため、後工程におけるデータ処理を簡易にすることができる。
 本発明の別の局面に従うデータ処理プログラムは、入力データに処理を施すことによって出力データを生成する処理をプロセッサに実行させるように構成されている。入力データの形式としては、第1、第2及び第3データ形式がある。第1データ形式は、実データを含む形式である。第2及び第3データ形式の各々は、実データと該実データの属性を示すメタデータとを含む形式である。第2データ形式においては、実データ及びメタデータの各々が異なるデータ単位を構成する。第3データ形式においては、実データ及びメタデータが1つのデータ単位を構成する。データ処理プログラムは、入力データの形式が第1及び第3データ形式である場合に、形式の変換処理を施すことによって、第2データ形式の出力データを生成するステップをプロセッサに実行させるように構成されている。
 このデータ処理プログラムがプロセッサによって実行されると、入力データの形式が第1及び第3データ形式であったとしても、第2データ形式の出力データが生成される。すなわち、このデータ処理プログラムがプロセッサによって実行されると、入力データの形式に拘わらず第2データ形式のデータが出力される。したがって、このデータ処理プログラムによれば、入力データの形式に拘わらず共通のデータ形式(第2データ形式)のデータが後工程に提供されるため、後工程におけるデータ処理を簡易にすることができる。
 本発明によれば、入力されるデータの形式に拘わらず後工程におけるデータ処理を簡易にすることが可能なデータ処理装置、データ処理方法及びデータ処理プログラムを提供することができる。
データ処理サーバの概要を説明するための図である。 データ処理サーバを含む分析用データ生成システムの構成の一例を示す図である。 センシングデータDBに記憶されているデータのデータ形式の種類を説明するための図である。 データ処理サーバのハードウェア構成の一例を示す図である。 データ処理サーバのソフトウェア構成の一例、及び、ETLサーバのソフトウェア構成の一例を示す図である。 データ形式変換部の詳細構成を示す図である。 データ形式変換部において実行されるデータ変換の内容を説明するための図である。 メタデータ変換部の詳細構成を示す図である。 値変換部におけるメタデータの変換の一例を示す図である。 データ形式変換部におけるデータ形式変換処理の手順の一例を示すフローチャートである。 メタデータ変換部におけるメタデータ変換処理の手順の一例を示すフローチャートである。
 以下、本発明の一側面に係る実施の形態(以下、「本実施の形態」とも称する。)について、図面を用いて詳細に説明する。なお、図中同一又は相当部分には同一符号を付してその説明は繰り返さない。また、以下で説明する本実施の形態は、あらゆる点において本発明の例示にすぎない。本実施の形態は、本発明の範囲内において、種々の改良や変更が可能である。すなわち、本発明の実施にあたっては、実施の形態に応じて具体的構成を適宜採用することができる。
 [1.概要]
 図1は、本実施の形態に従うデータ処理装置(データ処理サーバ)100の概要を説明するための図である。図1に示されるように、データ処理サーバ100は、ネットワークを介してセンシングデータDB(database)200に接続されている。センシングデータDB200には、種々のセンシングデータが蓄積されている。データ処理サーバ100は、センシングデータDB200から入力されたセンシングデータに処理を施すことによって、出力データを生成する。データ処理サーバ100は、生成された出力データを後工程に出力する。
 センシングデータDB200に蓄積されているセンシングデータのデータ形式は、必ずしも統一されていない。詳細については後述するが、たとえば、データ形式には、i)センシングデータを含む(該センシングデータの属性を示すメタデータ(以下、単に「メタデータ」とも称する。)を含まない。)第1データ形式、ii)センシングデータとメタデータとを含み、センシングデータ及びメタデータの各々が異なるデータ単位を構成する第2データ形式、iii)センシングデータとメタデータとを含み、センシングデータ及びメタデータが1つのデータ単位を構成する第3データ形式がある。
 データ形式の異なるデータが後工程に入力されると、後工程におけるデータ処理が煩雑になる。詳細については後述するが、本実施の形態に従うデータ処理サーバ100は、データ形式変換部102を含んでいる。データ形式変換部102は、上記第1及び第3データ形式のデータが入力されたとしても、入力データにデータ形式の変換処理を施すことによって、上記第2データ形式の出力データを生成する。すなわち、このデータ処理サーバ100においては、入力データの形式に拘わらず第2データ形式のデータが出力される。
 したがって、このデータ処理サーバ100によれば、入力データの形式に拘わらず共通のデータ形式(第2データ形式)のデータが後工程に提供されるため、後工程におけるデータ処理を簡易にすることができる。以下、システム全体の構成、データ処理サーバ100のハードウェア構成及びソフトウェア構成、並びに、データ処理サーバ100の動作について順に説明する。
 [2.システム構成]
 図2は、本実施の形態に従うデータ処理サーバ100を含む分析用データ生成システム10の構成の一例を示す図である。分析用データ生成システム10は、製造現場等に設置されたセンサが生成したセンシングデータに基づいて、データ分析担当者が利用する分析用データを生成するシステムである。
 データ分析担当者の多くは、製造現場等の事情について詳しくない。したがって、データ分析担当者の多くは、センシングデータのみを参照したとしても、センシングデータが何を意味するのかを正確には把握できない。本実施の形態において、分析用データは、センシングデータ(実データ)と、データ分析担当者によるセンシングデータの理解を助けるためのメタデータとを含む。メタデータは、センシングデータの属性を示す。なお、メタデータは、製造現場等において生成されてもよいし、分析用データが生成される過程で生成されてもよい。
 データ分析担当者は、センシングデータに対応付けられているメタデータを参照することによって、センシングデータを適切に扱うことができる。その結果、データ分析担当者は、適切なデータ分析を行なうことができる。
 図2の例では、分析用データ生成システム10は、データ処理サーバ100と、センシングデータDB200と、分析用データDB300と、ETLサーバ400と、ID管理サーバ500とを含んでいる。
 センシングデータDB200は、センサによって生成されたセンシングデータを記憶する。センシングデータDB200に記憶されているセンシングデータを生成するセンサとしては、たとえば、画像センサ(カメラ)、温度センサ、湿度センサ、照度センサ、力センサ、音センサ、RFID(Radio Frequency IDentification)センサ、赤外線センサ、姿勢センサ、降雨センサ、放射能センサ及びガスセンサ等がある。また、センサは、必ずしも固設型である必要はなく、携帯電話、スマートフォン及びタブレット等の移動型であってもよい。また、センサは、必ずしも単一のセンシングデバイスで構成されている必要はなく、複数のセンシングデバイスによって構成されていてもよい。また、センサは、どのような目的で設置されていてもよく、たとえば、工場におけるFA(Factory Automation)及び生産管理、都市交通制御、気象等の環境計測、ヘルスケア並びに防犯等のために設置されていてもよい。
 このように、センシングデータDB200には、様々なセンサによって生成されたセンシングデータが記憶されている。したがって、センシングデータDB200に記憶されているデータの形式は、必ずしも統一されていない。たとえば、センシングデータDB200には、複数種類のデータ形式のデータが記憶されている。
 図3は、センシングデータDB200に記憶されているデータのデータ形式の種類を説明するための図である。図3に示されるように、第1データ形式は、センシングデータ(実データ)を含む(メタデータを含まない)データ形式である。第1データ形式において、センシングデータは、センサによって生成された値V11を含む。
 第2データ形式は、センシングデータとメタデータとを含み、センシングデータ及びメタデータの各々が異なるデータ単位を構成するデータ形式である。第2データ形式において、センシングデータは、ID(identification)と、センサによって生成された値V21とを含む。IDがどのように決定されるかについては、後程詳しく説明する。メタデータは、IDと、センシングデータの属性を示す値V22とを含む。なお、センシングデータとメタデータとは、共通のID(identification)を含むことによって、互いに対応付けられている。
 第3データ形式は、センシングデータとメタデータとを含み、センシングデータ及びメタデータが1つのデータ単位を構成するデータ形式である。第3データ形式においては、センサによって生成された値V31が格納されるとともに、ヘッダ部にメタデータが格納される。
 再び図2を参照して、ETLサーバ400は、いわゆるETLツールを実現する。すなわち、ETLサーバ400は、センシングデータDB200からデータを抽出し(E)、抽出されたデータを分析に適した状態に変換し(T)、変換後のデータを分析用データDB300へロードする(L)。ETLサーバ400については、後程詳しく説明する。
 データ処理サーバ100は、ETLサーバ400がセンシングデータDB200に送信を要求したセンシングデータに事前に処理を施す。データ処理サーバ100は、センシングデータDB200から取得したセンシングデータ(実データ)をETLサーバ400へ出力するとともに、該センシングデータに対応付けられているメタデータに処理を施す。データ処理サーバ100は、処理後のメタデータを分析用データDB300へ出力する。データ処理サーバ100については、後程詳しく説明する。
 分析用データDB300は、ETLサーバ400において処理が施されたセンシングデータと、データ処理サーバ100において処理が施されたメタデータとを記憶する。分析用データDB300に記憶されているセンシングデータ及びメタデータの各々は、データ分析担当者が容易に分析できるように加工されている。
 ID管理サーバ500は、第2データ形式において、センシングデータ(実データ)及びメタデータの各々が含むIDを管理する。ID管理サーバ500は、たとえば、データ処理サーバ100及びETLサーバ400からの要求を受けて、発行済みのIDと重複しないIDを生成する。ID管理サーバ500は、たとえば、UUID(Universally Unique Identifier)を生成する。また、ID管理サーバ500は、各センシングデータ及び各メタデータに含まれるIDの変遷(履歴)を記憶する。すなわち、たとえば、あるセンシングデータに含まれているIDが変更された場合に、ID管理サーバ500は、変更前のIDと、変更後のIDとを該センシングデータに対応付けて記憶する。したがって、たとえば、センシングデータの提供者は、ID管理サーバ500にアクセスすることによって、自身が提供したセンシングデータがどのような使われ方をしているのかを確認することができる。
 [3.ハードウェア構成]
 図4は、データ処理サーバ100のハードウェア構成の一例を示す図である。なお、本実施の形態において、データ処理サーバ100は、たとえば、汎用コンピュータによって実現される。
 図4の例では、データ処理サーバ100は、制御部170と、通信I/F(interface)190と、記憶部180とを含み、各構成は、バス195を介して電気的に接続されている。
 制御部170は、CPU(Central Processing Unit)172、RAM(Random Access Memory)174及びROM(Read Only Memory)176等を含み、情報処理に応じて各構成要素の制御を行なうように構成されている。
 通信I/F190は、インターネットを介して、データ処理サーバ100の外部に設けられた外部装置(たとえば、センシングデータDB200、分析用データDB300、ETLサーバ400及びID管理サーバ500(図2))と通信するように構成されている。通信I/F190は、たとえば、有線LAN(Local Area Network)モジュールや無線LANモジュールで構成される。
 記憶部180は、たとえば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置である。記憶部180は、たとえば、制御プログラム181を記憶するように構成されている。
 制御プログラム181は、制御部170によって実行されるデータ処理サーバ100の制御プログラムである。たとえば、制御部170が制御プログラム181を実行することによって、後述の各ソフトウェアモジュールが実現されてもよい。制御部170が制御プログラム181を実行する場合に、制御プログラム181は、RAM174に展開される。そして、制御部170は、RAM174に展開された制御プログラム181をCPU172によって解釈及び実行することにより、各構成要素を制御する。なお、ETLサーバ400のハードウェア構成は、データ処理サーバ100のハードウェア構成と同様とすることができる。
 [4.ソフトウェア構成]
 <4-1.データ処理サーバ及びETLサーバのソフトウェア構成>
 図5は、データ処理サーバ100のソフトウェア構成の一例、及び、ETLサーバ400のソフトウェア構成の一例を示す図である。図5に示されるように、データ処理サーバ100は、データ形式変換部102と、データ分離部104と、メタデータ変換部106と、メタデータ送信部108とを含んでいる。データ形式変換部102、データ分離部104、メタデータ変換部106及びメタデータ送信部108の各々は、制御部170(図4)が制御プログラム181を実行することよって実現されるソフトウェアモジュールである。
 ETLサーバ400は、データ抽出部402と、データ変換部404と、ロード部406とを含んでいる。データ抽出部402、データ変換部404及びロード部406の各々は、ETLサーバ400に含まれる不図示の制御部(プロセッサ)が不図示の制御プログラムを実行することによって実現されるソフトウェアモジュールである。
 これらのソフトウェアモジュールは、ETLサーバ400に含まれるデータ抽出部402がセンシングデータDB200にデータの送信を要求することによって処理を開始する。すなわち、データ抽出部402がセンシングデータDB200にデータ送信を要求するAPI(Application Programming Interface)コマンドを送信することによって、センシングデータDB200に蓄積されているデータがデータ形式変換部102へ送信される。これにより、処理が開始される。
 データ形式変換部102は、入力データのデータ形式を上述の第2データ形式に統一するソフトウェアモジュールである。データ形式変換部102は、入力データのデータ形式を判定し、判定結果に応じてデータ形式の変換処理を行なう。データ形式変換部102によって生成されたデータは、データ分離部104へ出力される。データ形式変換部102については、後程詳しく説明する。
 データ分離部104は、入力データをセンシングデータ(実データ)とメタデータとに分離するソフトウェアモジュールである。ETLサーバ400は実データの処理のみを行なう場合が多いため、データ分離部104は、センシングデータをデータ抽出部402へ出力し、メタデータをメタデータ変換部106へ出力する。
 データ抽出部402は、入力(抽出)されたセンシングデータをデータ変換部404へ出力する。
 データ変換部404は、たとえばセンシングデータの種類毎に予め定められた変換ルールに従って、入力データに変換処理を施すソフトウェアモジュールである。たとえば、温度センサによって生成されたセンシングデータの値が電圧値(V)を示すとする。この場合に、変換ルールは、たとえば、電圧値(V)と温度(℃)との変換式を示す。データ変換部404は、たとえば、この変換式に従って、入力された電圧値(V)を温度(℃)に変換する。また、たとえば、センサによって生成されたセンシングデータの桁数が10桁であったとする。この場合に、たとえば、変換ルールとして、センシングデータの桁数を5桁に統一するというルールが規定されているとする。この場合には、データ変換部404は、変換ルールに従って、入力されたセンシングデータの桁数を5桁に変換する。
 また、データ変換部404は、センシングデータの値が変換(変更)されると、センシングデータに含まれるIDを変更する。IDの変更を行なう場合に、データ変換部404は、ID管理サーバ500へ新たなIDの発行を要求する。データ変換部404は、ID管理サーバ500から新たなIDを受信すると、該IDをセンシングデータに付与する。データ変換部404は、変換後のセンシングデータをロード部406へ出力する。
 ロード部406は、入力データを分析用データDB300へ出力するソフトウェアモジュールである。分析用データDB300においては、ロード部406から入力されたセンシングデータが記憶される。
 メタデータ変換部106は、ETLサーバ400においてセンシングデータに施された変換処理に応じて、メタデータに変換処理を施すソフトウェアモジュールである。変換処理が施されたメタデータは、メタデータ送信部108へ出力される。メタデータ変換部106については、後程詳しく説明する。
 メタデータ送信部108は、入力データを分析用データDB300へ出力するソフトウェアモジュールである。分析用データDB300においては、メタデータ送信部108から入力されたメタデータが記憶される。
 <4-2.データ形式変換部の詳細構成>
 図6は、データ形式変換部102の詳細構成を示す図である。図6に示されるように、データ形式変換部102は、データ形式判定部110と、第1変換部112と、第2変換部114とを含んでいる。
 データ形式判定部110は、入力データのデータ形式を判定するソフトウェアモジュールである。データ形式判定部110は、入力データが上述の第1、第2及び第3データ形式のいずれのデータ形式であるかを判定する。具体的には、データ形式判定部110は、i)入力データがメタデータを含んでいるか、及び、ii)センシングデータ(実データ)とメタデータとが同一のデータ単位を構成しているか否かを判定する。
 データ形式判定部110は、入力データがメタデータを含んでいないと判定すると、入力データの形式が第1データ形式であると判定する。データ形式判定部110は、入力データがメタデータを含んでおり、かつ、センシングデータ及びメタデータの各々が異なるデータ単位を構成していると判定すると、入力データの形式が第2データ形式であると判定する。データ形式判定部110は、入力データがメタデータを含んでおり、かつ、センシングデータ及びメタデータが1つのデータ単位を構成していると判定すると、入力データの形式が第3データ形式であると判定する。
 データ形式判定部110は、入力データが第1データ形式であると判定すると、データを第1変換部112へ出力する。データ形式判定部110は、入力データが第2データ形式であると判定すると、データをデータ分離部104へ出力する。データ形式判定部110は、入力データが第3データ形式であると判定すると、データを第2変換部114へ出力する。すなわち、入力データが第2データ形式であると判定された場合には、データ形式の変換処理は行なわれない。
 第1変換部112は、第1データ形式のデータを第2データ形式のデータへ変換するソフトウェアモジュールである。第2変換部114は、第3データ形式のデータを第2データ形式のデータへ変換するソフトウェアモジュールである。
 図7は、データ形式変換部102において実行されるデータ変換の内容を説明するための図である。図7を参照して、上述のように、第1変換部112は、第1データ形式のデータを第2データ形式へ変換する。具体的には、第1変換部112は、予め定められたデフォルト値を示すメタデータを生成する。さらに、第1変換部112は、ID管理サーバ500(図5)へIDの発行を要求し、受信したIDをセンシングデータ及びメタデータの各々に付与する。これにより、各々に共通のIDが付与された、データ単位の異なる、センシングデータ及びメタデータが生成される。
 また、上述のように、第2変換部114は、第3データ形式のデータを第2データ形式へ変換する。具体的には、第2変換部114は、センシングデータとメタデータとを異なるデータ単位に分離する。さらに、第2変換部114は、ID管理サーバ500(図5)へIDの発行を要求し、受信したIDをセンシングデータ及びメタデータの各々に付与する。これにより、各々に共通のIDが付与された、データ単位の異なる、センシングデータ及びメタデータが生成される。
 再び図6を参照して、第1変換部112によってデータ形式が変換されたデータ、及び、第2変換部114によってデータ形式が変換されたデータの各々は、データ分離部104へ出力される。
 このように、データ形式変換部102においては、入力データの形式が第1及び第3データ形式であったとしても、第2データ形式の出力データが生成される。すなわち、データ形式変換部102においては、入力データの形式に拘わらず第2データ形式のデータが出力される。したがって、データ形式変換部102によれば、入力データの形式に拘わらず共通のデータ形式(第2データ形式)のデータが後工程に提供されるため、後工程におけるデータ処理を簡易にすることができる。
 <4-3.メタデータ変換部の詳細構成>
 図8は、メタデータ変換部106の詳細構成を示す図である。図8に示されるように、メタデータ変換部106は、問合せ部120と、ID変換部122と、値変換部124とを含んでいる。
 問合せ部120は、ETLサーバ400にセンシングデータへの処理内容を問い合わせるソフトウェアモジュールである。たとえば、問合せ部120は、ETLサーバ400に、i)センシングデータのID変更の有無、及び、変更後のID、並びに、ii)センシングデータの値の変換内容を問い合わせる。センシングデータの値の変換内容とは、たとえば、「単位の変換」や「桁数の変換」である。問合せ部120は、問合せに対する応答をETLサーバ400から受信する。
 問合せ部120は、ETLサーバ400からの応答内容に応じて、ID変換部122及び値変換部124へ指示を出力する。すなわち、問合せ部120は、ETLサーバ400においてセンシングデータのIDが変更されている場合には、変更後のIDにメタデータのIDを変更するようにID変換部122へ指示を出力する。また、問合せ部120は、ETLサーバ400においてセンシングデータの値が変更されている場合には、変更後の値と整合の取れる値にメタデータの値を変更するように値変換部124へ指示を出力する。
 ID変換部122は、問合せ部120からの指示に従って、メタデータに処理を施すソフトウェアモジュールである。ID変換部122は、たとえば、ETLサーバ400においてセンシングデータのIDが変更されている場合に、センシングデータに含まれている変更後のIDにメタデータに含まれているIDを変更する。一方、ID変換部122は、たとえば、ETLサーバ400においてセンシングデータのIDが変更されていない場合には、メタデータに含まれているIDを変更しない。すなわち、ID変換部122においては、ETLサーバ400においてセンシングデータに含まれているIDが変更された場合にのみ、メタデータに含まれているIDが変更される。この構成によれば、IDも有限であるところ、IDを必要以上に発行する事態を回避することができる。
 値変換部124は、問合せ部120からの指示に従って、メタデータに処理を施すソフトウェアモジュールである。値変換部124は、たとえば、ETLサーバ400においてセンシングデータの値が変換(変更)されている場合に、変更後の値と整合の取れる値にメタデータの値を変更する。
 図9は、値変換部124におけるメタデータの変換の一例を示す図である。この一例においては、ETLサーバ400において、センシングデータの単位が電圧(V)から温度(℃)に変更されるのに伴ないセンシングデータの値が変換されており、かつ、センシングデータの桁数が10桁から5桁に変換されている。
 図9に示されるように、このような場合には、メタデータに含まれる「単位」の項目が「V」から「℃」に変更され、メタデータに含まれる「桁数」の項目が「10桁」から「5桁」に変更される。
 再び図8を参照して、値変換部124によって生成されたメタデータは、メタデータ送信部108へ出力される。
 このように、メタデータ変換部106においては、ETLサーバ400(ETLツール)においてセンシングデータ(実データ)に施された処理に応じた処理がメタデータに施される。したがって、メタデータ変換部106によれば、既存のETLツールを使用した場合であっても、センシングデータ(実データ)とメタデータとの関係性を正常に保つことができる。
 また、本実施の形態において、センシングデータと、該センシングデータの属性を示すメタデータとは、各々が共通のIDを含むことによって対応付けられている。したがって、ETLサーバ400においてセンシングデータのIDが変更された場合に、メタデータのIDが変更されないと、センシングデータとメタデータとの紐付けができなくなる。メタデータ変換部106においては、ETLサーバ400においてセンシングデータに含まれているIDが変更された場合に、メタデータに含まれているIDがセンシングデータに含まれている変更後のIDに変更される。したがって、メタデータ変換部106によれば、ETLサーバ400においてセンシングデータのIDが変更されたとしても、センシングデータとメタデータとの紐付けを維持することができる。
 また、ETLサーバ400においてセンシングデータの値が変更された場合に、メタデータの値が変更されないと、センシングデータとメタデータとの整合が取れなくなる場合がある。メタデータ変換部106においては、ETLサーバ400においてセンシングデータに含まれている値が変更された場合に、メタデータに含まれている値が、センシングデータに含まれている変更後の値と整合の取れる値に変更される。したがって、メタデータ変換部106によれば、ETLサーバ400においてセンシングデータの値が変更されたとしても、センシングデータとメタデータとの整合を維持することができる。
 [5.動作]
 <5-1.データ形式変換処理>
 図10は、データ形式変換部102におけるデータ形式変換処理の手順の一例を示すフローチャートである。このフローチャートに示される処理は、センシングデータDB200に蓄積されているデータがデータ形式変換部102に入力された場合に制御部170(データ形式変換部102)によって開始される。
 図10を参照して、制御部170は、入力データのデータ形式が第2データ形式であるか否かを判定する(ステップS100)。入力データのデータ形式が第2データ形式であると判定されると(ステップS100においてYES)、処理はステップS140へ移行する。
 一方、入力データの形式が第2データ形式でないと判定されると(ステップS100においてNO)、制御部170は、入力データのデータ形式が第1データ形式であるか否かを判定する(ステップS110)。入力データの形式が第1データ形式であると判定されると(ステップS110においてYES)、制御部170は、入力データの形式を第1データ形式から第2データ形式へ変換する(ステップS120)。
 一方、入力データの形式が第1データ形式でないと判定されると(ステップS110においてNO)、制御部170は、入力データの形式を第3データ形式から第2データ形式へ変換する(ステップS130)。その後、制御部170は、第2データ形式のデータを出力する(ステップS140)。これにより、データ形式変換部102の出力データの形式が第2データ形式へ統一される。
 <5-2.メタデータ変換処理>
 図11は、メタデータ変換部106におけるメタデータ変換処理の手順の一例を示すフローチャートである。このフローチャートに示される処理は、メタデータ変換部106へメタデータが入力された場合に制御部170(メタデータ変換部106)によって開始される。
 図11を参照して、制御部170は、入力されたメタデータに含まれているIDと同一のIDを含むセンシングデータ(実データ)への処理内容をETLサーバ400へ問い合わせる(ステップS200)。制御部170は、ETLサーバ400から回答を受信したか否かを判定する(ステップS210)。回答が受信されていないと判定されると(ステップS210においてNO)、制御部170は、ステップS210の処理を繰り返す。
 一方、回答が受信されたと判定されると(ステップS210においてYES)、制御部170は、受信された回答に基づいて、ETLサーバ400においてセンシングデータのIDが変換されたか否かを判定する(ステップS220)。センシングデータのIDが変換されていないと判定されると(ステップS220においてNO)、処理はステップS240へ移行する。
 一方、センシングデータのIDが変換されたと判定されると(ステップS220においてYES)、制御部170は、センシングデータに含まれている変換後のIDにメタデータのIDを変換する(ステップS230)。
 制御部170は、ステップS210において受信された回答に基づいて、ETLサーバ400においてセンシングデータの値が変換されたか否かを判定する(ステップS240)。センシングデータの値が変換されていないと判定されると(ステップS240においてNO)、処理はステップS260へ移行する。
 一方、センシングデータの値が変換されたと判定されると(ステップS240においてYES)、制御部170は、センシングデータに含まれている値と整合の取れる値にメタデータの値を変換する(ステップS250)。その後、制御部170は、変換後のメタデータを出力する(ステップS260)。これにより、ETLサーバ400において処理が施されたセンシングデータと整合の取れたメタデータが生成される。
 [6.特徴]
 以上のように、本実施の形態に従うデータ処理サーバ100において、制御部170は、入力データの形式が第1及び第3データ形式である場合に、形式の変換処理を施すことによって、第2データ形式の出力データを生成するように構成されている。すなわち、このデータ処理サーバ100においては、入力データの形式に拘わらず第2データ形式のデータが出力される。したがって、このデータ処理サーバ100によれば、入力データの形式に拘わらず共通のデータ形式(第2データ形式)のデータが後工程に提供されるため、後工程におけるデータ処理を簡易にすることができる。
 なお、データ処理サーバ100は、本発明の「データ処理装置」の一例であり、記憶部180は、本発明の「メモリ」の一例であり、制御部170は、本発明の「プロセッサ」の一例である。
 [7.変形例]
 以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。以下、変形例について説明する。但し、以下の変形例は適宜組合せ可能である。
 <7-1>
 上記実施の形態においては、センシングデータDB200に記憶されているデータ、及び、データ処理サーバ100において処理されるデータがセンシングデータであるとした。しかしながら、センシングデータDB200に記憶されているデータ、及び、データ処理サーバ100において処理されるデータは、必ずしもセンシングデータである必要はない。たとえば、センシングデータDB200に記憶されているデータ、及び、データ処理サーバ100において処理されるデータは、ショッピングサイトにおける各ユーザの購買履歴データや、ゲームサイトにおける各ユーザのスコアデータ等のセンシングデータ以外のデータであってもよい。
 <7-2>
 また、上記実施の形態においては、データ処理サーバ100において分離されたセンシングデータがETLサーバ400へ出力された。しかしながら、センシングデータは、必ずしもETLサーバ400へ出力されなくてもよい。たとえば、データ処理サーバ100において生成された第2データ形式のデータが単に分析用データDB300へ出力されてもよい。
 <7-3>
 上記実施の形態においては、データ処理サーバ100において生成されたメタデータが分析用データDB300へ出力された。しかしながら、データ処理サーバ100において生成されたメタデータの出力先は、分析用データDB300に限定されない。たとえば、データ処理サーバ100において生成されたメタデータは、ETLサーバ400のロード部406へ出力されてもよい。この場合には、ロード部406がセンシングデータ及びメタデータを対応付けて、分析用データDB300へ出力する。
 10 分析用データ生成システム、100 データ処理サーバ、102 データ形式変換部、104 データ分離部、106 メタデータ変換部、108 メタデータ送信部、110 データ形式判定部、112 第1変換部、114 第2変換部、120 問合せ部、122 ID変換部、124 値変換部、170 制御部、172 CPU、174 RAM、176 ROM、180 記憶部、181 制御プログラム、190 通信I/F、195 バス、200 センシングデータDB、300 分析用データDB、400 ETLサーバ、402 データ抽出部、404 データ変換部、406 ロード部、500 ID管理サーバ。

Claims (7)

  1.  入力データに処理を施すことによって出力データを生成するように構成されたデータ処理装置であって、
     プログラムを記憶するように構成されたメモリと、
     前記プログラムを実行するように構成されたプロセッサとを備え、
     前記入力データの形式としては、第1、第2及び第3データ形式があり、
     前記第1データ形式は、実データを含む形式であり、
     前記第2及び第3データ形式の各々は、前記実データと該実データの属性を示すメタデータとを含む形式であり、
     前記第2データ形式においては、前記実データ及び前記メタデータの各々が異なるデータ単位を構成し、
     前記第3データ形式においては、前記実データ及び前記メタデータが1つのデータ単位を構成し、
     前記プログラムは、前記入力データの形式が前記第1及び第3データ形式である場合に、形式の変換処理を施すことによって、前記第2データ形式の前記出力データを生成するステップを前記プロセッサに実行させるように構成されている、データ処理装置。
  2.  前記プログラムは、前記入力データの形式が前記第2データ形式である場合に、前記第2データ形式の前記出力データを生成するステップをさらに前記プロセッサに実行させるように構成されている、請求項1に記載のデータ処理装置。
  3.  前記プログラムは、前記出力データに含まれる前記実データをETL(Extract/Transform/Load)ツールに出力するステップをさらに前記プロセッサに実行させるように構成されている、請求項1又は請求項2に記載のデータ処理装置。
  4.  前記プログラムは、前記ETLツールにおいて前記実データに施された処理に応じた処理を前記メタデータに施すステップを前記プロセッサに実行させるように構成されている、請求項3に記載のデータ処理装置。
  5.  前記実データは、センサによって生成されたセンシングデータである、請求項1から請求項4のいずれか1項に記載のデータ処理装置。
  6.  入力データに処理を施すことによって出力データを生成するデータ処理方法であって、 前記入力データの形式としては、第1、第2及び第3データ形式があり、
     前記第1データ形式は、実データを含む形式であり、
     前記第2及び第3データ形式の各々は、前記実データと該実データの属性を示すメタデータとを含む形式であり、
     前記第2データ形式においては、前記実データ及び前記メタデータの各々が異なるデータ単位を構成し、
     前記第3データ形式においては、前記実データ及び前記メタデータが1つのデータ単位を構成し、
     前記データ処理方法は、前記入力データの形式が前記第1及び第3データ形式である場合に、形式の変換処理を施すことによって、前記第2データ形式の前記出力データを生成するステップを含む、データ処理方法。
  7.  入力データに処理を施すことによって出力データを生成する処理をプロセッサに実行させるように構成されたデータ処理プログラムであって、
     前記入力データの形式としては、第1、第2及び第3データ形式があり、
     前記第1データ形式は、実データを含む形式であり、
     前記第2及び第3データ形式の各々は、前記実データと該実データの属性を示すメタデータとを含む形式であり、
     前記第2データ形式においては、前記実データ及び前記メタデータの各々が異なるデータ単位を構成し、
     前記第3データ形式においては、前記実データ及び前記メタデータが1つのデータ単位を構成し、
     前記データ処理プログラムは、前記入力データの形式が前記第1及び第3データ形式である場合に、形式の変換処理を施すことによって、前記第2データ形式の前記出力データを生成するステップを前記プロセッサに実行させるように構成されている、データ処理プログラム。
PCT/JP2019/006424 2018-09-06 2019-02-21 データ処理装置、データ処理方法及びデータ処理プログラム WO2020049759A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980052969.4A CN112567346A (zh) 2018-09-06 2019-02-21 数据处理装置、数据处理方法和数据处理程序
US17/268,968 US11468082B2 (en) 2018-09-06 2019-02-21 Data processing apparatus, data processing method, and data processing program stored on computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-167017 2018-09-06
JP2018167017A JP7127440B2 (ja) 2018-09-06 2018-09-06 データ処理装置、データ処理方法及びデータ処理プログラム

Publications (1)

Publication Number Publication Date
WO2020049759A1 true WO2020049759A1 (ja) 2020-03-12

Family

ID=69721903

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/006424 WO2020049759A1 (ja) 2018-09-06 2019-02-21 データ処理装置、データ処理方法及びデータ処理プログラム

Country Status (4)

Country Link
US (1) US11468082B2 (ja)
JP (1) JP7127440B2 (ja)
CN (1) CN112567346A (ja)
WO (1) WO2020049759A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005150882A (ja) * 2003-11-12 2005-06-09 Mitsubishi Electric Corp 機器遠隔監視制御システム
JP2008217160A (ja) * 2007-02-28 2008-09-18 Nippon Telegr & Teleph Corp <Ntt> センシングデータ変換システム、データ変換装置、およびデータ変換方法
JP2014096177A (ja) * 2014-01-22 2014-05-22 Fujitsu Ltd データ統合装置、データ統合方法およびデータ統合プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2014122732A1 (ja) * 2013-02-06 2014-08-14 株式会社日立製作所 計算機システム、メタデータ管理方法及び記録媒体
WO2018011895A1 (ja) * 2016-07-12 2018-01-18 株式会社日立製作所 データ処理フロー管理システムおよび方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7002573B2 (en) * 2003-01-16 2006-02-21 1914 Holding Company Method and system for converting engineering data into 3D modeling data
US7555715B2 (en) * 2005-10-25 2009-06-30 Sonic Solutions Methods and systems for use in maintaining media data quality upon conversion to a different data format
US8898236B2 (en) * 2008-10-31 2014-11-25 Netapp, Inc. Automated conversion of versioned data collections
US9934244B2 (en) * 2010-08-13 2018-04-03 At&T Intellectual Property I, L.P. System and method for file format management
EP3067872B1 (en) 2012-09-12 2017-11-22 Omron Corporation Column traveling generating apparatus
US9098558B2 (en) * 2013-04-01 2015-08-04 Oracle International Corporation Enhanced flexibility for users to transform XML data to a desired format
JP5744953B2 (ja) * 2013-04-10 2015-07-08 東芝テック株式会社 取引データ処理装置、取引データ処理方法及びプログラム
CN103838837B (zh) * 2014-02-25 2017-08-15 浙江大学 基于语义模板的遥感元数据集成方法
JP6413258B2 (ja) * 2014-02-28 2018-10-31 キヤノンマーケティングジャパン株式会社 Ediシステム、ediシステムの制御方法、情報処理装置、情報処理装置の制御方法、およびプログラム
WO2015181902A1 (ja) * 2014-05-28 2015-12-03 株式会社日立製作所 計算機システムおよび計算機システム制御方法
US9965487B2 (en) * 2015-06-18 2018-05-08 International Business Machines Corporation Conversion of forms of user data segment IDs in a deduplication system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005150882A (ja) * 2003-11-12 2005-06-09 Mitsubishi Electric Corp 機器遠隔監視制御システム
JP2008217160A (ja) * 2007-02-28 2008-09-18 Nippon Telegr & Teleph Corp <Ntt> センシングデータ変換システム、データ変換装置、およびデータ変換方法
WO2014122732A1 (ja) * 2013-02-06 2014-08-14 株式会社日立製作所 計算機システム、メタデータ管理方法及び記録媒体
JP2014096177A (ja) * 2014-01-22 2014-05-22 Fujitsu Ltd データ統合装置、データ統合方法およびデータ統合プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2018011895A1 (ja) * 2016-07-12 2018-01-18 株式会社日立製作所 データ処理フロー管理システムおよび方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ODA, TOSHIHIKO ET AL.: "An Approach to Defining, Generating and Utilizing Metadata for Sensing Data Trading Market", THE 32ND ANNUAL CONFERENCE OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, 8 June 2018 (2018-06-08), pages 1 - 2 *

Also Published As

Publication number Publication date
US11468082B2 (en) 2022-10-11
JP7127440B2 (ja) 2022-08-30
JP2020042345A (ja) 2020-03-19
CN112567346A (zh) 2021-03-26
US20210311959A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
EP3975474B1 (en) Methods and apparatuses for chaining service data
WO2020049758A1 (ja) データ処理装置、データ処理方法及びデータ処理プログラム
US20190266194A1 (en) Information analysis system, information analysis method, and recording medium
WO2020049759A1 (ja) データ処理装置、データ処理方法及びデータ処理プログラム
WO2020049757A1 (ja) データ処理装置、データ処理方法及びデータ処理プログラム
WO2019159484A1 (ja) 品質チェック装置、品質チェック方法及びプログラム
CN112567348B (zh) 数据处理装置、数据处理方法和计算机可读存储介质
JP6320569B2 (ja) 宅内制御装置および宅内制御システム
JP6468377B1 (ja) 出力管理装置、出力管理方法及びプログラム
US11927928B2 (en) Output management apparatus, output management method, and program
JP6477936B1 (ja) データ処理装置、データ処理方法及びプログラム
JP6477935B1 (ja) 前処理判定装置、前処理判定方法及びプログラム
WO2019159486A1 (ja) セッション制御装置、セッション制御方法及びプログラム
WO2019159485A1 (ja) セッション制御装置、セッション制御方法及びプログラム
JP2019140558A (ja) 候補抽出装置、候補抽出方法及びプログラム
JP2019169946A (ja) 品質チェック装置、品質チェック方法及びプログラム
KR101630954B1 (ko) 가상 객체 탐색을 위한 브라우징 방법 및 시스템
KR100723616B1 (ko) 디지털 데이터베이스 공유 방법 및 시스템
KR20090011127A (ko) 유비쿼터스 센서 노드

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19858053

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19858053

Country of ref document: EP

Kind code of ref document: A1