WO2020049757A1 - Data processing apparatus, data processing method, and data processing program - Google Patents

Data processing apparatus, data processing method, and data processing program Download PDF

Info

Publication number
WO2020049757A1
WO2020049757A1 PCT/JP2019/006422 JP2019006422W WO2020049757A1 WO 2020049757 A1 WO2020049757 A1 WO 2020049757A1 JP 2019006422 W JP2019006422 W JP 2019006422W WO 2020049757 A1 WO2020049757 A1 WO 2020049757A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
metadata
data processing
etl
sensing
Prior art date
Application number
PCT/JP2019/006422
Other languages
French (fr)
Japanese (ja)
Inventor
哲二 大和
泰司 吉川
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to CN201980053093.5A priority Critical patent/CN112567348A/en
Publication of WO2020049757A1 publication Critical patent/WO2020049757A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor

Definitions

  • the present invention relates to a data processing device, a data processing method, and a data processing program.
  • Patent Document 1 discloses an information processing system.
  • a data group suitable for data analysis is generated based on the stored raw data group.
  • a data group suitable for data analysis is generated by performing a processing called ETL (Extract / Transform / Load) on each data (see Patent Document 1).
  • Patent Document 2 discloses a system applicable to data distribution.
  • sensing data is distributed.
  • Metadata indicating an attribute of the sensing data is associated with the sensing data.
  • sensing data that satisfies a user's request is searched for by referring to metadata (see Patent Document 2).
  • the system that executes ETL as disclosed in Patent Document 1 is also called an ETL tool.
  • Existing ETL tools target the processing of real data (for example, sensing data), and often do not target the processing of metadata. Therefore, when the existing ETL tool is used, when the actual data and the metadata are associated with each other, only the actual data is input to the ETL tool. In this case, if processing is performed only on the actual data, the relationship between the actual data and the metadata may be abnormal.
  • the present invention has been made to solve such a problem, and an object of the present invention is to maintain a normal relationship between actual data and metadata even when an existing ETL tool is used. It is an object of the present invention to provide a data processing device, a data processing method, and a data processing program that are capable of performing the above processing.
  • the data processing device is configured to perform processing on metadata indicating an attribute of actual data input to an ETL tool provided outside the data processing device.
  • the data processing device includes a memory and a processor.
  • the memory is configured to store a program.
  • the processor is configured to execute the program.
  • the program is configured to cause the processor to execute a step of performing a process on the metadata in accordance with the process performed on the actual data in the ETL tool.
  • this data processing device a process corresponding to the process performed on the actual data in the ETL tool is performed on the metadata. Therefore, according to this data processing device, the relationship between the actual data and the metadata can be normally maintained even when the existing ETL tool is used.
  • each of the actual data and the metadata may include a common ID (identification), and the program may be configured such that when the ID included in the actual data is changed in the ETL tool,
  • the processor may be configured to execute a step of changing the ID included in the metadata to the changed ID included in the actual data.
  • the real data and the metadata indicating the attribute of the real data are associated with each other by including a common ID. Therefore, if the ID of the metadata is not changed when the ID of the actual data is changed in the ETL tool, the link between the actual data and the metadata cannot be performed.
  • the ID included in the actual data is changed by the ETL tool
  • the ID included in the metadata is changed to the changed ID included in the actual data. You. Therefore, according to this data processing device, even if the ID of the actual data is changed in the ETL tool, the association between the actual data and the metadata can be maintained.
  • the actual data may include a value associated with the ID
  • the metadata may include a value associated with the ID and indicating an attribute of the actual data.
  • the program converts the value included in the metadata into a value that is consistent with the changed value included in the actual data.
  • the changing step may be configured to cause the processor to execute the changing step.
  • the consistency between the actual data and the metadata may not be obtained.
  • the value of the actual data is “8” digits
  • the value indicating the number of digits of the actual data in the metadata indicates “8”.
  • the value included in the actual data is processed to 5 digits by the ETL tool and the value of the metadata is not processed (the value of the metadata remains “8”)
  • the actual data and the metadata Matching cannot be achieved.
  • the value included in the actual data is changed by the ETL tool
  • the value included in the metadata is matched with the changed value included in the actual data. Is changed to a value that can be taken. Therefore, according to this data processing device, even if the value of the actual data is changed in the ETL tool, the consistency between the actual data and the metadata can be maintained.
  • the actual data may be sensing data generated by a sensor.
  • ⁇ A data processing method performs processing on metadata indicating an attribute of actual data input to an ETL tool.
  • This data processing method includes a step of performing a process on the metadata according to a process performed on the actual data in the ETL tool.
  • ⁇ A data processing program causes a processor to execute processing of metadata indicating an attribute of actual data input to an ETL tool.
  • the data processing program is configured to cause the processor to execute a step of performing a process on the metadata according to the process performed on the actual data in the ETL tool.
  • a data processing device capable of maintaining a normal relationship between actual data and metadata even when an existing ETL tool is used. be able to.
  • FIG. 3 is a diagram for describing an outline of a data processing server.
  • FIG. 1 is a diagram illustrating an example of a configuration of an analysis data generation system including a data processing server. It is a figure for explaining the kind of data format of data memorized by sensing data DB.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of a data processing server.
  • FIG. 3 is a diagram illustrating an example of a software configuration of a data processing server and an example of a software configuration of an ETL server.
  • FIG. 3 is a diagram illustrating a detailed configuration of a data format conversion unit.
  • FIG. 7 is a diagram for explaining the contents of data conversion performed by a data format conversion unit.
  • FIG. 1 is a diagram illustrating an example of a configuration of an analysis data generation system including a data processing server. It is a figure for explaining the kind of data format of data memorized by sensing data DB.
  • FIG. 3 is a diagram illustrating an example of a
  • FIG. 3 is a diagram illustrating a detailed configuration of a metadata conversion unit.
  • FIG. 6 is a diagram illustrating an example of metadata conversion in a value conversion unit.
  • 11 is a flowchart illustrating an example of a procedure of a data format conversion process in a data format conversion unit.
  • 9 is a flowchart illustrating an example of a procedure of a metadata conversion process in a metadata conversion unit.
  • the present embodiment will be described in detail with reference to the drawings.
  • the same or corresponding portions have the same reference characters allotted, and description thereof will not be repeated.
  • the present embodiment described below is merely an example of the present invention in every respect.
  • This embodiment can be variously modified and changed within the scope of the present invention. That is, in implementing the present invention, a specific configuration can be appropriately adopted according to the embodiment.
  • FIG. 1 is a diagram for describing an outline of data processing device (data processing server) 100 according to the present embodiment.
  • the data processing server 100 is connected to a sensing data DB (database) 200 and an ETL tool (ETL server) 400 via a network.
  • Various sensing data are accumulated in the sensing data DB 200.
  • the data processing server 100 generates output data by performing processing on the sensing data input from the sensing data DB 200.
  • data stored in the sensing data DB 200 includes data in which sensing data generated by a sensor is associated with metadata indicating an attribute of the sensing data.
  • the ETL server 400 targets processing of sensing data (actual data) and does not target processing of metadata. Therefore, of the data stored in the sensing data DB 200, only the sensing data is transmitted to the ETL server 400. In this case, if processing is performed only on the sensing data in the ETL server 400, an abnormality may occur in the relationship between the sensing data and the metadata (matching may not be achieved).
  • the data processing server 100 includes a metadata conversion unit 106.
  • the metadata conversion unit 106 performs a process on the metadata according to the process performed on the sensing data in the ETL server 400. Therefore, according to the data processing server 100, even when the existing ETL tool is used, the relationship between the sensing data (actual data) and the metadata can be normally maintained.
  • the configuration of the entire system, the hardware configuration and software configuration of the data processing server 100, and the operation of the data processing server 100 will be sequentially described.
  • FIG. 2 is a diagram showing an example of a configuration of the analysis data generation system 10 including the data processing server 100 according to the present embodiment.
  • the analysis data generation system 10 is a system that generates analysis data used by a data analysis person based on sensing data generated by a sensor installed at a manufacturing site or the like.
  • the data for analysis includes sensing data (actual data) and metadata for helping the person in charge of data analysis understand the sensing data.
  • the metadata indicates an attribute of the sensing data. Note that the metadata may be generated at a manufacturing site or the like, or may be generated in the process of generating the data for analysis.
  • the data analysis staff can appropriately handle the sensing data by referring to the metadata associated with the sensing data. As a result, the data analysis staff can perform appropriate data analysis.
  • the analysis data generation system 10 includes a data processing server 100, a sensing data DB 200, an analysis data DB 300, an ETL server 400, and an ID management server 500.
  • the sensing data DB 200 stores sensing data generated by the sensor.
  • sensors that generate sensing data stored in the sensing data DB 200 include an image sensor (camera), a temperature sensor, a humidity sensor, an illuminance sensor, a force sensor, a sound sensor, an RFID (Radio Frequency IDentification) sensor, and an infrared sensor. , An attitude sensor, a rainfall sensor, a radioactivity sensor, a gas sensor, and the like.
  • the sensor does not necessarily have to be a fixed type, but may be a mobile type such as a mobile phone, a smartphone, and a tablet. Further, the sensor does not necessarily need to be configured by a single sensing device, and may be configured by a plurality of sensing devices.
  • the sensor may be installed for any purpose. For example, the sensor is installed for factory automation (FA) and production management in a factory, urban traffic control, environmental measurement such as weather, health care, crime prevention, and the like. May be.
  • FA factory automation
  • the sensing data DB200 stores sensing data generated by various sensors. Therefore, the format of the data stored in the sensing data DB 200 is not always unified. For example, the sensing data DB 200 stores data in a plurality of data formats.
  • FIG. 3 is a diagram for explaining types of data formats of data stored in the sensing data DB 200.
  • the first data format is a data format including sensing data (actual data) (not including metadata).
  • the sensing data includes a value V11 generated by the sensor.
  • the second data format is a data format that includes sensing data and metadata, and each of the sensing data and metadata forms a different data unit.
  • the sensing data includes an ID (identification) and a value V21 generated by the sensor. How the ID is determined will be described later in detail.
  • the metadata includes an ID and a value V22 indicating an attribute of the sensing data.
  • the sensing data and the metadata are associated with each other by including a common ID (identification).
  • the third data format is a data format that includes sensing data and metadata, and the sensing data and metadata constitute one data unit.
  • a value V31 generated by the sensor is stored, and metadata is stored in a header portion.
  • ETL server 400 implements a so-called ETL tool. That is, the ETL server 400 extracts data from the sensing data DB 200 (E), converts the extracted data into a state suitable for analysis (T), and loads the converted data into the analysis data DB 300 (L). ).
  • ETL server 400 will be described later in detail.
  • the data processing server 100 performs processing in advance on the sensing data that the ETL server 400 has requested the sensing data DB 200 to transmit.
  • the data processing server 100 outputs the sensing data (actual data) acquired from the sensing data DB 200 to the ETL server 400 and performs processing on the metadata associated with the sensing data.
  • the data processing server 100 outputs the processed metadata to the analysis data DB 300.
  • the data processing server 100 will be described later in detail.
  • the analysis data DB 300 stores sensing data processed by the ETL server 400 and metadata processed by the data processing server 100. Each of the sensing data and the metadata stored in the analysis data DB 300 is processed so that a person in charge of data analysis can easily analyze the data.
  • the ID management server 500 manages the ID included in each of the sensing data (actual data) and the metadata in the second data format.
  • the ID management server 500 receives a request from the data processing server 100 and the ETL server 400, and generates an ID that does not overlap with the issued ID.
  • the ID management server 500 generates, for example, a UUID (Universally @ Unique @ Identifier).
  • the ID management server 500 stores the transition (history) of the ID included in each sensing data and each metadata. That is, for example, when an ID included in certain sensing data is changed, the ID management server 500 stores the ID before the change and the ID after the change in association with the sensing data. Therefore, for example, the provider of the sensing data can check how the provided sensing data is used by accessing the ID management server 500.
  • FIG. 4 is a diagram illustrating an example of a hardware configuration of the data processing server 100.
  • data processing server 100 is realized by, for example, a general-purpose computer.
  • the data processing server 100 includes a control unit 170, a communication I / F (interface) 190, and a storage unit 180, and each component is electrically connected via a bus 195. .
  • the control unit 170 includes a CPU (Central Processing Unit) 172, a RAM (Random Access Memory) 174, a ROM (Read Only Memory) 176, and the like, and is configured to control each component according to information processing. .
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • Communication I / F 190 communicates with external devices (for example, sensing data DB 200, analysis data DB 300, ETL server 400, and ID management server 500 (FIG. 2)) provided outside data processing server 100 via the Internet. It is configured to be.
  • Communication I / F 190 includes, for example, a wired LAN (Local Area Network) module or a wireless LAN module.
  • the storage unit 180 is, for example, an auxiliary storage device such as a hard disk drive or a solid state drive.
  • the storage unit 180 is configured to store, for example, a control program 181.
  • the control program 181 is a control program of the data processing server 100 executed by the control unit 170. For example, each software module described later may be realized by the control unit 170 executing the control program 181. When the control unit 170 executes the control program 181, the control program 181 is loaded on the RAM 174. Then, the control unit 170 controls each component by interpreting and executing the control program 181 expanded in the RAM 174 by the CPU 172.
  • the hardware configuration of the ETL server 400 can be the same as the hardware configuration of the data processing server 100.
  • FIG. 5 is a diagram illustrating an example of a software configuration of the data processing server 100 and an example of a software configuration of the ETL server 400.
  • the data processing server 100 includes a data format conversion unit 102, a data separation unit 104, a metadata conversion unit 106, and a metadata transmission unit 108.
  • Each of the data format conversion unit 102, the data separation unit 104, the metadata conversion unit 106, and the metadata transmission unit 108 is a software module realized by the control unit 170 (FIG. 4) executing the control program 181.
  • the ETL server 400 includes a data extraction unit 402, a data conversion unit 404, and a load unit 406.
  • Each of the data extraction unit 402, the data conversion unit 404, and the load unit 406 is a software module realized by a control unit (processor) (not shown) included in the ETL server 400 executing a control program (not shown).
  • These software modules start processing when the data extraction unit 402 included in the ETL server 400 requests the sensing data DB 200 to transmit data. That is, the data stored in the sensing data DB 200 is transmitted to the data format conversion unit 102 when the data extracting unit 402 transmits an API (Application Programming Interface) command requesting data transmission to the sensing data DB 200. Thus, the process is started.
  • API Application Programming Interface
  • the data format conversion unit 102 is a software module that unifies the data format of input data to the above-described second data format.
  • the data format conversion unit 102 determines the data format of the input data, and performs a data format conversion process according to the determination result.
  • the data generated by data format conversion section 102 is output to data separation section 104.
  • the data format conversion unit 102 will be described later in detail.
  • the data separation unit 104 is a software module that separates input data into sensing data (actual data) and metadata. Since the ETL server 400 often performs only the processing of the actual data, the data separation unit 104 outputs the sensing data to the data extraction unit 402 and outputs the metadata to the metadata conversion unit 106.
  • the data extraction unit 402 outputs the input (extracted) sensing data to the data conversion unit 404.
  • the data conversion unit 404 is a software module that performs conversion processing on input data according to a conversion rule predetermined for each type of sensing data, for example. For example, assume that the value of the sensing data generated by the temperature sensor indicates a voltage value (V). In this case, the conversion rule indicates, for example, a conversion formula between the voltage value (V) and the temperature (° C.). Data conversion unit 404 converts the input voltage value (V) into temperature (° C.), for example, according to this conversion formula. Further, for example, it is assumed that the number of digits of the sensing data generated by the sensor is 10 digits.
  • a rule for unifying the number of digits of sensing data to five digits is defined as a conversion rule.
  • the data conversion unit 404 converts the number of digits of the input sensing data into five digits according to the conversion rule.
  • the data conversion unit 404 changes the ID included in the sensing data.
  • the data conversion unit 404 requests the ID management server 500 to issue a new ID.
  • the data conversion unit 404 adds the ID to the sensing data.
  • Data conversion section 404 outputs the converted sensing data to loading section 406.
  • the loading unit 406 is a software module that outputs input data to the analysis data DB 300.
  • the analysis data DB 300 stores the sensing data input from the load unit 406.
  • the metadata conversion unit 106 is a software module that performs a conversion process on metadata according to a conversion process performed on sensing data in the ETL server 400.
  • the converted metadata is output to the metadata transmission unit 108.
  • the metadata conversion unit 106 will be described later in detail.
  • the metadata transmission unit 108 is a software module that outputs input data to the analysis data DB 300.
  • the metadata input from the metadata transmission unit 108 is stored.
  • FIG. 6 is a diagram showing a detailed configuration of the data format conversion unit 102.
  • the data format conversion unit 102 includes a data format determination unit 110, a first conversion unit 112, and a second conversion unit 114.
  • the data format determination unit 110 is a software module that determines the data format of input data.
  • the data format determination unit 110 determines which of the first, second, and third data formats the input data has. Specifically, the data format determination unit 110 determines whether i) the input data includes the metadata, and ii) determines whether the sensing data (actual data) and the metadata constitute the same data unit. Is determined.
  • the data format determination unit 110 determines that the input data does not include metadata, it determines that the format of the input data is the first data format. If the data format determination unit 110 determines that the input data includes the metadata and that the sensing data and the metadata each constitute a different data unit, the format of the input data is the second data format. Is determined. If the data format determination unit 110 determines that the input data includes the metadata and that the sensing data and the metadata constitute one data unit, the data format determination unit 110 determines that the format of the input data is the third data format. judge.
  • the data format determination unit 110 determines that the input data is in the first data format
  • the data format determination unit 110 outputs the data to the first conversion unit 112.
  • the data format determination unit 110 outputs the data to the data separation unit 104.
  • the data format determination unit 110 outputs the data to the second conversion unit 114. That is, when it is determined that the input data is in the second data format, the data format conversion process is not performed.
  • the first converter 112 is a software module that converts data in the first data format into data in the second data format.
  • the second conversion unit 114 is a software module that converts data in the third data format into data in the second data format.
  • FIG. 7 is a diagram for explaining the contents of data conversion performed in the data format conversion unit 102.
  • first conversion unit 112 converts data in the first data format into the second data format. Specifically, the first conversion unit 112 generates metadata indicating a predetermined default value. Further, the first conversion unit 112 requests the ID management server 500 (FIG. 5) to issue an ID, and adds the received ID to each of the sensing data and the metadata. As a result, sensing data and metadata having different data units, each having a common ID, are generated.
  • the second conversion unit 114 converts data in the third data format into the second data format. Specifically, the second conversion unit 114 separates the sensing data and the metadata into different data units. Further, the second conversion unit 114 requests the ID management server 500 (FIG. 5) to issue an ID, and adds the received ID to each of the sensing data and the metadata. As a result, sensing data and metadata having different data units, each having a common ID, are generated.
  • each of the data whose data format has been converted by first conversion unit 112 and the data whose data format has been converted by second conversion unit 114 are output to data separation unit 104.
  • the data format conversion unit 102 generates output data in the second data format even if the format of the input data is the first and third data formats. That is, the data format converter 102 outputs data in the second data format regardless of the format of the input data. Therefore, according to the data format conversion unit 102, the data in the common data format (second data format) is provided to the post-process regardless of the format of the input data, thereby simplifying the data processing in the post-process. it can.
  • FIG. 8 is a diagram showing a detailed configuration of the metadata conversion unit 106.
  • the metadata conversion unit 106 includes an inquiry unit 120, an ID conversion unit 122, and a value conversion unit 124.
  • the inquiry unit 120 is a software module that inquires the ETL server 400 about the processing content for the sensing data. For example, the inquiry unit 120 inquires of the ETL server 400 about i) the presence or absence of the change of the ID of the sensing data, the changed ID, and ii) the conversion content of the value of the sensing data.
  • the conversion content of the value of the sensing data is, for example, “unit conversion” or “digit number conversion”.
  • the inquiry unit 120 receives a response to the inquiry from the ETL server 400.
  • the inquiry unit 120 outputs an instruction to the ID conversion unit 122 and the value conversion unit 124 according to the content of the response from the ETL server 400. That is, when the ID of the sensing data is changed in the ETL server 400, the inquiry unit 120 outputs an instruction to the ID conversion unit 122 to change the ID of the metadata to the changed ID. Further, when the value of the sensing data is changed in the ETL server 400, the inquiry unit 120 instructs the value conversion unit 124 to change the value of the metadata to a value compatible with the changed value. Output.
  • the ID conversion unit 122 is a software module that processes metadata in accordance with an instruction from the inquiry unit 120. For example, when the ID of the sensing data is changed in the ETL server 400, the ID conversion unit 122 changes the ID included in the metadata to the changed ID included in the sensing data. On the other hand, for example, when the ID of the sensing data is not changed in the ETL server 400, the ID conversion unit 122 does not change the ID included in the metadata. That is, ID conversion section 122 changes the ID included in the metadata only when the ID included in the sensing data is changed in ETL server 400. According to this configuration, although the ID is limited, it is possible to avoid a situation in which the ID is issued more than necessary.
  • the value conversion unit 124 is a software module that processes metadata in accordance with an instruction from the inquiry unit 120. For example, when the value of the sensing data is converted (changed) in the ETL server 400, the value conversion unit 124 changes the value of the metadata to a value that matches the value after the change.
  • FIG. 9 is a diagram illustrating an example of metadata conversion in the value conversion unit 124.
  • the value of the sensing data is converted as the unit of the sensing data is changed from voltage (V) to temperature (° C.), and the number of digits of the sensing data is It has been converted from 10 digits to 5 digits.
  • the “unit” item included in the metadata is changed from “V” to “° C.”, and the “digits” item included in the metadata is changed to “digits”. "10 digits” is changed to "5 digits”.
  • the metadata generated by value conversion section 124 is output to metadata transmission section 108.
  • the metadata conversion unit 106 processing according to the processing performed on the sensing data (actual data) in the ETL server 400 (ETL tool) is performed on the metadata. Therefore, according to the metadata conversion unit 106, even when the existing ETL tool is used, the relationship between the sensing data (actual data) and the metadata can be normally maintained.
  • the sensing data and the metadata indicating the attribute of the sensing data are associated with each other by including a common ID. Therefore, when the ID of the sensing data is changed in the ETL server 400 and the ID of the metadata is not changed, it is impossible to associate the sensing data with the metadata.
  • the metadata conversion unit 106 when the ID included in the sensing data is changed in the ETL server 400, the ID included in the metadata is changed to the changed ID included in the sensing data. You. Therefore, according to the metadata conversion unit 106, even when the ID of the sensing data is changed in the ETL server 400, the association between the sensing data and the metadata can be maintained.
  • the matching between the sensing data and the metadata may not be achieved unless the value of the metadata is changed.
  • the metadata conversion unit 106 when the value included in the sensing data is changed in the ETL server 400, the value included in the metadata is matched with the changed value included in the sensing data. Is changed to a value that can be taken. Therefore, according to the metadata conversion unit 106, even if the value of the sensing data is changed in the ETL server 400, the consistency between the sensing data and the metadata can be maintained.
  • FIG. 10 is a flowchart illustrating an example of a procedure of a data format conversion process in the data format conversion unit 102. The process shown in this flowchart is started by the control unit 170 (data format conversion unit 102) when data stored in the sensing data DB 200 is input to the data format conversion unit 102.
  • control unit 170 determines whether or not the data format of the input data is the second data format (step S100). If it is determined that the data format of the input data is the second data format (YES in step S100), the process proceeds to step S140.
  • control unit 170 determines whether the data format of the input data is the first data format (step S110). ). When it is determined that the format of the input data is the first data format (YES in step S110), control unit 170 converts the format of the input data from the first data format to the second data format (step S120).
  • control unit 170 converts the format of the input data from the third data format to the second data format (step S130). . After that, the control unit 170 outputs data in the second data format (step S140). Thereby, the format of the output data of the data format conversion unit 102 is unified to the second data format.
  • FIG. 11 is a flowchart illustrating an example of a procedure of the metadata conversion process in the metadata conversion unit 106. The processing shown in this flowchart is started by the control unit 170 (metadata conversion unit 106) when metadata is input to the metadata conversion unit 106.
  • control unit 170 inquires of ETL server 400 about the processing content for sensing data (actual data) including the same ID as the ID included in the input metadata (step S200). Control unit 170 determines whether a response has been received from ETL server 400 (step S210). If it is determined that no answer has been received (NO in step S210), control unit 170 repeats the process of step S210.
  • control unit 170 determines whether or not the ID of the sensing data has been converted in ETL server 400 based on the received answer (step S210). S220). If it is determined that the ID of the sensing data has not been converted (NO in step S220), the process proceeds to step S240.
  • control unit 170 converts the ID of the metadata into the converted ID included in the sensing data (step S230).
  • the control unit 170 determines whether the value of the sensing data has been converted in the ETL server 400 based on the answer received in step S210 (step S240). If it is determined that the value of the sensing data has not been converted (NO in step S240), the process proceeds to step S260.
  • control unit 170 converts the value of the metadata into a value that matches the value included in the sensing data (step S250). ). After that, the control unit 170 outputs the converted metadata (step S260). As a result, metadata consistent with the sensing data processed in the ETL server 400 is generated.
  • control unit 170 is configured to perform processing according to processing performed on sensing data (actual data) in ETL server 400 on metadata. I have. Therefore, according to the data processing server 100, even when the existing ETL tool is used, the relationship between the sensing data (actual data) and the metadata can be normally maintained.
  • the data processing server 100 is an example of a “data processing device” of the present invention
  • the storage unit 180 is an example of a “memory” of the present invention
  • the control unit 170 is an example of a “processor” of the present invention. It is.
  • the data stored in the sensing data DB 200 and the data processed in the data processing server 100 are the sensing data.
  • the data stored in the sensing data DB 200 and the data processed in the data processing server 100 do not necessarily need to be sensing data.
  • the data stored in the sensing data DB 200 and the data processed in the data processing server 100 are data other than sensing data such as purchase history data of each user at the shopping site and score data of each user at the game site. It may be data.
  • the metadata generated in the data processing server 100 is output to the analysis data DB 300.
  • the output destination of the metadata generated in the data processing server 100 is not limited to the analysis data DB 300.
  • the metadata generated in the data processing server 100 may be output to the load unit 406 of the ETL server 400.
  • the loading unit 406 associates the sensing data with the metadata and outputs the data to the analysis data DB 300.
  • the metadata conversion unit 106 includes both the ID conversion unit 122 and the value conversion unit 124.
  • the metadata conversion unit 106 does not necessarily need to include both the ID conversion unit 122 and the value conversion unit 124.
  • the metadata conversion unit 106 may include only one of the ID conversion unit 122 and the value conversion unit 124.
  • 10 data generation system for analysis 100 data processing server, 102 data format conversion unit, 104 data separation unit, 106 metadata conversion unit, 108 metadata transmission unit, 110 data format determination unit, 112 first conversion unit, 114 second Conversion unit, 120 inquiry unit, 122 ID conversion unit, 124 value conversion unit, 170 control unit, 172 CPU, 174 RAM, 176 ROM, 180 storage unit, 181 control program, 190 communication I / F, 195 bus, 200 sensing data DB, 300 data DB for analysis, 400 ETL server, 402 data extractor, 404 data converter, 406 loader, 500 ID management server.

Abstract

This data processing apparatus performs processing on metadata indicating an attribute of actual data input to an ETL tool provided outside the data processing apparatus. The data processing apparatus includes a memory and a processor. The memory stores a program. The processor executes the program. The program causes the processor to execute a step for performing on the metadata, processing according to the processing performed on the actual data in the ETL tool.

Description

データ処理装置、データ処理方法及びデータ処理プログラムData processing device, data processing method, and data processing program
　本発明は、データ処理装置、データ処理方法及びデータ処理プログラムに関する。 The present invention relates to a data processing device, a data processing method, and a data processing program.
　特開２０１６－９１４２９号公報（特許文献１）は、情報処理システムを開示する。この情報処理システムにおいては、蓄積されている未加工のデータ群に基づいて、データ分析に適したデータ群が生成される。具体的には、この情報処理システムにおいては、ＥＴＬ（Extract/Transform/Load）という加工処理を各データに施すことによって、データ分析に適したデータ群が生成される（特許文献１参照）。 Japanese Patent Application Laid-Open No. 2016-91429 (Patent Document 1) discloses an information processing system. In this information processing system, a data group suitable for data analysis is generated based on the stored raw data group. Specifically, in this information processing system, a data group suitable for data analysis is generated by performing a processing called ETL (Extract / Transform / Load) on each data (see Patent Document 1).
　また、ＷＯ２０１４／０４１８２６（特許文献２）は、データ流通に適用可能なシステムを開示する。このシステムにおいては、たとえば、センシングデータが流通する。センシングデータには、センシングデータの属性を示すメタデータが対応付けられている。このシステムにおいては、メタデータを参照することによって、利用者の要求を満たすセンシングデータが探索される（特許文献２参照）。 WO 2014/041826 (Patent Document 2) discloses a system applicable to data distribution. In this system, for example, sensing data is distributed. Metadata indicating an attribute of the sensing data is associated with the sensing data. In this system, sensing data that satisfies a user's request is searched for by referring to metadata (see Patent Document 2).
特開２０１６－９１４２９号公報JP, 2016-91429, A ＷＯ２０１４／０４１８２６WO2014 / 041826
　上記特許文献１に開示されているようなＥＴＬを実行するシステムは、ＥＴＬツールとも呼ばれる。既存のＥＴＬツールは、実データ（たとえば、センシングデータ）の処理を対象としており、メタデータの処理を対象としていない場合が多い。したがって、既存のＥＴＬツールを使用する場合に、実データとメタデータとが対応付けられているときは、実データのみがＥＴＬツールに入力される。この場合に、実データのみに処理が施されると、実データとメタデータとの関係性に異常が生じる場合がある。 The system that executes ETL as disclosed in Patent Document 1 is also called an ETL tool. Existing ETL tools target the processing of real data (for example, sensing data), and often do not target the processing of metadata. Therefore, when the existing ETL tool is used, when the actual data and the metadata are associated with each other, only the actual data is input to the ETL tool. In this case, if processing is performed only on the actual data, the relationship between the actual data and the metadata may be abnormal.
　本発明は、このような問題を解決するためになされたものであって、その目的は、既存のＥＴＬツールを使用した場合であっても、実データとメタデータとの関係性を正常に保つことが可能なデータ処理装置、データ処理方法及びデータ処理プログラムを提供することである。 The present invention has been made to solve such a problem, and an object of the present invention is to maintain a normal relationship between actual data and metadata even when an existing ETL tool is used. It is an object of the present invention to provide a data processing device, a data processing method, and a data processing program that are capable of performing the above processing.
　本発明のある局面に従うデータ処理装置は、データ処理装置の外部に設けられたＥＴＬツールに入力された実データの属性を示すメタデータに処理を施すように構成されている。このデータ処理装置は、メモリと、プロセッサとを備える。メモリは、プログラムを記憶するように構成されている。プロセッサは、プログラムを実行するように構成されている。プログラムは、ＥＴＬツールにおいて実データに施された処理に応じた処理をメタデータに施すステップをプロセッサに実行させるように構成されている。 The data processing device according to an aspect of the present invention is configured to perform processing on metadata indicating an attribute of actual data input to an ETL tool provided outside the data processing device. The data processing device includes a memory and a processor. The memory is configured to store a program. The processor is configured to execute the program. The program is configured to cause the processor to execute a step of performing a process on the metadata in accordance with the process performed on the actual data in the ETL tool.
　このデータ処理装置においては、ＥＴＬツールにおいて実データに施された処理に応じた処理がメタデータに施される。したがって、このデータ処理装置によれば、既存のＥＴＬツールを使用した場合であっても、実データとメタデータとの関係性を正常に保つことができる。 In this data processing device, a process corresponding to the process performed on the actual data in the ETL tool is performed on the metadata. Therefore, according to this data processing device, the relationship between the actual data and the metadata can be normally maintained even when the existing ETL tool is used.
　上記データ処理装置において、実データ及びメタデータの各々には、共通のＩＤ（identification）が含まれてもよく、プログラムは、ＥＴＬツールにおいて実データに含まれているＩＤが変更された場合に、メタデータに含まれているＩＤを実データに含まれている変更後のＩＤに変更するステップをプロセッサに実行させるように構成されてもよい。 In the above data processing device, each of the actual data and the metadata may include a common ID (identification), and the program may be configured such that when the ID included in the actual data is changed in the ETL tool, The processor may be configured to execute a step of changing the ID included in the metadata to the changed ID included in the actual data.
　実データと、該実データの属性を示すメタデータとは、各々が共通のＩＤを含むことによって対応付けられている。したがって、ＥＴＬツールにおいて実データのＩＤが変更された場合に、メタデータのＩＤが変更されないと、実データとメタデータとの紐付けができなくなる。本発明に従うデータ処理装置においては、ＥＴＬツールにおいて実データに含まれているＩＤが変更された場合に、メタデータに含まれているＩＤが実データに含まれている変更後のＩＤに変更される。したがって、このデータ処理装置によれば、ＥＴＬツールにおいて実データのＩＤが変更されたとしても、実データとメタデータとの紐付けを維持することができる。 The real data and the metadata indicating the attribute of the real data are associated with each other by including a common ID. Therefore, if the ID of the metadata is not changed when the ID of the actual data is changed in the ETL tool, the link between the actual data and the metadata cannot be performed. In the data processing device according to the present invention, when the ID included in the actual data is changed by the ETL tool, the ID included in the metadata is changed to the changed ID included in the actual data. You. Therefore, according to this data processing device, even if the ID of the actual data is changed in the ETL tool, the association between the actual data and the metadata can be maintained.
　上記データ処理装置において、実データには、ＩＤに対応付けられた値が含まれてもよく、メタデータには、ＩＤに対応付けられ、かつ、実データの属性を示す値が含まれてもよく、プログラムは、ＥＴＬツールにおいて実データに含まれている値が変更された場合に、メタデータに含まれている値を、実データに含まれている変更後の値と整合の取れる値に変更するステップをプロセッサに実行させるように構成されてもよい。 In the data processing device, the actual data may include a value associated with the ID, and the metadata may include a value associated with the ID and indicating an attribute of the actual data. Often, when the value included in the actual data is changed in the ETL tool, the program converts the value included in the metadata into a value that is consistent with the changed value included in the actual data. The changing step may be configured to cause the processor to execute the changing step.
　ＥＴＬツールにおいて実データの値が変更された場合に、メタデータの値が変更されないと、実データとメタデータとの整合が取れなくなる場合がある。たとえば、実データの値が「８」桁である場合に、メタデータのうち実データの桁数を示す値は「８」を示す。この場合に、ＥＴＬツールにおいて実データの値が５桁に加工され、メタデータの値に加工が施されないと（メタデータの値は「８」を示したまま）、実データとメタデータとの整合が取れなくなる。本発明に従うデータ処理装置においては、ＥＴＬツールにおいて実データに含まれている値が変更された場合に、メタデータに含まれている値が、実データに含まれている変更後の値と整合の取れる値に変更される。したがって、このデータ処理装置によれば、ＥＴＬツールにおいて実データの値が変更されたとしても、実データとメタデータとの整合を維持することができる。 If the value of the metadata is not changed when the value of the actual data is changed in the ETL tool, the consistency between the actual data and the metadata may not be obtained. For example, when the value of the actual data is “8” digits, the value indicating the number of digits of the actual data in the metadata indicates “8”. In this case, if the value of the actual data is processed to 5 digits by the ETL tool and the value of the metadata is not processed (the value of the metadata remains “8”), the actual data and the metadata Matching cannot be achieved. In the data processing device according to the present invention, when the value included in the actual data is changed by the ETL tool, the value included in the metadata is matched with the changed value included in the actual data. Is changed to a value that can be taken. Therefore, according to this data processing device, even if the value of the actual data is changed in the ETL tool, the consistency between the actual data and the metadata can be maintained.
　上記データ処理装置において、実データは、センサによって生成されたセンシングデータであってもよい。 In the data processing device, the actual data may be sensing data generated by a sensor.
　本発明の別の局面に従うデータ処理方法は、ＥＴＬツールに入力された実データの属性を示すメタデータに処理を施す。このデータ処理方法は、ＥＴＬツールにおいて実データに施された処理に応じた処理をメタデータに施すステップを含む。 {A data processing method according to another aspect of the present invention performs processing on metadata indicating an attribute of actual data input to an ETL tool. This data processing method includes a step of performing a process on the metadata according to a process performed on the actual data in the ETL tool.
　このデータ処理方法においては、ＥＴＬツールにおいて実データに施された処理に応じた処理がメタデータに施される。したがって、このデータ処理方法によれば、既存のＥＴＬツールを使用した場合であっても、実データとメタデータとの関係性を正常に保つことができる。 In this data processing method, a process corresponding to the process performed on the actual data in the ETL tool is performed on the metadata. Therefore, according to this data processing method, the relationship between the actual data and the metadata can be normally maintained even when the existing ETL tool is used.
　本発明の別の局面に従うデータ処理プログラムは、ＥＴＬツールに入力された実データの属性を示すメタデータの処理をプロセッサに実行させる。このデータ処理プログラムは、ＥＴＬツールにおいて実データに施された処理に応じた処理をメタデータに施すステップをプロセッサに実行させるように構成されている。 {A data processing program according to another aspect of the present invention causes a processor to execute processing of metadata indicating an attribute of actual data input to an ETL tool. The data processing program is configured to cause the processor to execute a step of performing a process on the metadata according to the process performed on the actual data in the ETL tool.
　このデータ処理プログラムがプロセッサによって実行されると、ＥＴＬツールにおいて実データに施された処理に応じた処理がメタデータに施される。したがって、このデータ処理プログラムによれば、既存のＥＴＬツールを使用した場合であっても、実データとメタデータとの関係性を正常に保つことができる。 (4) When the data processing program is executed by the processor, a process corresponding to the process performed on the actual data in the ETL tool is performed on the metadata. Therefore, according to the data processing program, the relationship between the actual data and the metadata can be normally maintained even when the existing ETL tool is used.
　本発明によれば、既存のＥＴＬツールを使用した場合であっても、実データとメタデータとの関係性を正常に保つことが可能なデータ処理装置、データ処理方法及びデータ処理プログラムを提供することができる。 According to the present invention, there is provided a data processing device, a data processing method, and a data processing program capable of maintaining a normal relationship between actual data and metadata even when an existing ETL tool is used. be able to.
データ処理サーバの概要を説明するための図である。FIG. 3 is a diagram for describing an outline of a data processing server. データ処理サーバを含む分析用データ生成システムの構成の一例を示す図である。FIG. 1 is a diagram illustrating an example of a configuration of an analysis data generation system including a data processing server. センシングデータＤＢに記憶されているデータのデータ形式の種類を説明するための図である。It is a figure for explaining the kind of data format of data memorized by sensing data DB. データ処理サーバのハードウェア構成の一例を示す図である。FIG. 3 is a diagram illustrating an example of a hardware configuration of a data processing server. データ処理サーバのソフトウェア構成の一例、及び、ＥＴＬサーバのソフトウェア構成の一例を示す図である。FIG. 3 is a diagram illustrating an example of a software configuration of a data processing server and an example of a software configuration of an ETL server. データ形式変換部の詳細構成を示す図である。FIG. 3 is a diagram illustrating a detailed configuration of a data format conversion unit. データ形式変換部において実行されるデータ変換の内容を説明するための図である。FIG. 7 is a diagram for explaining the contents of data conversion performed by a data format conversion unit. メタデータ変換部の詳細構成を示す図である。FIG. 3 is a diagram illustrating a detailed configuration of a metadata conversion unit. 値変換部におけるメタデータの変換の一例を示す図である。FIG. 6 is a diagram illustrating an example of metadata conversion in a value conversion unit. データ形式変換部におけるデータ形式変換処理の手順の一例を示すフローチャートである。11 is a flowchart illustrating an example of a procedure of a data format conversion process in a data format conversion unit. メタデータ変換部におけるメタデータ変換処理の手順の一例を示すフローチャートである。9 is a flowchart illustrating an example of a procedure of a metadata conversion process in a metadata conversion unit.
　以下、本発明の一側面に係る実施の形態（以下、「本実施の形態」とも称する。）について、図面を用いて詳細に説明する。なお、図中同一又は相当部分には同一符号を付してその説明は繰り返さない。また、以下で説明する本実施の形態は、あらゆる点において本発明の例示にすぎない。本実施の形態は、本発明の範囲内において、種々の改良や変更が可能である。すなわち、本発明の実施にあたっては、実施の形態に応じて具体的構成を適宜採用することができる。 Hereinafter, an embodiment according to one aspect of the present invention (hereinafter, also referred to as “the present embodiment”) will be described in detail with reference to the drawings. In the drawings, the same or corresponding portions have the same reference characters allotted, and description thereof will not be repeated. The present embodiment described below is merely an example of the present invention in every respect. This embodiment can be variously modified and changed within the scope of the present invention. That is, in implementing the present invention, a specific configuration can be appropriately adopted according to the embodiment.
　［１．概要］
　図１は、本実施の形態に従うデータ処理装置（データ処理サーバ）１００の概要を説明するための図である。図１に示されるように、データ処理サーバ１００は、ネットワークを介してセンシングデータＤＢ（database）２００及びＥＴＬツール（ＥＴＬサーバ）４００に接続されている。センシングデータＤＢ２００には、種々のセンシングデータが蓄積されている。データ処理サーバ１００は、センシングデータＤＢ２００から入力されたセンシングデータに処理を施すことによって、出力データを生成する。 [1. Overview]
FIG. 1 is a diagram for describing an outline of data processing device (data processing server) 100 according to the present embodiment. As shown in FIG. 1, the data processing server 100 is connected to a sensing data DB (database) 200 and an ETL tool (ETL server) 400 via a network. Various sensing data are accumulated in the sensing data DB 200. The data processing server 100 generates output data by performing processing on the sensing data input from the sensing data DB 200.
　たとえば、センシングデータＤＢ２００に蓄積されているデータには、センサによって生成されたセンシングデータと、該センシングデータの属性を示すメタデータとが対応付けられているデータがある。一方、ＥＴＬサーバ４００（たとえば、既存のＥＴＬツール）は、センシングデータ（実データ）の処理を対象としており、メタデータの処理を対象としていない。したがって、センシングデータＤＢ２００に蓄積されているデータのうち、センシングデータのみがＥＴＬサーバ４００に送信される。この場合に、ＥＴＬサーバ４００においてセンシングデータのみに処理が施されると、センシングデータとメタデータとの関係性に異常が生じる（整合が取れなくなる）場合がある。 For example, data stored in the sensing data DB 200 includes data in which sensing data generated by a sensor is associated with metadata indicating an attribute of the sensing data. On the other hand, the ETL server 400 (for example, an existing ETL tool) targets processing of sensing data (actual data) and does not target processing of metadata. Therefore, of the data stored in the sensing data DB 200, only the sensing data is transmitted to the ETL server 400. In this case, if processing is performed only on the sensing data in the ETL server 400, an abnormality may occur in the relationship between the sensing data and the metadata (matching may not be achieved).
　本実施の形態に従うデータ処理サーバ１００は、メタデータ変換部１０６を含んでいる。メタデータ変換部１０６は、ＥＴＬサーバ４００においてセンシングデータに施された処理に応じた処理をメタデータに施す。したがって、データ処理サーバ１００によれば、既存のＥＴＬツールを使用した場合であっても、センシングデータ（実データ）とメタデータとの関係性を正常に保つことができる。以下、システム全体の構成、データ処理サーバ１００のハードウェア構成及びソフトウェア構成、並びに、データ処理サーバ１００の動作について順に説明する。 The data processing server 100 according to the present embodiment includes a metadata conversion unit 106. The metadata conversion unit 106 performs a process on the metadata according to the process performed on the sensing data in the ETL server 400. Therefore, according to the data processing server 100, even when the existing ETL tool is used, the relationship between the sensing data (actual data) and the metadata can be normally maintained. Hereinafter, the configuration of the entire system, the hardware configuration and software configuration of the data processing server 100, and the operation of the data processing server 100 will be sequentially described.
　［２．システム構成］
　図２は、本実施の形態に従うデータ処理サーバ１００を含む分析用データ生成システム１０の構成の一例を示す図である。分析用データ生成システム１０は、製造現場等に設置されたセンサが生成したセンシングデータに基づいて、データ分析担当者が利用する分析用データを生成するシステムである。 [2. System configuration]
FIG. 2 is a diagram showing an example of a configuration of the analysis data generation system 10 including the data processing server 100 according to the present embodiment. The analysis data generation system 10 is a system that generates analysis data used by a data analysis person based on sensing data generated by a sensor installed at a manufacturing site or the like.
　データ分析担当者の多くは、製造現場等の事情について詳しくない。したがって、データ分析担当者の多くは、センシングデータのみを参照したとしても、センシングデータが何を意味するのかを正確には把握できない。本実施の形態において、分析用データは、センシングデータ（実データ）と、データ分析担当者によるセンシングデータの理解を助けるためのメタデータとを含む。メタデータは、センシングデータの属性を示す。なお、メタデータは、製造現場等において生成されてもよいし、分析用データが生成される過程で生成されてもよい。 Many data analysts are not familiar with the situation at manufacturing sites. Therefore, many data analysts cannot accurately grasp what the sensing data means even if they refer only to the sensing data. In the present embodiment, the data for analysis includes sensing data (actual data) and metadata for helping the person in charge of data analysis understand the sensing data. The metadata indicates an attribute of the sensing data. Note that the metadata may be generated at a manufacturing site or the like, or may be generated in the process of generating the data for analysis.
　データ分析担当者は、センシングデータに対応付けられているメタデータを参照することによって、センシングデータを適切に扱うことができる。その結果、データ分析担当者は、適切なデータ分析を行なうことができる。 The data analysis staff can appropriately handle the sensing data by referring to the metadata associated with the sensing data. As a result, the data analysis staff can perform appropriate data analysis.
　図２の例では、分析用データ生成システム１０は、データ処理サーバ１００と、センシングデータＤＢ２００と、分析用データＤＢ３００と、ＥＴＬサーバ４００と、ＩＤ管理サーバ５００とを含んでいる。 In the example of FIG. 2, the analysis data generation system 10 includes a data processing server 100, a sensing data DB 200, an analysis data DB 300, an ETL server 400, and an ID management server 500.
　センシングデータＤＢ２００は、センサによって生成されたセンシングデータを記憶する。センシングデータＤＢ２００に記憶されているセンシングデータを生成するセンサとしては、たとえば、画像センサ（カメラ）、温度センサ、湿度センサ、照度センサ、力センサ、音センサ、ＲＦＩＤ（Radio Frequency IDentification）センサ、赤外線センサ、姿勢センサ、降雨センサ、放射能センサ及びガスセンサ等がある。また、センサは、必ずしも固設型である必要はなく、携帯電話、スマートフォン及びタブレット等の移動型であってもよい。また、センサは、必ずしも単一のセンシングデバイスで構成されている必要はなく、複数のセンシングデバイスによって構成されていてもよい。また、センサは、どのような目的で設置されていてもよく、たとえば、工場におけるＦＡ（Factory Automation）及び生産管理、都市交通制御、気象等の環境計測、ヘルスケア並びに防犯等のために設置されていてもよい。 The sensing data DB 200 stores sensing data generated by the sensor. Examples of sensors that generate sensing data stored in the sensing data DB 200 include an image sensor (camera), a temperature sensor, a humidity sensor, an illuminance sensor, a force sensor, a sound sensor, an RFID (Radio Frequency IDentification) sensor, and an infrared sensor. , An attitude sensor, a rainfall sensor, a radioactivity sensor, a gas sensor, and the like. Further, the sensor does not necessarily have to be a fixed type, but may be a mobile type such as a mobile phone, a smartphone, and a tablet. Further, the sensor does not necessarily need to be configured by a single sensing device, and may be configured by a plurality of sensing devices. The sensor may be installed for any purpose. For example, the sensor is installed for factory automation (FA) and production management in a factory, urban traffic control, environmental measurement such as weather, health care, crime prevention, and the like. May be.
　このように、センシングデータＤＢ２００には、様々なセンサによって生成されたセンシングデータが記憶されている。したがって、センシングデータＤＢ２００に記憶されているデータの形式は、必ずしも統一されていない。たとえば、センシングデータＤＢ２００には、複数種類のデータ形式のデータが記憶されている。 As described above, the sensing data DB200 stores sensing data generated by various sensors. Therefore, the format of the data stored in the sensing data DB 200 is not always unified. For example, the sensing data DB 200 stores data in a plurality of data formats.
　図３は、センシングデータＤＢ２００に記憶されているデータのデータ形式の種類を説明するための図である。図３に示されるように、第１データ形式は、センシングデータ（実データ）を含む（メタデータを含まない）データ形式である。第１データ形式において、センシングデータは、センサによって生成された値Ｖ１１を含む。 FIG. 3 is a diagram for explaining types of data formats of data stored in the sensing data DB 200. As shown in FIG. 3, the first data format is a data format including sensing data (actual data) (not including metadata). In the first data format, the sensing data includes a value V11 generated by the sensor.
　第２データ形式は、センシングデータとメタデータとを含み、センシングデータ及びメタデータの各々が異なるデータ単位を構成するデータ形式である。第２データ形式において、センシングデータは、ＩＤ（identification）と、センサによって生成された値Ｖ２１とを含む。ＩＤがどのように決定されるかについては、後程詳しく説明する。メタデータは、ＩＤと、センシングデータの属性を示す値Ｖ２２とを含む。なお、センシングデータとメタデータとは、共通のＩＤ（identification）を含むことによって、互いに対応付けられている。 The second data format is a data format that includes sensing data and metadata, and each of the sensing data and metadata forms a different data unit. In the second data format, the sensing data includes an ID (identification) and a value V21 generated by the sensor. How the ID is determined will be described later in detail. The metadata includes an ID and a value V22 indicating an attribute of the sensing data. The sensing data and the metadata are associated with each other by including a common ID (identification).
　第３データ形式は、センシングデータとメタデータとを含み、センシングデータ及びメタデータが１つのデータ単位を構成するデータ形式である。第３データ形式においては、センサによって生成された値Ｖ３１が格納されるとともに、ヘッダ部にメタデータが格納される。 The third data format is a data format that includes sensing data and metadata, and the sensing data and metadata constitute one data unit. In the third data format, a value V31 generated by the sensor is stored, and metadata is stored in a header portion.
　再び図２を参照して、ＥＴＬサーバ４００は、いわゆるＥＴＬツールを実現する。すなわち、ＥＴＬサーバ４００は、センシングデータＤＢ２００からデータを抽出し（Ｅ）、抽出されたデータを分析に適した状態に変換し（Ｔ）、変換後のデータを分析用データＤＢ３００へロードする（Ｌ）。ＥＴＬサーバ４００については、後程詳しく説明する。 (2) Referring to FIG. 2 again, ETL server 400 implements a so-called ETL tool. That is, the ETL server 400 extracts data from the sensing data DB 200 (E), converts the extracted data into a state suitable for analysis (T), and loads the converted data into the analysis data DB 300 (L). ). The ETL server 400 will be described later in detail.
　データ処理サーバ１００は、ＥＴＬサーバ４００がセンシングデータＤＢ２００に送信を要求したセンシングデータに事前に処理を施す。データ処理サーバ１００は、センシングデータＤＢ２００から取得したセンシングデータ（実データ）をＥＴＬサーバ４００へ出力するとともに、該センシングデータに対応付けられているメタデータに処理を施す。データ処理サーバ１００は、処理後のメタデータを分析用データＤＢ３００へ出力する。データ処理サーバ１００については、後程詳しく説明する。 (4) The data processing server 100 performs processing in advance on the sensing data that the ETL server 400 has requested the sensing data DB 200 to transmit. The data processing server 100 outputs the sensing data (actual data) acquired from the sensing data DB 200 to the ETL server 400 and performs processing on the metadata associated with the sensing data. The data processing server 100 outputs the processed metadata to the analysis data DB 300. The data processing server 100 will be described later in detail.
　分析用データＤＢ３００は、ＥＴＬサーバ４００において処理が施されたセンシングデータと、データ処理サーバ１００において処理が施されたメタデータとを記憶する。分析用データＤＢ３００に記憶されているセンシングデータ及びメタデータの各々は、データ分析担当者が容易に分析できるように加工されている。 The analysis data DB 300 stores sensing data processed by the ETL server 400 and metadata processed by the data processing server 100. Each of the sensing data and the metadata stored in the analysis data DB 300 is processed so that a person in charge of data analysis can easily analyze the data.
　ＩＤ管理サーバ５００は、第２データ形式において、センシングデータ（実データ）及びメタデータの各々が含むＩＤを管理する。ＩＤ管理サーバ５００は、たとえば、データ処理サーバ１００及びＥＴＬサーバ４００からの要求を受けて、発行済みのＩＤと重複しないＩＤを生成する。ＩＤ管理サーバ５００は、たとえば、ＵＵＩＤ（Universally Unique Identifier）を生成する。また、ＩＤ管理サーバ５００は、各センシングデータ及び各メタデータに含まれるＩＤの変遷（履歴）を記憶する。すなわち、たとえば、あるセンシングデータに含まれているＩＤが変更された場合に、ＩＤ管理サーバ５００は、変更前のＩＤと、変更後のＩＤとを該センシングデータに対応付けて記憶する。したがって、たとえば、センシングデータの提供者は、ＩＤ管理サーバ５００にアクセスすることによって、自身が提供したセンシングデータがどのような使われ方をしているのかを確認することができる。 The ID management server 500 manages the ID included in each of the sensing data (actual data) and the metadata in the second data format. The ID management server 500, for example, receives a request from the data processing server 100 and the ETL server 400, and generates an ID that does not overlap with the issued ID. The ID management server 500 generates, for example, a UUID (Universally @ Unique @ Identifier). Further, the ID management server 500 stores the transition (history) of the ID included in each sensing data and each metadata. That is, for example, when an ID included in certain sensing data is changed, the ID management server 500 stores the ID before the change and the ID after the change in association with the sensing data. Therefore, for example, the provider of the sensing data can check how the provided sensing data is used by accessing the ID management server 500.
　［３．ハードウェア構成］
　図４は、データ処理サーバ１００のハードウェア構成の一例を示す図である。なお、本実施の形態において、データ処理サーバ１００は、たとえば、汎用コンピュータによって実現される。 [3. Hardware configuration]
FIG. 4 is a diagram illustrating an example of a hardware configuration of the data processing server 100. In the present embodiment, data processing server 100 is realized by, for example, a general-purpose computer.
　図４の例では、データ処理サーバ１００は、制御部１７０と、通信Ｉ／Ｆ（interface）１９０と、記憶部１８０とを含み、各構成は、バス１９５を介して電気的に接続されている。 In the example of FIG. 4, the data processing server 100 includes a control unit 170, a communication I / F (interface) 190, and a storage unit 180, and each component is electrically connected via a bus 195. .
　制御部１７０は、ＣＰＵ（Central Processing Unit）１７２、ＲＡＭ（Random Access Memory）１７４及びＲＯＭ（Read Only Memory）１７６等を含み、情報処理に応じて各構成要素の制御を行なうように構成されている。 The control unit 170 includes a CPU (Central Processing Unit) 172, a RAM (Random Access Memory) 174, a ROM (Read Only Memory) 176, and the like, and is configured to control each component according to information processing. .
　通信Ｉ／Ｆ１９０は、インターネットを介して、データ処理サーバ１００の外部に設けられた外部装置（たとえば、センシングデータＤＢ２００、分析用データＤＢ３００、ＥＴＬサーバ４００及びＩＤ管理サーバ５００（図２））と通信するように構成されている。通信Ｉ／Ｆ１９０は、たとえば、有線ＬＡＮ（Local Area Network）モジュールや無線ＬＡＮモジュールで構成される。 Communication I / F 190 communicates with external devices (for example, sensing data DB 200, analysis data DB 300, ETL server 400, and ID management server 500 (FIG. 2)) provided outside data processing server 100 via the Internet. It is configured to be. Communication I / F 190 includes, for example, a wired LAN (Local Area Network) module or a wireless LAN module.
　記憶部１８０は、たとえば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置である。記憶部１８０は、たとえば、制御プログラム１８１を記憶するように構成されている。 The storage unit 180 is, for example, an auxiliary storage device such as a hard disk drive or a solid state drive. The storage unit 180 is configured to store, for example, a control program 181.
　制御プログラム１８１は、制御部１７０によって実行されるデータ処理サーバ１００の制御プログラムである。たとえば、制御部１７０が制御プログラム１８１を実行することによって、後述の各ソフトウェアモジュールが実現されてもよい。制御部１７０が制御プログラム１８１を実行する場合に、制御プログラム１８１は、ＲＡＭ１７４に展開される。そして、制御部１７０は、ＲＡＭ１７４に展開された制御プログラム１８１をＣＰＵ１７２によって解釈及び実行することにより、各構成要素を制御する。なお、ＥＴＬサーバ４００のハードウェア構成は、データ処理サーバ１００のハードウェア構成と同様とすることができる。 The control program 181 is a control program of the data processing server 100 executed by the control unit 170. For example, each software module described later may be realized by the control unit 170 executing the control program 181. When the control unit 170 executes the control program 181, the control program 181 is loaded on the RAM 174. Then, the control unit 170 controls each component by interpreting and executing the control program 181 expanded in the RAM 174 by the CPU 172. The hardware configuration of the ETL server 400 can be the same as the hardware configuration of the data processing server 100.
　［４．ソフトウェア構成］
　＜４－１．データ処理サーバ及びＥＴＬサーバのソフトウェア構成＞
　図５は、データ処理サーバ１００のソフトウェア構成の一例、及び、ＥＴＬサーバ４００のソフトウェア構成の一例を示す図である。図５に示されるように、データ処理サーバ１００は、データ形式変換部１０２と、データ分離部１０４と、メタデータ変換部１０６と、メタデータ送信部１０８とを含んでいる。データ形式変換部１０２、データ分離部１０４、メタデータ変換部１０６及びメタデータ送信部１０８の各々は、制御部１７０（図４）が制御プログラム１８１を実行することよって実現されるソフトウェアモジュールである。 [4. Software configuration]
<4-1. Software configuration of data processing server and ETL server>
FIG. 5 is a diagram illustrating an example of a software configuration of the data processing server 100 and an example of a software configuration of the ETL server 400. As shown in FIG. 5, the data processing server 100 includes a data format conversion unit 102, a data separation unit 104, a metadata conversion unit 106, and a metadata transmission unit 108. Each of the data format conversion unit 102, the data separation unit 104, the metadata conversion unit 106, and the metadata transmission unit 108 is a software module realized by the control unit 170 (FIG. 4) executing the control program 181.
　ＥＴＬサーバ４００は、データ抽出部４０２と、データ変換部４０４と、ロード部４０６とを含んでいる。データ抽出部４０２、データ変換部４０４及びロード部４０６の各々は、ＥＴＬサーバ４００に含まれる不図示の制御部（プロセッサ）が不図示の制御プログラムを実行することによって実現されるソフトウェアモジュールである。 The ETL server 400 includes a data extraction unit 402, a data conversion unit 404, and a load unit 406. Each of the data extraction unit 402, the data conversion unit 404, and the load unit 406 is a software module realized by a control unit (processor) (not shown) included in the ETL server 400 executing a control program (not shown).
　これらのソフトウェアモジュールは、ＥＴＬサーバ４００に含まれるデータ抽出部４０２がセンシングデータＤＢ２００にデータの送信を要求することによって処理を開始する。すなわち、データ抽出部４０２がセンシングデータＤＢ２００にデータ送信を要求するＡＰＩ（Application Programming Interface）コマンドを送信することによって、センシングデータＤＢ２００に蓄積されているデータがデータ形式変換部１０２へ送信される。これにより、処理が開始される。 These software modules start processing when the data extraction unit 402 included in the ETL server 400 requests the sensing data DB 200 to transmit data. That is, the data stored in the sensing data DB 200 is transmitted to the data format conversion unit 102 when the data extracting unit 402 transmits an API (Application Programming Interface) command requesting data transmission to the sensing data DB 200. Thus, the process is started.
　データ形式変換部１０２は、入力データのデータ形式を上述の第２データ形式に統一するソフトウェアモジュールである。データ形式変換部１０２は、入力データのデータ形式を判定し、判定結果に応じてデータ形式の変換処理を行なう。データ形式変換部１０２によって生成されたデータは、データ分離部１０４へ出力される。データ形式変換部１０２については、後程詳しく説明する。 The data format conversion unit 102 is a software module that unifies the data format of input data to the above-described second data format. The data format conversion unit 102 determines the data format of the input data, and performs a data format conversion process according to the determination result. The data generated by data format conversion section 102 is output to data separation section 104. The data format conversion unit 102 will be described later in detail.
　データ分離部１０４は、入力データをセンシングデータ（実データ）とメタデータとに分離するソフトウェアモジュールである。ＥＴＬサーバ４００は実データの処理のみを行なう場合が多いため、データ分離部１０４は、センシングデータをデータ抽出部４０２へ出力し、メタデータをメタデータ変換部１０６へ出力する。 The data separation unit 104 is a software module that separates input data into sensing data (actual data) and metadata. Since the ETL server 400 often performs only the processing of the actual data, the data separation unit 104 outputs the sensing data to the data extraction unit 402 and outputs the metadata to the metadata conversion unit 106.
　データ抽出部４０２は、入力（抽出）されたセンシングデータをデータ変換部４０４へ出力する。 The data extraction unit 402 outputs the input (extracted) sensing data to the data conversion unit 404.
　データ変換部４０４は、たとえばセンシングデータの種類毎に予め定められた変換ルールに従って、入力データに変換処理を施すソフトウェアモジュールである。たとえば、温度センサによって生成されたセンシングデータの値が電圧値（Ｖ）を示すとする。この場合に、変換ルールは、たとえば、電圧値（Ｖ）と温度（℃）との変換式を示す。データ変換部４０４は、たとえば、この変換式に従って、入力された電圧値（Ｖ）を温度（℃）に変換する。また、たとえば、センサによって生成されたセンシングデータの桁数が１０桁であったとする。この場合に、たとえば、変換ルールとして、センシングデータの桁数を５桁に統一するというルールが規定されているとする。この場合には、データ変換部４０４は、変換ルールに従って、入力されたセンシングデータの桁数を５桁に変換する。 The data conversion unit 404 is a software module that performs conversion processing on input data according to a conversion rule predetermined for each type of sensing data, for example. For example, assume that the value of the sensing data generated by the temperature sensor indicates a voltage value (V). In this case, the conversion rule indicates, for example, a conversion formula between the voltage value (V) and the temperature (° C.). Data conversion unit 404 converts the input voltage value (V) into temperature (° C.), for example, according to this conversion formula. Further, for example, it is assumed that the number of digits of the sensing data generated by the sensor is 10 digits. In this case, for example, it is assumed that a rule for unifying the number of digits of sensing data to five digits is defined as a conversion rule. In this case, the data conversion unit 404 converts the number of digits of the input sensing data into five digits according to the conversion rule.
　また、データ変換部４０４は、センシングデータの値が変換（変更）されると、センシングデータに含まれるＩＤを変更する。ＩＤの変更を行なう場合に、データ変換部４０４は、ＩＤ管理サーバ５００へ新たなＩＤの発行を要求する。データ変換部４０４は、ＩＤ管理サーバ５００から新たなＩＤを受信すると、該ＩＤをセンシングデータに付与する。データ変換部４０４は、変換後のセンシングデータをロード部４０６へ出力する。 (4) When the value of the sensing data is converted (changed), the data conversion unit 404 changes the ID included in the sensing data. When changing the ID, the data conversion unit 404 requests the ID management server 500 to issue a new ID. When receiving a new ID from the ID management server 500, the data conversion unit 404 adds the ID to the sensing data. Data conversion section 404 outputs the converted sensing data to loading section 406.
　ロード部４０６は、入力データを分析用データＤＢ３００へ出力するソフトウェアモジュールである。分析用データＤＢ３００においては、ロード部４０６から入力されたセンシングデータが記憶される。 The loading unit 406 is a software module that outputs input data to the analysis data DB 300. The analysis data DB 300 stores the sensing data input from the load unit 406.
　メタデータ変換部１０６は、ＥＴＬサーバ４００においてセンシングデータに施された変換処理に応じて、メタデータに変換処理を施すソフトウェアモジュールである。変換処理が施されたメタデータは、メタデータ送信部１０８へ出力される。メタデータ変換部１０６については、後程詳しく説明する。 The metadata conversion unit 106 is a software module that performs a conversion process on metadata according to a conversion process performed on sensing data in the ETL server 400. The converted metadata is output to the metadata transmission unit 108. The metadata conversion unit 106 will be described later in detail.
　メタデータ送信部１０８は、入力データを分析用データＤＢ３００へ出力するソフトウェアモジュールである。分析用データＤＢ３００においては、メタデータ送信部１０８から入力されたメタデータが記憶される。 The metadata transmission unit 108 is a software module that outputs input data to the analysis data DB 300. In the analysis data DB 300, the metadata input from the metadata transmission unit 108 is stored.
　＜４－２．データ形式変換部の詳細構成＞
　図６は、データ形式変換部１０２の詳細構成を示す図である。図６に示されるように、データ形式変換部１０２は、データ形式判定部１１０と、第１変換部１１２と、第２変換部１１４とを含んでいる。 <4-2. Detailed configuration of data format converter>
FIG. 6 is a diagram showing a detailed configuration of the data format conversion unit 102. As shown in FIG. 6, the data format conversion unit 102 includes a data format determination unit 110, a first conversion unit 112, and a second conversion unit 114.
　データ形式判定部１１０は、入力データのデータ形式を判定するソフトウェアモジュールである。データ形式判定部１１０は、入力データが上述の第１、第２及び第３データ形式のいずれのデータ形式であるかを判定する。具体的には、データ形式判定部１１０は、ｉ）入力データがメタデータを含んでいるか、及び、ｉｉ）センシングデータ（実データ）とメタデータとが同一のデータ単位を構成しているか否かを判定する。 The data format determination unit 110 is a software module that determines the data format of input data. The data format determination unit 110 determines which of the first, second, and third data formats the input data has. Specifically, the data format determination unit 110 determines whether i) the input data includes the metadata, and ii) determines whether the sensing data (actual data) and the metadata constitute the same data unit. Is determined.
　データ形式判定部１１０は、入力データがメタデータを含んでいないと判定すると、入力データの形式が第１データ形式であると判定する。データ形式判定部１１０は、入力データがメタデータを含んでおり、かつ、センシングデータ及びメタデータの各々が異なるデータ単位を構成していると判定すると、入力データの形式が第２データ形式であると判定する。データ形式判定部１１０は、入力データがメタデータを含んでおり、かつ、センシングデータ及びメタデータが１つのデータ単位を構成していると判定すると、入力データの形式が第３データ形式であると判定する。 If the data format determination unit 110 determines that the input data does not include metadata, it determines that the format of the input data is the first data format. If the data format determination unit 110 determines that the input data includes the metadata and that the sensing data and the metadata each constitute a different data unit, the format of the input data is the second data format. Is determined. If the data format determination unit 110 determines that the input data includes the metadata and that the sensing data and the metadata constitute one data unit, the data format determination unit 110 determines that the format of the input data is the third data format. judge.
　データ形式判定部１１０は、入力データが第１データ形式であると判定すると、データを第１変換部１１２へ出力する。データ形式判定部１１０は、入力データが第２データ形式であると判定すると、データをデータ分離部１０４へ出力する。データ形式判定部１１０は、入力データが第３データ形式であると判定すると、データを第２変換部１１４へ出力する。すなわち、入力データが第２データ形式であると判定された場合には、データ形式の変換処理は行なわれない。 When the data format determination unit 110 determines that the input data is in the first data format, the data format determination unit 110 outputs the data to the first conversion unit 112. When determining that the input data is in the second data format, the data format determination unit 110 outputs the data to the data separation unit 104. When determining that the input data is in the third data format, the data format determination unit 110 outputs the data to the second conversion unit 114. That is, when it is determined that the input data is in the second data format, the data format conversion process is not performed.
　第１変換部１１２は、第１データ形式のデータを第２データ形式のデータへ変換するソフトウェアモジュールである。第２変換部１１４は、第３データ形式のデータを第２データ形式のデータへ変換するソフトウェアモジュールである。 The first converter 112 is a software module that converts data in the first data format into data in the second data format. The second conversion unit 114 is a software module that converts data in the third data format into data in the second data format.
　図７は、データ形式変換部１０２において実行されるデータ変換の内容を説明するための図である。図７を参照して、上述のように、第１変換部１１２は、第１データ形式のデータを第２データ形式へ変換する。具体的には、第１変換部１１２は、予め定められたデフォルト値を示すメタデータを生成する。さらに、第１変換部１１２は、ＩＤ管理サーバ５００（図５）へＩＤの発行を要求し、受信したＩＤをセンシングデータ及びメタデータの各々に付与する。これにより、各々に共通のＩＤが付与された、データ単位の異なる、センシングデータ及びメタデータが生成される。 FIG. 7 is a diagram for explaining the contents of data conversion performed in the data format conversion unit 102. Referring to FIG. 7, as described above, first conversion unit 112 converts data in the first data format into the second data format. Specifically, the first conversion unit 112 generates metadata indicating a predetermined default value. Further, the first conversion unit 112 requests the ID management server 500 (FIG. 5) to issue an ID, and adds the received ID to each of the sensing data and the metadata. As a result, sensing data and metadata having different data units, each having a common ID, are generated.
　また、上述のように、第２変換部１１４は、第３データ形式のデータを第２データ形式へ変換する。具体的には、第２変換部１１４は、センシングデータとメタデータとを異なるデータ単位に分離する。さらに、第２変換部１１４は、ＩＤ管理サーバ５００（図５）へＩＤの発行を要求し、受信したＩＤをセンシングデータ及びメタデータの各々に付与する。これにより、各々に共通のＩＤが付与された、データ単位の異なる、センシングデータ及びメタデータが生成される。 {Circle around (2)} As described above, the second conversion unit 114 converts data in the third data format into the second data format. Specifically, the second conversion unit 114 separates the sensing data and the metadata into different data units. Further, the second conversion unit 114 requests the ID management server 500 (FIG. 5) to issue an ID, and adds the received ID to each of the sensing data and the metadata. As a result, sensing data and metadata having different data units, each having a common ID, are generated.
　再び図６を参照して、第１変換部１１２によってデータ形式が変換されたデータ、及び、第２変換部１１４によってデータ形式が変換されたデータの各々は、データ分離部１０４へ出力される。 Referring again to FIG. 6, each of the data whose data format has been converted by first conversion unit 112 and the data whose data format has been converted by second conversion unit 114 are output to data separation unit 104.
　このように、データ形式変換部１０２においては、入力データの形式が第１及び第３データ形式であったとしても、第２データ形式の出力データが生成される。すなわち、データ形式変換部１０２においては、入力データの形式に拘わらず第２データ形式のデータが出力される。したがって、データ形式変換部１０２によれば、入力データの形式に拘わらず共通のデータ形式（第２データ形式）のデータが後工程に提供されるため、後工程におけるデータ処理を簡易にすることができる。 As described above, the data format conversion unit 102 generates output data in the second data format even if the format of the input data is the first and third data formats. That is, the data format converter 102 outputs data in the second data format regardless of the format of the input data. Therefore, according to the data format conversion unit 102, the data in the common data format (second data format) is provided to the post-process regardless of the format of the input data, thereby simplifying the data processing in the post-process. it can.
　＜４－３．メタデータ変換部の詳細構成＞
　図８は、メタデータ変換部１０６の詳細構成を示す図である。図８に示されるように、メタデータ変換部１０６は、問合せ部１２０と、ＩＤ変換部１２２と、値変換部１２４とを含んでいる。 <4-3. Detailed configuration of metadata conversion unit>
FIG. 8 is a diagram showing a detailed configuration of the metadata conversion unit 106. As shown in FIG. 8, the metadata conversion unit 106 includes an inquiry unit 120, an ID conversion unit 122, and a value conversion unit 124.
　問合せ部１２０は、ＥＴＬサーバ４００にセンシングデータへの処理内容を問い合わせるソフトウェアモジュールである。たとえば、問合せ部１２０は、ＥＴＬサーバ４００に、ｉ）センシングデータのＩＤ変更の有無、及び、変更後のＩＤ、並びに、ｉｉ）センシングデータの値の変換内容を問い合わせる。センシングデータの値の変換内容とは、たとえば、「単位の変換」や「桁数の変換」である。問合せ部１２０は、問合せに対する応答をＥＴＬサーバ４００から受信する。 The inquiry unit 120 is a software module that inquires the ETL server 400 about the processing content for the sensing data. For example, the inquiry unit 120 inquires of the ETL server 400 about i) the presence or absence of the change of the ID of the sensing data, the changed ID, and ii) the conversion content of the value of the sensing data. The conversion content of the value of the sensing data is, for example, “unit conversion” or “digit number conversion”. The inquiry unit 120 receives a response to the inquiry from the ETL server 400.
　問合せ部１２０は、ＥＴＬサーバ４００からの応答内容に応じて、ＩＤ変換部１２２及び値変換部１２４へ指示を出力する。すなわち、問合せ部１２０は、ＥＴＬサーバ４００においてセンシングデータのＩＤが変更されている場合には、変更後のＩＤにメタデータのＩＤを変更するようにＩＤ変換部１２２へ指示を出力する。また、問合せ部１２０は、ＥＴＬサーバ４００においてセンシングデータの値が変更されている場合には、変更後の値と整合の取れる値にメタデータの値を変更するように値変換部１２４へ指示を出力する。 (4) The inquiry unit 120 outputs an instruction to the ID conversion unit 122 and the value conversion unit 124 according to the content of the response from the ETL server 400. That is, when the ID of the sensing data is changed in the ETL server 400, the inquiry unit 120 outputs an instruction to the ID conversion unit 122 to change the ID of the metadata to the changed ID. Further, when the value of the sensing data is changed in the ETL server 400, the inquiry unit 120 instructs the value conversion unit 124 to change the value of the metadata to a value compatible with the changed value. Output.
　ＩＤ変換部１２２は、問合せ部１２０からの指示に従って、メタデータに処理を施すソフトウェアモジュールである。ＩＤ変換部１２２は、たとえば、ＥＴＬサーバ４００においてセンシングデータのＩＤが変更されている場合に、センシングデータに含まれている変更後のＩＤにメタデータに含まれているＩＤを変更する。一方、ＩＤ変換部１２２は、たとえば、ＥＴＬサーバ４００においてセンシングデータのＩＤが変更されていない場合には、メタデータに含まれているＩＤを変更しない。すなわち、ＩＤ変換部１２２においては、ＥＴＬサーバ４００においてセンシングデータに含まれているＩＤが変更された場合にのみ、メタデータに含まれているＩＤが変更される。この構成によれば、ＩＤも有限であるところ、ＩＤを必要以上に発行する事態を回避することができる。 The ID conversion unit 122 is a software module that processes metadata in accordance with an instruction from the inquiry unit 120. For example, when the ID of the sensing data is changed in the ETL server 400, the ID conversion unit 122 changes the ID included in the metadata to the changed ID included in the sensing data. On the other hand, for example, when the ID of the sensing data is not changed in the ETL server 400, the ID conversion unit 122 does not change the ID included in the metadata. That is, ID conversion section 122 changes the ID included in the metadata only when the ID included in the sensing data is changed in ETL server 400. According to this configuration, although the ID is limited, it is possible to avoid a situation in which the ID is issued more than necessary.
　値変換部１２４は、問合せ部１２０からの指示に従って、メタデータに処理を施すソフトウェアモジュールである。値変換部１２４は、たとえば、ＥＴＬサーバ４００においてセンシングデータの値が変換（変更）されている場合に、変更後の値と整合の取れる値にメタデータの値を変更する。 The value conversion unit 124 is a software module that processes metadata in accordance with an instruction from the inquiry unit 120. For example, when the value of the sensing data is converted (changed) in the ETL server 400, the value conversion unit 124 changes the value of the metadata to a value that matches the value after the change.
　図９は、値変換部１２４におけるメタデータの変換の一例を示す図である。この一例においては、ＥＴＬサーバ４００において、センシングデータの単位が電圧（Ｖ）から温度（℃）に変更されるのに伴ないセンシングデータの値が変換されており、かつ、センシングデータの桁数が１０桁から５桁に変換されている。 FIG. 9 is a diagram illustrating an example of metadata conversion in the value conversion unit 124. In this example, in the ETL server 400, the value of the sensing data is converted as the unit of the sensing data is changed from voltage (V) to temperature (° C.), and the number of digits of the sensing data is It has been converted from 10 digits to 5 digits.
　図９に示されるように、このような場合には、メタデータに含まれる「単位」の項目が「Ｖ」から「℃」に変更され、メタデータに含まれる「桁数」の項目が「１０桁」から「５桁」に変更される。 As illustrated in FIG. 9, in such a case, the “unit” item included in the metadata is changed from “V” to “° C.”, and the “digits” item included in the metadata is changed to “digits”. "10 digits" is changed to "5 digits".
　再び図８を参照して、値変換部１２４によって生成されたメタデータは、メタデータ送信部１０８へ出力される。 Referring again to FIG. 8, the metadata generated by value conversion section 124 is output to metadata transmission section 108.
　このように、メタデータ変換部１０６においては、ＥＴＬサーバ４００（ＥＴＬツール）においてセンシングデータ（実データ）に施された処理に応じた処理がメタデータに施される。したがって、メタデータ変換部１０６によれば、既存のＥＴＬツールを使用した場合であっても、センシングデータ（実データ）とメタデータとの関係性を正常に保つことができる。 As described above, in the metadata conversion unit 106, processing according to the processing performed on the sensing data (actual data) in the ETL server 400 (ETL tool) is performed on the metadata. Therefore, according to the metadata conversion unit 106, even when the existing ETL tool is used, the relationship between the sensing data (actual data) and the metadata can be normally maintained.
　また、本実施の形態において、センシングデータと、該センシングデータの属性を示すメタデータとは、各々が共通のＩＤを含むことによって対応付けられている。したがって、ＥＴＬサーバ４００においてセンシングデータのＩＤが変更された場合に、メタデータのＩＤが変更されないと、センシングデータとメタデータとの紐付けができなくなる。メタデータ変換部１０６においては、ＥＴＬサーバ４００においてセンシングデータに含まれているＩＤが変更された場合に、メタデータに含まれているＩＤがセンシングデータに含まれている変更後のＩＤに変更される。したがって、メタデータ変換部１０６によれば、ＥＴＬサーバ４００においてセンシングデータのＩＤが変更されたとしても、センシングデータとメタデータとの紐付けを維持することができる。 Also, in the present embodiment, the sensing data and the metadata indicating the attribute of the sensing data are associated with each other by including a common ID. Therefore, when the ID of the sensing data is changed in the ETL server 400 and the ID of the metadata is not changed, it is impossible to associate the sensing data with the metadata. In the metadata conversion unit 106, when the ID included in the sensing data is changed in the ETL server 400, the ID included in the metadata is changed to the changed ID included in the sensing data. You. Therefore, according to the metadata conversion unit 106, even when the ID of the sensing data is changed in the ETL server 400, the association between the sensing data and the metadata can be maintained.
　また、ＥＴＬサーバ４００においてセンシングデータの値が変更された場合に、メタデータの値が変更されないと、センシングデータとメタデータとの整合が取れなくなる場合がある。メタデータ変換部１０６においては、ＥＴＬサーバ４００においてセンシングデータに含まれている値が変更された場合に、メタデータに含まれている値が、センシングデータに含まれている変更後の値と整合の取れる値に変更される。したがって、メタデータ変換部１０６によれば、ＥＴＬサーバ４００においてセンシングデータの値が変更されたとしても、センシングデータとメタデータとの整合を維持することができる。 In addition, when the value of the sensing data is changed in the ETL server 400, the matching between the sensing data and the metadata may not be achieved unless the value of the metadata is changed. In the metadata conversion unit 106, when the value included in the sensing data is changed in the ETL server 400, the value included in the metadata is matched with the changed value included in the sensing data. Is changed to a value that can be taken. Therefore, according to the metadata conversion unit 106, even if the value of the sensing data is changed in the ETL server 400, the consistency between the sensing data and the metadata can be maintained.
　［５．動作］
　＜５－１．データ形式変換処理＞
　図１０は、データ形式変換部１０２におけるデータ形式変換処理の手順の一例を示すフローチャートである。このフローチャートに示される処理は、センシングデータＤＢ２００に蓄積されているデータがデータ形式変換部１０２に入力された場合に制御部１７０（データ形式変換部１０２）によって開始される。 [5. motion]
<5-1. Data format conversion processing>
FIG. 10 is a flowchart illustrating an example of a procedure of a data format conversion process in the data format conversion unit 102. The process shown in this flowchart is started by the control unit 170 (data format conversion unit 102) when data stored in the sensing data DB 200 is input to the data format conversion unit 102.
　図１０を参照して、制御部１７０は、入力データのデータ形式が第２データ形式であるか否かを判定する（ステップＳ１００）。入力データのデータ形式が第２データ形式であると判定されると（ステップＳ１００においてＹＥＳ）、処理はステップＳ１４０へ移行する。 制 御 Referring to FIG. 10, control unit 170 determines whether or not the data format of the input data is the second data format (step S100). If it is determined that the data format of the input data is the second data format (YES in step S100), the process proceeds to step S140.
　一方、入力データの形式が第２データ形式でないと判定されると（ステップＳ１００においてＮＯ）、制御部１７０は、入力データのデータ形式が第１データ形式であるか否かを判定する（ステップＳ１１０）。入力データの形式が第１データ形式であると判定されると（ステップＳ１１０においてＹＥＳ）、制御部１７０は、入力データの形式を第１データ形式から第２データ形式へ変換する（ステップＳ１２０）。 On the other hand, if it is determined that the format of the input data is not the second data format (NO in step S100), control unit 170 determines whether the data format of the input data is the first data format (step S110). ). When it is determined that the format of the input data is the first data format (YES in step S110), control unit 170 converts the format of the input data from the first data format to the second data format (step S120).
　一方、入力データの形式が第１データ形式でないと判定されると（ステップＳ１１０においてＮＯ）、制御部１７０は、入力データの形式を第３データ形式から第２データ形式へ変換する（ステップＳ１３０）。その後、制御部１７０は、第２データ形式のデータを出力する（ステップＳ１４０）。これにより、データ形式変換部１０２の出力データの形式が第２データ形式へ統一される。 On the other hand, when it is determined that the format of the input data is not the first data format (NO in step S110), control unit 170 converts the format of the input data from the third data format to the second data format (step S130). . After that, the control unit 170 outputs data in the second data format (step S140). Thereby, the format of the output data of the data format conversion unit 102 is unified to the second data format.
　＜５－２．メタデータ変換処理＞
　図１１は、メタデータ変換部１０６におけるメタデータ変換処理の手順の一例を示すフローチャートである。このフローチャートに示される処理は、メタデータ変換部１０６へメタデータが入力された場合に制御部１７０（メタデータ変換部１０６）によって開始される。 <5-2. Metadata conversion processing>
FIG. 11 is a flowchart illustrating an example of a procedure of the metadata conversion process in the metadata conversion unit 106. The processing shown in this flowchart is started by the control unit 170 (metadata conversion unit 106) when metadata is input to the metadata conversion unit 106.
　図１１を参照して、制御部１７０は、入力されたメタデータに含まれているＩＤと同一のＩＤを含むセンシングデータ（実データ）への処理内容をＥＴＬサーバ４００へ問い合わせる（ステップＳ２００）。制御部１７０は、ＥＴＬサーバ４００から回答を受信したか否かを判定する（ステップＳ２１０）。回答が受信されていないと判定されると（ステップＳ２１０においてＮＯ）、制御部１７０は、ステップＳ２１０の処理を繰り返す。 Referring to FIG. 11, control unit 170 inquires of ETL server 400 about the processing content for sensing data (actual data) including the same ID as the ID included in the input metadata (step S200). Control unit 170 determines whether a response has been received from ETL server 400 (step S210). If it is determined that no answer has been received (NO in step S210), control unit 170 repeats the process of step S210.
　一方、回答が受信されたと判定されると（ステップＳ２１０においてＹＥＳ）、制御部１７０は、受信された回答に基づいて、ＥＴＬサーバ４００においてセンシングデータのＩＤが変換されたか否かを判定する（ステップＳ２２０）。センシングデータのＩＤが変換されていないと判定されると（ステップＳ２２０においてＮＯ）、処理はステップＳ２４０へ移行する。 On the other hand, when it is determined that the answer has been received (YES in step S210), control unit 170 determines whether or not the ID of the sensing data has been converted in ETL server 400 based on the received answer (step S210). S220). If it is determined that the ID of the sensing data has not been converted (NO in step S220), the process proceeds to step S240.
　一方、センシングデータのＩＤが変換されたと判定されると（ステップＳ２２０においてＹＥＳ）、制御部１７０は、センシングデータに含まれている変換後のＩＤにメタデータのＩＤを変換する（ステップＳ２３０）。 On the other hand, when it is determined that the ID of the sensing data has been converted (YES in step S220), control unit 170 converts the ID of the metadata into the converted ID included in the sensing data (step S230).
　制御部１７０は、ステップＳ２１０において受信された回答に基づいて、ＥＴＬサーバ４００においてセンシングデータの値が変換されたか否かを判定する（ステップＳ２４０）。センシングデータの値が変換されていないと判定されると（ステップＳ２４０においてＮＯ）、処理はステップＳ２６０へ移行する。 The control unit 170 determines whether the value of the sensing data has been converted in the ETL server 400 based on the answer received in step S210 (step S240). If it is determined that the value of the sensing data has not been converted (NO in step S240), the process proceeds to step S260.
　一方、センシングデータの値が変換されたと判定されると（ステップＳ２４０においてＹＥＳ）、制御部１７０は、センシングデータに含まれている値と整合の取れる値にメタデータの値を変換する（ステップＳ２５０）。その後、制御部１７０は、変換後のメタデータを出力する（ステップＳ２６０）。これにより、ＥＴＬサーバ４００において処理が施されたセンシングデータと整合の取れたメタデータが生成される。 On the other hand, if it is determined that the value of the sensing data has been converted (YES in step S240), control unit 170 converts the value of the metadata into a value that matches the value included in the sensing data (step S250). ). After that, the control unit 170 outputs the converted metadata (step S260). As a result, metadata consistent with the sensing data processed in the ETL server 400 is generated.
　［６．特徴］
　以上のように、本実施の形態に従うデータ処理サーバ１００において、制御部１７０は、ＥＴＬサーバ４００においてセンシングデータ（実データ）に施された処理に応じた処理をメタデータに施すように構成されている。したがって、データ処理サーバ１００によれば、既存のＥＴＬツールを使用した場合であっても、センシングデータ（実データ）とメタデータとの関係性を正常に保つことができる。 [6. Characteristic]
As described above, in data processing server 100 according to the present embodiment, control unit 170 is configured to perform processing according to processing performed on sensing data (actual data) in ETL server 400 on metadata. I have. Therefore, according to the data processing server 100, even when the existing ETL tool is used, the relationship between the sensing data (actual data) and the metadata can be normally maintained.
　なお、データ処理サーバ１００は、本発明の「データ処理装置」の一例であり、記憶部１８０は、本発明の「メモリ」の一例であり、制御部１７０は、本発明の「プロセッサ」の一例である。 The data processing server 100 is an example of a “data processing device” of the present invention, the storage unit 180 is an example of a “memory” of the present invention, and the control unit 170 is an example of a “processor” of the present invention. It is.
　［７．変形例］
　以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。以下、変形例について説明する。但し、以下の変形例は適宜組合せ可能である。 [7. Modification]
Although the embodiments have been described above, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the invention. Hereinafter, modified examples will be described. However, the following modifications can be combined as appropriate.
　＜７－１＞
　上記実施の形態においては、センシングデータＤＢ２００に記憶されているデータ、及び、データ処理サーバ１００において処理されるデータがセンシングデータであるとした。しかしながら、センシングデータＤＢ２００に記憶されているデータ、及び、データ処理サーバ１００において処理されるデータは、必ずしもセンシングデータである必要はない。たとえば、センシングデータＤＢ２００に記憶されているデータ、及び、データ処理サーバ１００において処理されるデータは、ショッピングサイトにおける各ユーザの購買履歴データや、ゲームサイトにおける各ユーザのスコアデータ等のセンシングデータ以外のデータであってもよい。 <7-1>
In the above embodiment, the data stored in the sensing data DB 200 and the data processed in the data processing server 100 are the sensing data. However, the data stored in the sensing data DB 200 and the data processed in the data processing server 100 do not necessarily need to be sensing data. For example, the data stored in the sensing data DB 200 and the data processed in the data processing server 100 are data other than sensing data such as purchase history data of each user at the shopping site and score data of each user at the game site. It may be data.
　＜７－２＞
　上記実施の形態においては、データ処理サーバ１００において生成されたメタデータが分析用データＤＢ３００へ出力された。しかしながら、データ処理サーバ１００において生成されたメタデータの出力先は、分析用データＤＢ３００に限定されない。たとえば、データ処理サーバ１００において生成されたメタデータは、ＥＴＬサーバ４００のロード部４０６へ出力されてもよい。この場合には、ロード部４０６がセンシングデータ及びメタデータを対応付けて、分析用データＤＢ３００へ出力する。 <7-2>
In the above embodiment, the metadata generated in the data processing server 100 is output to the analysis data DB 300. However, the output destination of the metadata generated in the data processing server 100 is not limited to the analysis data DB 300. For example, the metadata generated in the data processing server 100 may be output to the load unit 406 of the ETL server 400. In this case, the loading unit 406 associates the sensing data with the metadata and outputs the data to the analysis data DB 300.
　＜７－３＞
　上記実施の形態において、メタデータ変換部１０６は、ＩＤ変換部１２２及び値変換部１２４の双方を含んだ。しかしながら、メタデータ変換部１０６は、必ずしもＩＤ変換部１２２及び値変換部１２４の双方を含む必要はない。たとえば、メタデータ変換部１０６は、ＩＤ変換部１２２及び値変換部１２４のいずれか一方のみを含んでもよい。 <7-3>
In the above embodiment, the metadata conversion unit 106 includes both the ID conversion unit 122 and the value conversion unit 124. However, the metadata conversion unit 106 does not necessarily need to include both the ID conversion unit 122 and the value conversion unit 124. For example, the metadata conversion unit 106 may include only one of the ID conversion unit 122 and the value conversion unit 124.
　１０　分析用データ生成システム、１００　データ処理サーバ、１０２　データ形式変換部、１０４　データ分離部、１０６　メタデータ変換部、１０８　メタデータ送信部、１１０　データ形式判定部、１１２　第１変換部、１１４　第２変換部、１２０　問合せ部、１２２　ＩＤ変換部、１２４　値変換部、１７０　制御部、１７２　ＣＰＵ、１７４　ＲＡＭ、１７６　ＲＯＭ、１８０　記憶部、１８１　制御プログラム、１９０　通信Ｉ／Ｆ、１９５　バス、２００　センシングデータＤＢ、３００　分析用データＤＢ、４００　ＥＴＬサーバ、４０２　データ抽出部、４０４　データ変換部、４０６　ロード部、５００　ＩＤ管理サーバ。 10 data generation system for analysis, 100 data processing server, 102 data format conversion unit, 104 data separation unit, 106 metadata conversion unit, 108 metadata transmission unit, 110 data format determination unit, 112 first conversion unit, 114 second Conversion unit, 120 inquiry unit, 122 ID conversion unit, 124 value conversion unit, 170 control unit, 172 CPU, 174 RAM, 176 ROM, 180 storage unit, 181 control program, 190 communication I / F, 195 bus, 200 sensing data DB, 300 data DB for analysis, 400 ETL server, 402 data extractor, 404 data converter, 406 loader, 500 ID management server.

Claims (6)

  1. 　データ処理装置の外部に設けられたＥＴＬ（Extract/Transform/Load）ツールに入力された実データの属性を示すメタデータに処理を施すように構成されたデータ処理装置であって、
    　プログラムを記憶するように構成されたメモリと、
    　前記プログラムを実行するように構成されたプロセッサとを備え、
    　前記プログラムは、前記ＥＴＬツールにおいて前記実データに施された処理に応じた処理を前記メタデータに施すステップを前記プロセッサに実行させるように構成されている、データ処理装置。     A data processing device configured to perform processing on metadata indicating an attribute of actual data input to an ETL (Extract / Transform / Load) tool provided outside the data processing device,
    A memory configured to store the program;
    A processor configured to execute the program,
    A data processing device, wherein the program is configured to cause the processor to execute a step of performing a process on the metadata according to a process performed on the actual data in the ETL tool.
  2. 　前記実データ及び前記メタデータの各々には、共通のＩＤ（identification）が含まれており、
    　前記プログラムは、前記ＥＴＬツールにおいて前記実データに含まれているＩＤが変更された場合に、前記メタデータに含まれているＩＤを前記実データに含まれている変更後のＩＤに変更するステップを前記プロセッサに実行させるように構成されている、請求項１に記載のデータ処理装置。     Each of the actual data and the metadata includes a common ID (identification),
    Changing the ID included in the metadata to the changed ID included in the actual data when the ID included in the actual data is changed in the ETL tool; The data processing device according to claim 1, wherein the data processing device is configured to cause the processor to execute the following.
  3. 　前記実データには、ＩＤ（identification）に対応付けられた値が含まれており、
    　前記メタデータには、ＩＤに対応付けられ、かつ、前記実データの属性を示す値が含まれており、
    　前記プログラムは、前記ＥＴＬツールにおいて前記実データに含まれている値が変更された場合に、前記メタデータに含まれている値を、前記実データに含まれている変更後の値と整合の取れる値に変更するステップを前記プロセッサに実行させるように構成されている、請求項１又は請求項２に記載のデータ処理装置。     The actual data includes a value associated with an ID (identification),
    The metadata is associated with an ID and includes a value indicating an attribute of the actual data,
    When the value included in the actual data is changed by the ETL tool, the program matches the value included in the metadata with the changed value included in the actual data. 3. The data processing device according to claim 1, wherein the data processing device is configured to cause the processor to execute a step of changing to a value that can be taken.
  4. 　前記実データは、センサによって生成されたセンシングデータである、請求項１から請求項３のいずれか１項に記載のデータ処理装置。 4. The data processing device according to claim 1, wherein the actual data is sensing data generated by a sensor. 5.
  5. 　ＥＴＬ（Extract/Transform/Load）ツールに入力された実データの属性を示すメタデータに処理を施すデータ処理方法であって、
    　前記ＥＴＬツールにおいて前記実データに施された処理に応じた処理を前記メタデータに施すステップを含む、データ処理方法。     A data processing method for processing metadata indicating an attribute of actual data input to an ETL (Extract / Transform / Load) tool,
    A data processing method, comprising: performing a process on the metadata according to a process performed on the actual data in the ETL tool.
  6. 　ＥＴＬ（Extract/Transform/Load）ツールに入力された実データの属性を示すメタデータの処理をプロセッサに実行させるデータ処理プログラムであって、
    　前記ＥＴＬツールにおいて前記実データに施された処理に応じた処理を前記メタデータに施すステップを前記プロセッサに実行させるように構成されている、データ処理プログラム。     A data processing program for causing a processor to execute processing of metadata indicating an attribute of actual data input to an ETL (Extract / Transform / Load) tool,
    A data processing program configured to cause the processor to execute, on the metadata, a process corresponding to a process performed on the actual data in the ETL tool.
PCT/JP2019/006422 2018-09-06 2019-02-21 Data processing apparatus, data processing method, and data processing program WO2020049757A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201980053093.5A CN112567348A (en) 2018-09-06 2019-02-21 Data processing device, data processing method, and data processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018167016A JP7127439B2 (en) 2018-09-06 2018-09-06 DATA PROCESSING DEVICE, DATA PROCESSING METHOD AND DATA PROCESSING PROGRAM
JP2018-167016 2018-09-06

Publications (1)

Publication Number Publication Date
WO2020049757A1 true WO2020049757A1 (en) 2020-03-12

Family

ID=69723113

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/006422 WO2020049757A1 (en) 2018-09-06 2019-02-21 Data processing apparatus, data processing method, and data processing program

Country Status (3)

Country Link
JP (1) JP7127439B2 (en)
CN (1) CN112567348A (en)
WO (1) WO2020049757A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014096177A (en) * 2014-01-22 2014-05-22 Fujitsu Ltd Data integration device, data integration method, and computer-readable recording medium recording data integration program
WO2014122732A1 (en) * 2013-02-06 2014-08-14 株式会社日立製作所 Computer system, metadata management method, and recording medium

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940004388B1 (en) * 1989-10-13 1994-05-23 인터내셔널 비지네스 머신즈 코포레이션 Access plan invalidation for database systems
JP3674569B2 (en) * 2001-10-04 2005-07-20 オムロン株式会社 SENSOR MANAGEMENT DEVICE, SENSOR MANAGEMENT DEVICE CONTROL PROGRAM, COMPUTER-READABLE RECORDING MEDIUM CONTAINING THE PROGRAM, AND SENSOR MANAGEMENT DEVICE CONTROL METHOD
US7401064B1 (en) * 2002-11-07 2008-07-15 Data Advantage Group, Inc. Method and apparatus for obtaining metadata from multiple information sources within an organization in real time
JP4717464B2 (en) * 2005-02-18 2011-07-06 キヤノン株式会社 Information processing apparatus, information processing method, and program
CN101364240B (en) * 2008-10-14 2010-07-21 杭州华三通信技术有限公司 Metadata management method and device
CN101567890A (en) * 2009-06-05 2009-10-28 成都市华为赛门铁克科技有限公司 Metadata transmission method, client device and server device
US9213706B2 (en) * 2013-06-13 2015-12-15 DataGravity, Inc. Live restore for a data intelligent storage system
JPWO2015107925A1 (en) * 2014-01-16 2017-03-23 ソニー株式会社 Data processing apparatus and data processing method
US20160231936A1 (en) * 2015-02-11 2016-08-11 Eugene Edwin Nelson In-memory variable meta data system and method
US9866684B2 (en) * 2015-02-16 2018-01-09 Microsoft Technology Licensing, Llc Process for real-time data exchange between users on a phone call

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014122732A1 (en) * 2013-02-06 2014-08-14 株式会社日立製作所 Computer system, metadata management method, and recording medium
JP2014096177A (en) * 2014-01-22 2014-05-22 Fujitsu Ltd Data integration device, data integration method, and computer-readable recording medium recording data integration program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ODA, TOSHIHIKO ET AL.: "An Approach to Defining, Generating and Utilizing Metadata for Sensing Data Trading Market", THE 32ND ANNUAL CONFERENCE OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE , 2018, 8 June 2018 (2018-06-08), pages 1 - 2, XP055691410 *

Also Published As

Publication number Publication date
CN112567348A (en) 2021-03-26
JP2020042344A (en) 2020-03-19
JP7127439B2 (en) 2022-08-30

Similar Documents

Publication Publication Date Title
EP3975474B1 (en) Methods and apparatuses for chaining service data
WO2020049758A1 (en) Data processing device, data processing method, and data processing program
US20190266194A1 (en) Information analysis system, information analysis method, and recording medium
WO2020049757A1 (en) Data processing apparatus, data processing method, and data processing program
WO2020049759A1 (en) Data processing device, data processing method, and data processing program
WO2019159484A1 (en) Quality check device, quality check method and program
JP6320569B2 (en) Home control device and home control system
JP6468377B1 (en) Output management apparatus, output management method and program
JP6477936B1 (en) Data processing apparatus, data processing method, and program
US20200371483A1 (en) Output management apparatus, output management method, and program
KR20210043925A (en) Data collection device including hardware collector
WO2019159487A1 (en) Pre-processing determination device, pre-processing determination method and program
WO2019159482A1 (en) Candidate extraction apparatus, candidate extraction method and program
WO2019159486A1 (en) Session control apparatus, session control method and program
JP2018182639A (en) Transmission program, transmission method and information processing device
JP2019169946A (en) Quality check device, quality check method and program
JP6759638B2 (en) Character conversion device, information terminal, character conversion system, conversion candidate registration method, and conversion candidate registration program
JP2020008928A (en) Gateway device and data transfer method
JPH04182759A (en) Data transfer system and data transfer equipment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19858052

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19858052

Country of ref document: EP

Kind code of ref document: A1