WO2016046929A1 - データ集積装置、及び、データ集積方法 - Google Patents

データ集積装置、及び、データ集積方法 Download PDF

Info

Publication number
WO2016046929A1
WO2016046929A1 PCT/JP2014/075391 JP2014075391W WO2016046929A1 WO 2016046929 A1 WO2016046929 A1 WO 2016046929A1 JP 2014075391 W JP2014075391 W JP 2014075391W WO 2016046929 A1 WO2016046929 A1 WO 2016046929A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
delay
order
storage unit
processing unit
Prior art date
Application number
PCT/JP2014/075391
Other languages
English (en)
French (fr)
Inventor
小日向　宣昭
兼田　泰典
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US15/127,829 priority Critical patent/US20170098010A1/en
Priority to PCT/JP2014/075391 priority patent/WO2016046929A1/ja
Publication of WO2016046929A1 publication Critical patent/WO2016046929A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9017—Indexing; Data structures therefor; Storage structures using directory or table look-up
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing

Definitions

  • the present invention generally relates to technology for receiving and accumulating data.
  • Patent Document 1 discloses a technique for removing an abnormal value included in time-series data and correcting an abnormal value or an unreceived portion.
  • a data accumulation device includes: An interface for receiving data having an order relationship at each of a plurality of reception times; Of the data received by the interface, normal data which is data in the order belonging to the selected reception time, and data received at the selected reception time among the plurality of orders belonging to the selected reception time; A controller that stores in the first storage unit an unreceived order that is an order that does not correspond to any data order.
  • the controller receives the data received after the selected reception time
  • the delayed data may be stored in the first storage unit.
  • the data accumulating apparatus can appropriately process the data transmitted with a delay.
  • the data accumulating apparatus can appropriately store data that has been transmitted late in a portion that could not be received in the past.
  • the data accumulation device can perform analysis using the data transmitted with a delay.
  • 2 shows an exemplary hardware configuration of a data integration device. 2 shows an example of the functional configuration of a data integration device.
  • the structural example of the normal table in DB (database) is shown.
  • the structural example of the delay table in DB is shown.
  • It is a flowchart which shows the outline
  • GUI Graphical User Interface
  • information may be described using an expression such as “xxx table”, but the information may be expressed using a data structure other than a table.
  • the “xxx table” or the like may be referred to as “xxx information” to indicate that it does not depend on the data structure.
  • xxx part may be described as the subject, but this “xxx part” may be configured by a computer program (referred to as “program”).
  • program may be described with the processor or CPU as the subject because the program performs processing defined by being executed by the processor using the memory and the communication port (network I / F). Further, the processing disclosed with the program as the subject may be processing performed by a computer such as a monitoring system. Moreover, a part or all of the program may be realized by dedicated hardware.
  • Various programs may be installed in each computer by a program distribution server or a computer-readable storage medium.
  • the reference symbols for a plurality of similar elements are combinations of the same parent number and different child codes.
  • it explains using only the parent number among the reference numerals, and when distinguishing and explaining the same kind of element, it may be explained using the reference numeral.
  • reference numerals are used, such as “xxx320a” and “xxx320b”, and when the same type of elements are not distinguished, “ In some cases, only a common number among the reference symbols such as “xxx320” is used.
  • FIG. 1 is a schematic diagram showing an outline of the operation of the data integration device 1.
  • the data integration device 1 includes a controller, a receiving unit, a first storage unit, and a second storage unit.
  • the second storage unit may be configured to have a larger amount of data that can be stored than the first storage unit.
  • the first storage unit is, for example, a DB (database) 200 or a first storage device as the DB 200
  • the second storage unit is, for example, the archive 300 or the second storage device as the archive 300.
  • the controller can input / output data to / from the DB 200 and input / output files from / to the archive 300.
  • At least one of the first storage unit and the second storage unit may exist outside the data accumulation device 1.
  • the archive 300 may be an example of a file system (for example, a logical space in which files are stored).
  • the second storage device may be a storage device that provides the file system.
  • the receiving unit receives packet data through the communication network.
  • the packet data includes a plurality of data having an order relationship.
  • the controller determines whether or not the data order belongs to an order section corresponding to the selected reception time (hereinafter, may be referred to as “target order section”) for each of the plurality of data having the extracted order relationship. judge.
  • the “reception time” is one time length (for example, 300 seconds), for example, a period. Accordingly, there are a plurality of reception times, and the “selected reception time” is a reception time selected from the plurality of reception times. The reception time may be selected by the user, for example.
  • the controller stores data having an order belonging to the target order section (hereinafter referred to as “normal data”) in a normal buffer 81 (a buffer that is a storage destination of normal data). For example, in FIG. 1, data of the order “11”, “12”, “3”, “15”, and “14” is received within the selected reception time T1. Therefore, the controller uses the data of the orders “11”, “12”, “15”, and “14” belonging to the order section “11 or more and less than 16” corresponding to the selected reception time T1 as normal data. 81. As a result, the controller can store only data received at normal timing (in other words, data received without delay) in the normal buffer 81.
  • normal data data having an order belonging to the target order section
  • the controller specifies an order (hereinafter referred to as “unreceived order”) that does not correspond to any order of the extracted data among the plurality of orders belonging to the target order section.
  • the data in the unreceived order can be said to be data that should have been received within the selected reception time but not received.
  • the data accumulation device 1 cannot receive the data of the order “13” within the reception time T1 corresponding to the selected order section “11 or more and less than 16”. Therefore, the controller stores NULL data corresponding to the unreceived order “13” in the normal buffer 81. Thus, the controller can manage the order of data that could not be received at normal timing.
  • the controller may generate interpolation data corresponding to the unreceived order based on a predetermined interpolation process, and store the interpolation data in the normal buffer 81.
  • the controller generates interpolation data corresponding to the unreceived order “13” based on a predetermined interpolation process, and stores the interpolation data in the normal buffer 81.
  • the controller can analyze the data by applying the interpolation data even when the delay data corresponding to the unreceived order (“delay data” will be described later) cannot be received.
  • the “interpolation data” is data that supplements missing data among a plurality of pieces of data having an order relationship, and may be data generated based on data in the order before and after the unreceived order, for example.
  • a plurality of data in the normal buffer 81 may be normal data, or normal data and unreceived number data (NULL data or interpolation data). ) May be mixed.
  • the controller may rearrange the plurality of data in the normal buffer 81 in order. For example, in FIG. 1, the controller rearranges the normal data in the order “15” and “14” in the normal buffer 81. Thereby, a plurality of data are arranged in order in the normal buffer 81.
  • the controller stores the normal data group stored in the normal buffer 81 in the DB 200 and the archive 300. Since the data is stored in both the first storage unit and the second storage unit, fault tolerance for the data is improved.
  • the DB 200 has an upper limit on the amount of data that can be stored.
  • the controller cannot store new data in the DB 200.
  • the controller may preferentially delete data with a smaller order from the DB 200.
  • data with a relatively high reference frequency that is, data with a large order can be left in the DB 200 that is searched faster than the archive 300.
  • the controller stores the delay data in a delay buffer (buffer that is a storage destination of the delay data) 82.
  • a delay buffer buffer that is a storage destination of the delay data
  • the controller stores the data of the order “3” in the delay buffer 82 as delay data. Thereby, the controller can store only the delay data in the delay buffer 82.
  • the controller stores one or more delay data (delayed data group) stored in the delay buffer 82 in the DB 200.
  • normal data and delayed data may be managed so as to be distinguishable.
  • the DB 200 includes a normal table 600 that is a table for storing normal data, and delay data 620 that is a storage destination for delay data.
  • a normal data group is stored in the normal table 600 by the controller.
  • the delay data group is stored in the delay table 620.
  • the controller stores the delay data of the order “3” stored in the delay buffer 82 in the delay table 620. Thereby, the controller can distinguish and manage delay data and normal data. Therefore, the user can select whether or not to adopt delay data in data analysis.
  • the controller may store the delay data in the archive 300 as well. That is, the controller searches the archive 300 for a file including data in the unreceived order that is the same as the delayed data order (reading), and reads out the data in the unreceived order that is the same as the delayed data order in the acquired file.
  • the delay data may be replaced.
  • the controller may store, in the DB 200, information indicating that the delay data has been received for the same unreception order as that of the delay data.
  • the controller may also allow the user to select whether to store the delay data in the archive 300.
  • the file 320a stored in the archive 300 includes data in the unreceived order “3”. Therefore, the controller obtains the file 320a from the archive 300. Then, the controller generates a file in which the data in the unreceived order “3” in the acquired file 320a is replaced with the delayed data in the order “3”. Then, the controller replaces the file 320a of the archive 300 with the generated file. In addition, the controller changes the flag (value) corresponding to the unreception order “3” in the normal table 600 from a value indicating delay to a value indicating that delay data has been received.
  • the controller may not store the delay data in the delay data group stored in the delay buffer 82 in the delay table 620 if the delay data order does not match any unreceived order in the normal table 600. .
  • the controller is smaller than the smallest order stored in the normal table 600 among the delay data stored in the delay buffer 82.
  • the delay data having the order may not be stored in the delay table 620. As a result, delay data in an order smaller (older) than the minimum order stored in the normal table 600 is not stored in the archive 300.
  • the controller may not store the delay data in the delay table 620 in the same order as the normal data stored in the normal table 600 among the delay data stored in the delay buffer 82. That is, the normal data stored in the normal table 600 may be prioritized over the delayed data for the same order.
  • the controller after a predetermined time has elapsed from the reception time corresponding to the unreceived order (specifically, after a predetermined time has elapsed from the predetermined time (for example, the end time of the reception time) in the reception time corresponding to the order section to which the unreceived order belongs) ),
  • the delay data may not be stored in the delay table 620. That is, the controller may discard the delay data that satisfies such a discard condition.
  • a storage period described later can be adopted.
  • the normal data received within the reception time corresponding to the unreceived order is deleted from the DB 200 when the storage period elapses from the reception time (or the measurement time of the normal data), but the above discard condition is adopted.
  • the above discard condition is adopted.
  • FIG. 2 shows a hardware configuration example of the data integration device 1.
  • the data accumulation device 1 receives measurement data transmitted from each of the plurality of measurement devices 20 every moment, and accumulates the received measurement data.
  • the measurement device 20 in the wide area power protection solution measures voltage, frequency, etc. at a predetermined cycle, and transmits measurement data including the measurement time and the measurement value to the data integration device 1 every moment.
  • the measurement device 20 in the traffic infrastructure state monitoring solution measures the traffic volume and the like at a predetermined cycle, and transmits measurement data including the measurement time and the measurement value to the data accumulation device 1 every moment.
  • the data integration device 1 includes a network I / F 8, a CPU 21, a memory 14, a first storage device 12, a second storage device 13, an input I / F 23, and an output I / F 22 as hardware. . These elements 9, 21, 14, 12, 13, 23, and 22 are connected by an internal bus 25 that can transmit and receive data bidirectionally.
  • An example of the internal bus 25 is PCIe (PCI express). At least one of the first storage device 12 and the second storage device 13 may exist outside the data integration device 1.
  • first storage device 12 and the second storage device 13 Data is accumulated in the first storage device 12 and the second storage device 13.
  • the first storage device 12 and the second storage device 13 include storage media such as an HDD (Hard Disk Drive) and an SSD (Solid State Drive).
  • At least one of the first storage device 12 and the second storage device 13 may be a large-scale device such as a disk array device having a plurality of storage media.
  • a network I / F (Interface) 8 is an I / F for connecting the data integration device 1 to the communication network 7.
  • An example of the network I / F 8 is a NIC (Network Interface Card).
  • the CPU 21 executes a program stored in the memory 14 and realizes various functions described in the present embodiment.
  • the memory 14 stores programs and data. Examples of the memory 14 include DRAM (Dynamic Random Access Memory), MRAM (Magnetic Random Access Memory), and FeRAM (Ferroelectric Random Access Memory).
  • DRAM Dynamic Random Access Memory
  • MRAM Magnetic Random Access Memory
  • FeRAM Feroelectric Random Access Memory
  • the input I / F 23 is an I / F for connecting an input device to the data integration apparatus 1.
  • a command or the like input by the user operating the input device is input to the CPU 21 or the like through the input I / F 23.
  • Examples of input devices include a keyboard, a mouse, and a microphone.
  • the output I / F 22 is an I / F for connecting an output device to the data integration apparatus 1.
  • the processing result, GUI, and the like of the data integration device 1 are output to the output device through the output I / F 22.
  • Examples of the output device include a display and a speaker.
  • the network I / F 8 or another network I / F may be adopted instead of the input I / F 23 and the output I / F 22, and the CPU 21 is connected via the network I / F 8 or another network I / F.
  • Information input from a computer used by the user may be received, or display information may be output to the computer used by the user.
  • FIG. 3 shows a functional configuration example of the data integration device 1.
  • the data accumulation device 1 functions as a reception unit 51, a data processing unit 52, an import processing unit 53, a query processing unit 56, an update processing unit 55, a reference processing unit 57, an input / output processing unit 58, An interpolation processing unit 54 and a storage processing unit 59 are included.
  • the receiving unit 51 may be realized by the network I / F 8, and functions other than the receiving unit 51 may be realized by the CPU 21 executing a program stored in the memory 14. All or a part of these functions may be realized by a dedicated hardware circuit (for example, ASIC (Application Specific Integrated Circuit)).
  • the data accumulation device 1 has a DB 200 as an example of a first storage unit and an archive 300 as an example of a second storage unit.
  • the DB 200 and the archive 300 may be configured in physically different storage devices or may be configured in the same storage device.
  • the DB 200 may be configured in the first storage device 12 and the archive 300 may be configured in the second storage device 13. This is to improve fault tolerance for data.
  • the receiving unit 51 controls the network I / F 8 to receive the packet data 101 including the measurement data transmitted from the measurement device 20.
  • the packet data 101 may include a plurality of measurement data.
  • the data processing unit 52 extracts measurement data from the packet data 101 received by the receiving unit 51 within the reception time for each reception time. Then, the data processing unit 52 determines whether or not the measurement time of the measurement data belongs to the time interval corresponding to the reception time.
  • the measurement time corresponds to the “order” in the description with reference to FIG. 1
  • the time interval corresponds to the “order interval” in the description with reference to FIG.
  • the data processing unit 52 determines that the measurement time belongs to the time interval corresponding to the selected reception time (hereinafter referred to as “target time interval”), the data processing unit 52 stores the measurement data in the normal buffer 81.
  • the measurement data having the measurement time belonging to the target time section is referred to as “normal measurement data”.
  • the data processing part 52 specifies the measurement time of the measurement data which could not be received in the target time interval as the unreceived time after the end of the reception time.
  • the non-reception time corresponds to the “unreception order” in the description with reference to FIG. Since the measurement time is periodic, the unreceived time can be uniquely specified.
  • the reception time is 5 minutes from a certain time
  • the time interval corresponding to the reception time is “0: 0: 0 to 0: 5: 0”
  • the measurement time period is 1 second.
  • the measurement time “0: 0: 1” is the time interval “0: 0: 0” Since it belongs to “0: 5: 0”
  • the measurement data is stored in the normal buffer 81 as normal measurement data.
  • the data processing part 52 specifies the measurement time which could not be received during the reception time after the reception time.
  • the data processing unit 52 sets the measurement time “0 o'clock”. “0 minutes 3 seconds” and “0 hours 0 minutes 4 seconds” are specified as unreceived times, respectively.
  • the reception time and the corresponding time section may be the same or different.
  • the start time of the reception time may be a predetermined time later than the start time of the corresponding time section. This is because a time lag may occur between the time when the data is measured and the time when the packet data including the measured data reaches the data accumulation device 1.
  • the interpolation processing unit 54 may interpolate the measurement data corresponding to the unreceived time based on the measurement data stored in the normal buffer 81.
  • An example of interpolation is a linear interpolation method.
  • the data processing unit 52 instructs the import processing unit 53 to import the normal measurement data group in the normal buffer 81 after the reception time is over.
  • the plurality of measurement data belonging to the normal measurement data group may all be normal measurement data, or may be a mixture of normal measurement data and measurement data (NULL data or interpolation data) at an unreceived time.
  • the data processing unit 52 determines that the measurement time is not included in the target time interval (before the target time interval)
  • the data processing unit 52 stores the measurement data in the delay buffer 82.
  • measurement data having a measurement time not included in the target time interval is referred to as “delay measurement data”.
  • the target time interval is “0: 10: 0 to 0: 15: 0”.
  • the data processing unit 52 stores the measurement data (delay measurement data) in the delay buffer 82.
  • replacement measurement data group In which the interpolation data (or NULL) corresponding to the unreceived time is replaced with the delay measurement data is stored in the work area 83, the data processing unit 52 53 is instructed to import the replacement measurement data group in the work area 83.
  • the import processing unit 53 converts the normal measurement data group in the normal buffer 81 into a format that can detect data elements registered in the DB 200 and a format that can be stored in the archive 30. Convert. For example, the import processing unit 53 converts the normal measurement data group in the normal buffer 81 into a CSV (Comma Separated Value) file 121 that is an example of a file that can detect a data element registered in the normal table 600 of the DB 200. Further, the import processing unit 53 converts the normal measurement data group in the normal buffer 81 into a compressed file 122 that is an example of a file that can be stored in the archive 300. An example of the compressed file 122 is a ZIP file. The import processing unit 53 may generate the compressed file 122 by compressing the CSV file 121. Then, the import processing unit 53 instructs the storage processing unit 59 to store.
  • CSV Common Separated Value
  • the import processing unit converts the delay measurement data group in the delay buffer 82 into a format in which the data element registered in the DB 200 can be detected.
  • the delay measurement data group in the delay buffer 82 may be converted into the CSV file 121 as in the normal measurement data group.
  • the import processing unit 53 converts the replacement measurement data group in the work area 83 into a format that can be stored in the archive 300 based on an instruction from the data processing unit 52.
  • This format may be the compressed file 122 as described above.
  • the storage processing unit 59 stores measurement data obtained from the CSV file 121 based on the normal measurement data group in the normal table 600, and archives the compressed file 122 including the normal measurement data group. 300.
  • the storage processing unit 59 stores the delay data obtained from the CSV file 121 including the delay measurement data group in the delay table 620 based on the instruction from the import processing unit 53.
  • the storage processing unit 59 replaces the original compressed file 320 in the archive 300 with the compressed file 122 including the replacement measurement data based on the instruction from the import processing unit 53.
  • the query processing unit 56 searches the DB 200 and the archive 300 for measurement data that matches the search query.
  • the query processing unit 56 may search with priority from the DB 200.
  • the search query may be input from the user, or may be automatically generated in the data accumulation device 1 based on a predetermined condition.
  • An example of a language that expresses a search query is SQL (Structured Query Language).
  • the update processing unit 55 replaces the measurement data at the unreceived time with the delay measurement data.
  • the update processing unit 55 may perform this replacement without an instruction from the user, or may receive the instruction from the user.
  • the update processing unit 55 acquires delay measurement data from the delay table 620 of the DB 200 through the query processing unit 56.
  • the update processing unit 55 acquires from the normal table 600, through the query processing unit 56, a measurement data group in import units including the measurement data of the unreceived time that is the same as the measurement time of the delay measurement data.
  • the update processing unit 55 acquires, from the archive 300, the compressed file 320 including the measurement data of the unreceived time that is the same as the measurement time of the delay measurement data, from the archive 300 through the query processing unit 56.
  • the update processing unit 55 generates a replacement measurement data group in which the measurement data at the unreceived time is replaced with the delay measurement data, and stores it in the work area 83.
  • the compressed file 320 before replacement in the archive 300 is replaced with the compressed file 122 generated from the replacement measurement data group in the work area 83 by the data processing unit 52 and the import processing unit 53 as described above.
  • the reference processing unit 57 refers to the measurement data in the DB 200 and the archive 300. For example, the reference processing unit 57 generates a search query based on a search condition input from the user through the input / output processing unit 58. Then, the reference processing unit 57 acquires measurement data that matches the search query from the DB 200 and the archive 300 through the query processing unit 56. The reference processing unit 57 may pass the acquired measurement data to the input / output processing unit 58.
  • the input / output processing unit 58 processes the input from the user received through the input I / F 23.
  • the input / output processing unit 58 outputs information generated in the data accumulation device 1 to the user through the output I / F 22.
  • the input / output processing unit 58 generates a GUI and displays it on the display. Then, the input / output processing unit 58 may process an input from the GUI.
  • FIG. 4 shows a configuration example of the normal table 600 in the DB 200.
  • the normal table 600 manages normal measurement data. Specifically, for example, the normal table 600 has a record for each normal measurement data, and each record has a measurement time 601, a measurement source ID 602, and a measurement value 603 as field values. Furthermore, each record may have a non-reception flag 604 and a delay flag 605 as information related to normal measurement data. Measurement data such as normal measurement data includes at least a measurement time and a measurement value.
  • the measurement source ID 602 may be an ID specified from a measurement data transmission source, and may or may not be included in the measurement data.
  • the measurement time 601 is the time when the measurement value 603 is measured.
  • the measurement source ID 602 is identification information of the measurement apparatus 20 that measured the measurement value 603 (for example, information that identifies the position or location of the measurement apparatus 20).
  • the measurement value 603 is a value measured at the measurement time 601 in the measurement device 20 indicated by the measurement source ID 602.
  • the measurement value 603 is an interpolation value calculated by the interpolation processing unit 54. Note that “NULL” may be stored in the measurement value 603 that is neither measured nor interpolated.
  • the non-reception flag 604 is a flag indicating whether or not the measurement time 601 is a non-reception time. For example, the measurement time 601 in which the non-reception flag 604 is “1” indicates a non-reception time. Therefore, the measured value 603 with the unreceived flag 604 being “1” is an interpolation value calculated by the interpolation processing unit 54.
  • the delay flag 605 is a flag indicating whether or not delay measurement data corresponding to the measurement time 601 has been acquired. For example, when the delay flag 605 is “1”, it indicates that the delay measurement data corresponding to the measurement time 601 (that is, the non-reception time) has been acquired.
  • the unreceived flag 604 of the record 610a is “NULL”. Therefore, the measurement data in the record 610a is normal measurement data received within the reception time.
  • the unreceived flag 604 of the record 610b is “1”. Therefore, the measurement data in the record 610b indicates that it could not be received within the reception time. That is, the measurement time 601 in the record 610b is a non-reception time. In addition, the measurement value “300” in the record 610b is an interpolation value.
  • the delay flag 605 of the record 610b is “1”. Therefore, the delay measurement data corresponding to the measurement time 601 (non-reception time) in the record 610b indicates that it has been acquired.
  • FIG. 5 shows a configuration example of the delay table 620 in the DB 200.
  • the delay table 620 manages delay measurement data. Specifically, for example, the delay table 620 includes a record for each delay measurement data. Each record has the same field values 621, 622, and 623 as the field values 601, 602, and 603 in the record of the normal table 600, respectively.
  • the delay flag 605 of the record 610b that matches the measurement time 621 of the delay measurement data in the normal table 600 is changed to “1”.
  • the reason why the normal measurement data and the delay measurement data are managed in different tables is, for example, as follows. (1) This is because the delay measurement data is not always reliable. For example, there is a possibility that delay measurement data having a measurement value that has been intentionally falsified is transmitted after the reception time is over. (2) This is because the user can compare or select the interpolated measurement data and the delay measurement data.
  • the normal measurement data and the delay measurement data are distinguished by dividing the table, but may be distinguished by other methods.
  • a single table may be distinguished by providing a field value for distinguishing normal measurement data and delay measurement data.
  • FIG. 6 is a flowchart showing an outline of processing according to the present embodiment.
  • the data processing unit 52 performs reception processing (S100). That is, the data processing unit 52 processes the measurement data extracted from the packet data 101 received by the receiving unit 51. Details of this processing will be described with reference to FIG.
  • the import processing unit 53 performs import processing on the measurement data stored in the normal buffer 81, the delay buffer 82, or the work area 83 (S200). That is, the import processing unit 53 converts the measurement data into a CSV file that can be imported into the DB 200 or a compressed file that can be stored in the archive 300. Details of this processing will be described with reference to FIG.
  • the storage processing unit 59 stores the converted CSV file and / or compressed file in the DB 200 and / or the archive 300 (S300). That is, the storage processing unit 59 stores the contents of the CSV file in the normal table 600 or the delay table 620, or stores the compressed file in the archive 300. Details of this processing will be described with reference to FIG.
  • the data accumulation device 1 repeatedly executes the processes of S100, S200, and S300.
  • S100, S200, and S300 will be described with reference to the drawings.
  • FIG. 7 is a flowchart showing an example of reception processing. This process corresponds to S100 in FIG.
  • the data processing unit 52 executes the following processing (S101).
  • the reception completion notification is notified from the receiving unit 51.
  • the preparation completion notification is notified from the update processing unit 55.
  • the data processing unit 52 determines which of the preparation completion notification or the reception completion notification has been received (S102).
  • the data processing unit 52 instructs the import processing unit 53 to import the work area 83 (S150), and returns to S101.
  • the data processing unit 52 executes the following processes of S103 to S140 for each of the extracted measurement data (S103).
  • the data processing unit 52 determines whether or not the measurement time of the measurement data belongs to the time interval corresponding to the current reception time (S110). That is, the data processing unit 52 determines whether the measurement data is not delay measurement data. By this determination, the received measurement data is divided into normal measurement data and delay measurement data.
  • the measurement time of the measurement data belongs to the time interval corresponding to the current reception time in the determination of S110 (S110: YES)
  • the measurement data at the measurement time belonging to the time interval is referred to as normal measurement data as described above.
  • the data processing unit 52 proceeds to S140.
  • the data processing unit 52 returns to S103 if unprocessed measurement data remains, and returns to S101 if no unprocessed measurement data remains (S140).
  • the data processing unit 52 determines whether there is an unreceived time belonging to the time interval corresponding to the current reception time (S132). For example, the data processing unit 52 checks the continuity of the period of the measurement time stored in the normal buffer 81 and determines whether there is an unreceived time.
  • the data processing unit 52 instructs the interpolation processing unit 54 to interpolate values corresponding to the unreceived times. Is requested (S133).
  • the interpolation processing unit 54 may calculate an interpolation value corresponding to the non-reception time based on the measurement values at other measurement times stored in the normal buffer 81.
  • the data processing unit 52 stores the measurement data including the non-reception time and the interpolation value in the normal buffer 81. Thereby, the measurement value of the non-reception time is interpolated.
  • the data processing unit 52 records the non-reception time in the memory 14 (S134), and proceeds to S135.
  • the data processing unit 52 instructs the import processing unit 53 to import the normal measurement data stored in the normal buffer 81 (S135). Then, the data processing unit 52 updates the next reception time (S136), and proceeds to S140 described above.
  • the measurement data whose measurement time is outside the time interval is hereinafter referred to as delay measurement data as described above.
  • the data processing unit 52 determines whether to save the delay measurement data based on the delay measurement time (delay measurement data measurement time). For example, the data processing unit 52 determines whether or not the delay measurement time (delay measurement data measurement time) belongs to a period T2 during which the measurement data is stored in the DB 200 (referred to as “DB storage period”) (S111). ). Alternatively, the data processing unit 52 may determine whether or not the delay measurement time belongs between the current time and a time that goes back the period T2 set for the user.
  • the period T2 may be set, for example, as “two years before the current time” or may be set as “from April 2004 to April 2006”.
  • the data processing unit 52 may discard the delay data. For example, when the delay measurement time belongs to the DB storage period T2 (S111: NO), the data processing unit 52 discards the delay measurement data (S120), and proceeds to S140 described above. That is, when the normal measurement data corresponding to the delay measurement time exists only in the archive 300, the data processing unit 52 may discard the delay measurement data. Thereby, the delay measurement data whose delay measurement time is earlier than the predetermined period T2 is discarded.
  • the data processing unit 52 determines to store the delay measurement data, the data processing unit 52 holds the delay measurement time. For example, when the delay measurement time belongs to the DB storage period T2 (S111: YES), the data processing unit 52 stores the delay measurement time in the memory 14 (S112).
  • the data processing unit 52 stores the delay measurement data in the delay buffer 82 (S113). Then, the data processing unit 52 determines whether or not the number of delay measurement data stored in the delay buffer 82 is equal to or greater than a predetermined N (N is a positive integer) (S114). As a result, N delay measurement data are stored in the delay buffer 82.
  • N is a positive integer
  • the data processing unit 52 stores the delay processing data in the delay buffer 82 with respect to the import processing unit 53. Instructed to import the measured delay measurement data (S115). Then, the data processing unit 52 proceeds to S140 described above.
  • FIG. 8 is a flowchart showing an example of import processing. This process corresponds to S200 in FIG.
  • the target of the import instruction is the normal buffer 81 (normal measurement data), the delay buffer 82 (delay measurement data), or the work area 83 (replacement). (Measurement data) is determined (S202).
  • the import processing unit 53 generates a CSV file 121 suitable for registration in the normal table 600 from the normal measurement data group stored in the normal buffer 81 (S230).
  • the import processing unit 53 generates a compressed file 122 suitable for storage in the archive 300 from the normal measurement data group stored in the normal buffer 81 (S231).
  • the import processing unit 53 instructs the storage processing unit 59 to store the CSV file 121 and the compressed file 122 (S232), and returns to S201.
  • the import processing unit 53 generates a CSV file 121 suitable for registration in the delay table 620 from the delay measurement data group stored in the delay buffer 82 (S220). Then, the import processing unit 53 instructs the storage processing unit 59 to store the CSV file 121 (S221), and returns to S201.
  • the import processing unit 53 generates a compressed file 122 suitable for storage in the archive 300, for example, from the replacement measurement data group stored in the work area 83 (S210). Then, the import processing unit 53 instructs the storage processing unit 59 to store the compressed file 122 (S211), and returns to S201.
  • FIG. 9 is a flowchart showing an example of data storage processing.
  • the storage processing unit 59 When the storage processing unit 59 receives a storage instruction from the import processing unit 53 (S301), the target of the storage instruction is storage of normal measurement data (instruction of S232), storage of delay measurement data (instruction of S221), or It is determined whether the delay measurement data is to be replaced (instructed in S211) (S302).
  • the storage processing unit 59 registers the contents of the CSV file 121 including the normal measurement data generated in S230 in the normal table 600 of the DB 200 (S330).
  • the storage processing unit 59 stores the compressed file 122 including the normal measurement data generated in S231 in the archive 300 (S331). Then, the storage processing unit 59 issues a normal storage completion notification (S332), and returns to S301.
  • the storage processing unit 59 registers the contents of the CSV file 121 including the delay measurement data generated in S220 in the delay table 620 of the DB 200 (S320). Then, the storage processing unit 59 issues a delayed storage completion notification (S321), and returns to S301.
  • the storage processing unit 59 specifies the original compressed file 122 including the unreceived time that matches the delay measurement time of S210 from the archive 300. Then, the storage processing unit 59 replaces the identified original compressed file 122 in the archive 300 with the compressed file replaced with the delay measurement data generated in S210 (S310), and returns to S301.
  • FIG. 10 is a flowchart showing an example of data update processing.
  • the update processing unit 55 Upon receiving the storage completion notification (S401), the update processing unit 55 determines whether the notification type is a normal storage completion notification (S231 notification) or a delayed storage completion notification (S221 notification). (S402).
  • the update processing unit 55 acquires the non-reception time recorded in S112 of FIG. 7 (S420).
  • the update processing unit 55 changes the non-reception flag 604 at the acquired non-reception time to “1” in the normal table 600 of the DB 200 (S421), and returns to S401.
  • the update processing unit 55 acquires the delay measurement time recorded in S112 of FIG. 7 (S410).
  • the update processing unit 55 changes the delay flag 605 at the acquired delay measurement time to “1” in the normal table 600 of the DB 200 (S411).
  • the update processing unit 55 acquires a plurality of normal measurement data corresponding to the compressed file 122 including the measurement data whose delay flag 605 is changed to “1” from the normal table 600 (S412). That is, the update processing unit 55 acquires from the normal table 600 a plurality of normal measurement data serving as import units including measurement data whose delay flag 605 is changed to “1”. The update processing unit 55 acquires delay measurement data having the delay measurement time acquired in S410 from the delay table 620 (S413).
  • the update processing unit 55 replaces the normal measurement data corresponding to the delay measurement time acquired in S410 among the plurality of normal measurement data acquired in S412 with the delay measurement data acquired in S413 (S414).
  • the update processing unit 55 stores the plurality of replacement measurement data (replacement measurement data) in the work area 83 (S415).
  • the update processing unit 55 issues a preparation completion notification (S416) and returns to S401.
  • This preparation completion notification is detected by the determination in S102 of FIG.
  • the above processing has the following effects. (1) The measurement data at which measurement time is not received (that is, the non-reception time) is recorded in the normal table 600. (2) It is recorded in the normal table 600 which delay measurement data suitable for which non-reception time has been received.
  • FIG. 11 is a flowchart showing an example of the data reference process.
  • the reference processing unit 57 issues a search query to the query processing unit 56 (S501).
  • This search query may be input from the user through the input / output processing unit 58.
  • the reference processing unit 57 determines whether or not the measurement data to be searched for the search query exists in the DB 200 (S502). For example, the reference processing unit 57 determines whether or not the measurement time specified by the search query is within the storage period T2 of the DB 200.
  • the reference processing unit 57 acquires the compressed file 320 including the measurement data to be searched from the archive 300 (S514). Then, the reference processing unit 57 extracts measurement data from the compressed file 320, calls the input / output processing unit 58 (S520), and ends the processing.
  • the reference processing unit 57 determines whether the setting refers to the delay table 620 (S503). This setting may be appropriately performed by the user, or may be predetermined in the data accumulation device 1.
  • the reference processing unit 57 acquires the measurement data to be searched from the normal table 600 (S512). Then, the reference processing unit 57 calls the input / output processing unit 58 (S520) and ends the processing.
  • the reference processing unit 57 acquires the measurement data to be searched from both the normal table 600 and the delay table 620 and combines them. That is, the reference processing unit 57 replaces the measurement data acquired from the delay table 620 with the measurement data whose delay flag 605 is “1” in the measurement data acquired from the normal table 600. At this time, the reference processing unit 57 does not have to acquire the measurement data whose non-reception flag 604 is “1” from the normal table 600. Then, the reference processing unit 57 calls the input / output processing unit 58 (S520) and ends the processing.
  • FIG. 12 is a schematic diagram showing an example of measurement data GUI 701.
  • the measurement data GUI 701 may be generated and displayed by the input / output processing unit 58.
  • Measured data GUI 701 displays changes in measured values within a predetermined period.
  • the measurement data GUI 701 includes a period setting area 702 for setting a period to be displayed and a measurement value display area 703 for displaying a change in the measurement value in a graph.
  • the measurement data GUI 701 may have a delay use selection area 704 for selecting whether or not to use delay measurement data. That is, when the setting of the delay use selection area 704 is “OFF”, only the measurement value 603 of the normal table 600 is used, and the measurement value 623 of the delay table 620 is not used. When the setting of the delay use selection area 704 is “ON”, the measurement value 623 in the delay table 620 is used for the measurement value 603 in which the delay flag 605 in the normal table 600 is “1”.
  • the measurement value display area 703 displays a graph with the interpolation value applied without applying the measurement value of the delay measurement data, and the setting of the delay use selection area 704 is set.
  • a graph to which the measurement value of the delay measurement data is applied may be displayed.
  • the part to which the measurement value of the delay measurement data is applied may be displayed in a form (for example, different color) that can be distinguished from other parts.
  • the measurement data GUI 701 may have an area for setting parameters related to measurement data accumulation.
  • the measurement data GUI 701 may have a setting area 705 for setting the reception time.
  • the measurement data GUI 701 is for setting a threshold N (corresponding to the determination threshold N in S114 of FIG. 7) for determining how many delay measurement data are stored in the delay buffer 82 and issuing an import instruction.
  • a setting area 706 may be included. For example, when “2” is set in the setting area 706 and only one delay measurement data is stored in the delay buffer 82, the determination in S114 is “NO”.
  • the measurement data GUI 701 may have a setting area 707 for setting a period T2 (corresponding to S111 in FIG. 7) that determines whether the delay measurement data is registered in the delay table 620 or discarded. For example, when it is set in the setting area 707 that the period T2 is linked to the DB storage period, the determination in S111 is “NO” for delay measurement data whose measurement time is earlier than the DB storage period. For example, when the period T2 is set to “3 months” in the setting area 707, the determination in S111 is “NO” for the delay measurement data whose measurement time is three months or more before the current time.
  • the time series data based on the measurement time has been described as an example of the data having the order relation, but the data having the order relation may be other series data.
  • the data having the order relation may be other series data.
  • it may be series data based on a time stamp or a counter.
  • At least one of the first storage device 12 and the second storage device 13 may be configured by RAID (Redundant Arrays of Inexpensive Disks).
  • the data processing unit 52 may have two or more normal buffers 81 and may switch the normal buffer where the measurement data is stored for each reception time.
  • Both the first storage unit and the second storage unit may be configured by a DB.
  • the correspondence between a plurality of reception times and a plurality of order sections (time sections) may be managed by a table, for example, or specified by calculation.
  • the reception time and the order section (time section) may correspond one-to-one. Therefore, the order belonging to the order section (time belonging to the time section) should be interpreted as the order belonging to the reception time (time). Can do.
  • Data Accumulation Device 52 Data Processing Unit 53: Import Processing Unit 54: Interpolation Processing Unit 55: Update Processing Unit 56: Query Processing Unit 57: Reference Processing Unit 58: Input / Output Processing Unit 59: Storage Processing Unit 200: Database 300 :archive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

　データ集積装置において、インターフェイスが、順序関係を有するデータを複数の受付時間の各々において受信すると、コントローラが、インターフェイスが受信したデータのうちの、選択された受付時間に属する順番のデータである通常データと、選択された受付時間に属する複数の順番のうちの、選択された受付時間において受信したデータのいずれのデータの順番にも該当しない順番である未受信順番と、を第１格納部に格納する。

Description

データ集積装置、及び、データ集積方法
　本発明は、概して、データを受信して集積する技術に関する。
　多数のセンサの各々から周期的に送信されてくるデータを集積して分析するデータ集積装置の開発が行われている。しかし、実環境では、例えば、センサの一時的な不具合などにより、そのセンサから送信されたデータが異常値であったり、通信ネットワーク上の障害などにより、データ集積装置がデータの受信に失敗したりすることがある。特許文献１には、時系列データに含まれる異常値の除去、及び、異常値又は未受信の部分を補正する技術が開示されている。
特許第５１１９０２２号
　ところで、データ集積装置がデータの受信に失敗したと判定した後に、遅れてそのデータがデータ集積装置に送信されてくる場合がある。この遅延時間の長さは様々である。例えば、通信ネットワークが一時的に混雑しその混雑が数分から数時間後に解消した場合、遅延時間は、通信ネットワークの混雑が発生してから解消するまでの時間（つまり数分から数時間）となる可能性がある。また、例えば、或るセンサの送信系統に不具合が発生しその不具合が数日から数か月後（又は数年後）に解消した場合、そのセンサからのデータの遅延時間は、その不具合が発生してから解消するまでの時間（つまり数日から数か月後（又は数年後））となる可能性があり、また、その不具合解消後に、そのセンサから未送信であったたくさんのデータをデータ集積装置が受信する可能性がある。この種の問題は、複数のデータソースが複数のセンサ以外である場合、データソースからデータが不定期的に送信される場合、データソースからの複数のデータが時系列以外の順序関係を有している場合、のうちの少なくとも１つについてもあり得る。
　そこで、本発明の目的は、遅れて送信されてきたデータを適切に処理するデータ集積装置及びデータ集積方法を提供することにある。また、本発明の別の目的は、遅れて送信されてきたデータを、過去に受信できなかった部分に適切に格納するデータ集積装置及びデータ集積方法を提供することにある。
　一実施形態に係るデータ集積装置は、
　　順序関係を有するデータを複数の受付時間の各々において受信するインターフェイスと、
　　インターフェイスが受信したデータのうちの、選択された受付時間に属する順番のデータである通常データと、前記選択された受付時間に属する複数の順番のうちの、選択された受付時間において受信したデータのいずれのデータの順番にも該当しない順番である未受信順番と、を第１格納部に格納するコントローラと、を有する。
　コントローラは、選択された受付時間よりも後に受信したデータの順番が、第１格納部に格納されている何れかの未受信順番と適合する場合、その選択された受付時間よりも後に受信したデータである遅延データを第１格納部に格納する、としてもよい。
　本発明によれば、データ集積装置は、遅れて送信されてきたデータを適切に処理することができる。また、本発明によれば、データ集積装置は、遅れて送信されてきたデータを、過去に受信できなかった部分に適切に格納することができる。これにより、データ集積装置は、遅れて送信されてきたデータを用いて分析を行うことができる。
データ集積装置の動作概要を示す模式図である。 データ集積装置のハードウェアの構成例を示す。 データ集積装置の機能の構成例を示す。 ＤＢ（データベース）における通常テーブルの構成例を示す。 ＤＢにおける遅延テーブルの構成例を示す。 本実施形態に係る処理の概要を示すフローチャートである。 受信処理の例を示すフローチャートである。 インポート処理の例を示すフローチャートである。 データ格納処理の例を示すフローチャートである。 データ更新処理の例を示すフローチャートである。 データ参照処理の例を示すフローチャートである。 測定データＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）の例を示す模式図である。
　以下、実施形態を説明する。なお、以後の説明では、「ｘｘｘテーブル」等の表現にて情報を説明することがあるが、これら情報はテーブル等のデータ構造以外で表現されていてもよい。そのため、データ構造に依存しないことを示すために「ｘｘｘテーブル」等について「ｘｘｘ情報」と呼ぶことがある。
　また、以後の説明では「ｘｘｘ部」を主語として説明を行う場合があるが、この「ｘｘｘ部」は、コンピュータプログラム（「プログラム」という）で構成されてもよい。プログラムは、プロセッサによって実行されることで定められた処理をメモリ及び通信ポート（ネットワークＩ／Ｆ）を用いながら行うため、プロセッサ又はＣＰＵを主語とした説明としてもよい。また、プログラムを主語として開示された処理は、監視システム等の計算機が行う処理としてもよい。また、プログラムの一部または全ては、専用ハードウェアによって実現されてもよい。また、各種プログラムは、プログラム配布サーバや、計算機が読み取り可能な記憶媒体によって各計算機にインストールされてもよい。
　また、以後の説明では、複数の同種の要素の参照符号は、同一の親番号と異なる子符号の組合せである。同種の要素を区別しないで説明する場合には、参照符号のうちの親番号のみを用いて説明し、同種の要素を区別して説明する場合には、参照符号を用いて説明することがある。
　また、以下の説明では、同種の要素を区別して説明する場合には、「ｘｘｘ３２０ａ」、「ｘｘｘ３２０ｂ」のように、参照符号を使用し、同種の要素を区別しないで説明する場合には、「ｘｘｘ３２０」のように参照符号のうちの共通番号のみを使用することがある。
　図１は、データ集積装置１の動作概要を示す模式図である。
　データ集積装置１は、コントローラと、受信部と、第１格納部と、第２格納部とを有する。第２格納部は、第１格納部よりも格納可能なデータ量が大きい構成であってよい。第１格納部は、例えば、ＤＢ（データベース）２００又はＤＢ２００としての第１記憶装置であり、第２格納部は、例えば、アーカイブ３００又はアーカイブ３００としての第２記憶装置である。コントローラは、ＤＢ２００に対してデータを入出力したり、アーカイブ３００に対してファイルを入出力したりできる。第１格納部及び第２格納部の少なくとも一方が、データ集積装置１の外に存在してもよい。アーカイブ３００は、ファイルシステム（例えばファイルが格納される論理空間）の一例でよく、その場合、第２記憶装置は、ファイルシステムを提供する記憶装置でよい。
　受信部は、通信ネットワークを通じて、パケットデータを受信する。パケットデータには、順序関係を有する複数のデータが含まれている。
　コントローラは、受信部が受信したパケットデータから、順序関係を有する複数のデータを抽出する。コントローラは、順序の区間と、その順序区間に属する順番（その順序区間に含まれる順番）のデータを受け付ける時間である受付時間との対応関係を表す情報を保持している。図１の例によれば、順序区間「１１以上１６未満」と、受付時間Ｔ１とが対応することを示す。本実施形態における順序区間は、その区間の始点の順番を含み、終点の順番を含まないとする。
　コントローラは、抽出した順序関係を有する複数のデータのそれぞれについて、データの順番が、選択された受付時間に対応する順序区間（以下、「対象順序区間」ということがある）に属するか否かを判定する。ここで、「受付時間」とは、１つの時間長（例えば３００秒）、例えば周期である。従って、複数の受付時間が存在し、「選択された受付時間」とは、それら複数の受付時間から選択された受付時間である。受付時間は、例えば、ユーザにより選択されてもよい。
　コントローラは、対象順序区間に属する順番を有するデータ（以下、「通常データ」という）を、通常バッファ（通常データの格納先とされるバッファ）８１に格納する。例えば図１では、選択された受付時間Ｔ１内に、順番が「１１」、「１２」、「３」、「１５」及び「１４」のデータを受信している。そこで、コントローラは、選択された受付時間Ｔ１に対応する順序区間「１１以上１６未満」に属する順番「１１」、「１２」、「１５」及び「１４」のデータを、それぞれ通常データとして通常バッファ８１に格納する。これにより、コントローラは、正常なタイミングで受信したデータ（言い換えれば遅延することなく受信したデータ）のみを、通常バッファ８１に格納することができる。
　そして、コントローラは、対象順序区間に属する複数の順番のうちの、上記抽出された複数のデータのいずれのデータの順番にも該当しない順番（以下、「未受信順番」という）を特定する。未受信順番のデータは、言い換えれば、選択された受付時間内に受信されるべきデータであったが受信されなかったデータであるといえる。例えば図１では、データ集積装置１は、選択された順序区間「１１以上１６未満」に対応する受付時間Ｔ１内に、順番「１３」のデータを受信できていない。そこでコントローラは、未受信順番「１３」に対応するＮＵＬＬデータを、通常バッファ８１に格納する。これにより、コントローラは、正常なタイミングで受信できなかったデータの順番を管理することができる。
　コントローラは、所定の補間処理に基づいて、未受信順番に対応する補間データを生成し、その補間データを通常バッファ８１に格納してもよい。例えば図１では、コントローラは、所定の補間処理に基づいて、未受信順番「１３」に対応する補間データを生成し、その補間データを通常バッファ８１に格納する。これにより、コントローラは、未受信順番に対応する遅延データ（「遅延データ」については後述）を受信できない場合であっても、補間データを適用して、データの分析を行うことができる。なお、「補間データ」とは、順序関係を有する複数のデータのうち欠けているデータを補うデータであり、例えば、未受信順番の前後の順番のデータを基に生成されたデータでよい。
　上記により、通常バッファ８１内の複数のデータ（以下、「通常データ群」と言うことがある）は、いずれも通常データであることもあれば、通常データと未受信番号のデータ（ＮＵＬＬデータ又は補間データ）とが混在していることもある。コントローラは、通常バッファ８１内の複数のデータを、順番通りに並べ替えてもよい。例えば図１では、コントローラは、通常バッファ８１において、順序「１５」と「１４」の通常データを並び替えている。これにより、通常バッファ８１内で複数のデータが順番通りに並ぶ。
　次に、コントローラは、通常バッファ８１に格納されている通常データ群を、ＤＢ２００及びアーカイブ３００に格納する。データが第１格納部及び第２格納部の両方に格納されるので、データに対する耐障害性が高まる。
　ＤＢ２００では、データとそれの順番とが対応付けられる。ＤＢ２００には、格納可能なデータの量の上限が存在する。ＤＢ２００に格納されたデータの量が上限に達すると、コントローラは、ＤＢ２００に新たにデータを格納できない。この場合、コントローラは、ＤＢ２００から、順番の小さいデータを優先的に削除してよい。これにより、参照頻度が比較的高いデータ、つまり、順番の大きいデータを、アーカイブ３００よりも検索の速いＤＢ２００に残すことができる。
　一方、選択された受付時間に対応する順序区間に属さない順番のデータもあり得る。通常、そのようなデータは、対応する順序区間に属するいずれの順番よりも小さい順番を有するデータである。つまり、選択された受付時間内に受信されるべきデータであるが選択された受付時間より後に受信されたデータである。以下、そのように遅れて受信されたデータを「遅延データ」と言う。コントローラは、遅延データを、遅延バッファ（遅延データの格納先とされるバッファ）８２に格納する。例えば図１では、順番「３」のデータは、選択された受付時間Ｔ１に対応する順序区間「１１～１５」の範囲外であり、その順序区間「１１～１５」に属するいずれの順番よりも小さい順番のデータである。そこで、コントローラは、順番「３」のデータを、遅延データとして遅延バッファ８２に格納する。これにより、コントローラは、遅延データのみを、遅延バッファ８２に格納することができる。
　そして、コントローラは、遅延バッファ８２に格納されている１以上の遅延データ（遅延データ群）を、ＤＢ２００に格納する。ＤＢ２００において、通常データと遅延データとは、区別可能に管理されてよい。例えば、ＤＢ２００が、通常データの格納先とされるテーブルである通常テーブル６００と、遅延データの格納先とされる遅延データ６２０とを含み、コントローラにより、通常データ群は、通常テーブル６００に格納され、遅延データ群は、遅延テーブル６２０に格納される。例えば図１において、コントローラは、遅延バッファ８２に格納されている順番「３」の遅延データを、遅延テーブル６２０に格納する。これにより、コントローラは、遅延データと通常データとを、区別して管理することができる。よって、ユーザは、データの分析において、遅延データを採用するか否かを選択することができる。
　コントローラは、遅延データを、アーカイブ３００にも格納してもよい。すなわち、コントローラは、遅延データの順番と同じ未受信順番のデータを含むファイルをアーカイブ３００から探して取得し（読み出し）、その取得したファイルのうち遅延データの順番と同じ未受信順番のデータを、その遅延データで置き換えてもよい。このとき、コントローラは、ＤＢ２００に、その遅延データの順番と同じ未受信順番について遅延データを受信済みであることを示す情報を格納してもよい。また、コントローラは、遅延データをアーカイブ３００に格納するか否かを、ユーザに選択させてもよい。
　例えば、図１では、アーカイブ３００に格納されているファイル３２０ａが、未受信順番「３」のデータを含んでいる。そこで、コントローラは、アーカイブ３００から、ファイル３２０ａを取得する。そして、コントローラは、その取得したファイル３２０ａ内の未受信順番「３」のデータを、順番「３」の遅延データで置換したファイルを生成する。そして、コントローラは、アーカイブ３００のファイル３２０ａを、その生成したファイルで置き換える。合わせて、コントローラは、通常テーブル６００において未受信順番「３」に対応したフラグ（値）を、遅延を示す値から遅延データを受信済みであることを示す値に変更する。
　コントローラは、遅延バッファ８２に格納されている遅延データ群の内、遅延データの順番が通常テーブル６００内の何れの未受信順番とも適合しない遅延データについては、遅延テーブル６２０に格納しなくてもよい。例えば、順番の小さいデータが優先的に通常テーブル６００から削除される構成において、コントローラは、遅延バッファ８２に格納されている遅延データの内、通常テーブル６００に格納されている最小の順番よりも小さい順番を有する遅延データを、遅延テーブル６２０に格納しなくてもよい。これにより、通常テーブル６００に格納されている最小の順番よりも小さい（古い）順番の遅延データは、アーカイブ３００にも格納されなくなる。
　コントローラは、遅延バッファ８２に格納されている遅延データの内、通常テーブル６００に格納済みの通常データの順番と同一の順番の遅延データを、遅延テーブル６２０に格納しなくてもよい。すなわち、同一の順番については遅延データよりも通常テーブル６００に格納されている通常データが優先されるとしてもよい。
　コントローラは、未受信順番に対応する受付時間から所定時間経過後に（具体的には、未受信順番が属する順序区間に対応した受付時間における所定時点（例えば受付時間の終了時点）から所定時間経過後に）、その未受信順番に対応する遅延データを受信した場合、その遅延データを遅延テーブル６２０に格納しなくてもよい。つまり、コントローラは、このような破棄条件を満たした遅延データを破棄してもよい。なお、ここで言う「所定時間」としては、後述の保存期間を採用できる。未受信順番に対応する受付時間内に受信された通常データは、その受付時間（又は、その通常データの測定時刻）から保存期間を経過するとＤＢ２００から削除されるが、上記破棄条件を採用することで、ＤＢ２００から削除される条件を満たしている遅延データをＤＢ２００に格納してしまうことを避けることができる。
　図２は、データ集積装置１のハードウェアの構成例を示す。
　データ集積装置１は、複数の測定装置２０のそれぞれから時々刻々と送信される測定データを受信し、その受信した測定データを蓄積する。
　例えば、広域電力保護ソリューションにおける測定装置２０は、所定の周期で電圧及び周波数等などを測定し、その測定時刻とその測定値を含む測定データを、時々刻々、データ集積装置１に送信する。例えば、交通インフラ状態監視ソリューションにおける測定装置２０は、所定の周期で交通量等を測定し、その測定時刻とその測定値を含む測定データを、時々刻々、データ集積装置１に送信する。
　データ集積装置１は、ハードウェアとして、ネットワークＩ／Ｆ８と、ＣＰＵ２１と、メモリ１４と、第１記憶装置１２と、第２記憶装置１３と、入力Ｉ／Ｆ２３と、出力Ｉ／Ｆ２２とを備える。これらの要素９、２１、１４、１２、１３、２３、２２は、双方向にデータの送受信が可能な内部バス２５で接続されている。内部バス２５の一例としては、ＰＣＩｅ（ＰＣＩ　ｅｘｐｒｅｓｓ）などがある。第１記憶装置１２及び第２記憶装置１３の少なくとも一方は、データ集積装置１の外に存在してもよい。
　第１記憶装置１２及び第２記憶装置１３には、データが蓄積される。第１記憶装置１２及び第２記憶装置１３の一例としては、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）などの記憶メディアがある。第１記憶装置１２及び第２記憶装置１３の少なくとも一方が、複数の記憶メディアを有するディスクアレイ装置のような大規模な装置でもよい。
　ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）８は、データ集積装置１を通信ネットワーク７に接続させるためのＩ／Ｆである。ネットワークＩ／Ｆ８の一例としては、ＮＩＣ（Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄ）などがある。
　ＣＰＵ２１は、メモリ１４に格納されているプログラムを実行し、本実施形態で述べる様々な機能を実現する。
　メモリ１４には、プログラム及びデータなどが格納される。メモリ１４の一例としては、ＤＲＡＭ（Ｄｙｎａｍｉｔｅ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＭＲＡＭ（Ｍａｇｎｅｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）及びＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などがある。
　入力Ｉ／Ｆ２３は、データ集積装置１に入力デバイスを接続するためのＩ／Ｆである。ユーザが入力デバイスを操作して入力したコマンドなどが、この入力Ｉ／Ｆ２３を通じて、ＣＰＵ２１などに入力される。入力デバイスの一例としては、キーボード、マウス及びマイクなどがある。
　出力Ｉ／Ｆ２２は、データ集積装置１に出力デバイスを接続するためのＩ／Ｆである。データ集積装置１の処理結果やＧＵＩなどが、この出力Ｉ／Ｆ２２を通じて、出力デバイスに出力される。出力デバイスの一例としては、ディスプレイ及びスピーカーなどがある。なお、入力Ｉ／Ｆ２３及び出力Ｉ／Ｆ２２に代えてネットワークＩ／Ｆ８又は別のネットワークＩ／Ｆが採用されてもよく、ＣＰＵ２１は、ネットワークＩ／Ｆ８又は別のネットワークＩ／Ｆを介して、ユーザが使用する計算機から入力された情報を受けたり、ユーザが使用する計算機に表示用の情報を出力したりしてよい。
　図３は、データ集積装置１の機能の構成例を示す。
　データ集積装置１は、機能として、受信部５１と、データ処理部５２と、インポート処理部５３とクエリ処理部５６と、更新処理部５５と、参照処理部５７と、入出力処理部５８と、補間処理部５４と、格納処理部５９とを有する。これらの機能のうち、受信部５１は、ネットワークＩ／Ｆ８により実現されてよく、受信部５１以外の機能は、ＣＰＵ２１がメモリ１４に格納されたプログラムを実行することにより実現されてよい。これらの機能の全部又は一部は、専用のハードウェア回路（例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ））で実現されてよい。
　データ集積装置１は、第１格納部の一例としてＤＢ２００を、第２格納部の一例としてアーカイブ３００を有する。ＤＢ２００とアーカイブ３００は、物理的に異なる記憶装置に構成されてもよいし同一の記憶装置に構成されてもよい。例えば、ＤＢ２００が第１記憶装置１２に、アーカイブ３００が第２記憶装置１３に構成されてよい。データに対する耐障害性を高めるためである。
　受信部５１は、ネットワークＩ／Ｆ８を制御して、測定装置２０から送信された測定データを含むパケットデータ１０１を受信する。パケットデータ１０１には、複数の測定データが含まれてよい。
　データ処理部５２は、受付時間毎に、受付時間内に受信部５１の受信したパケットデータ１０１から、測定データを抽出する。そして、データ処理部５２は、測定データの測定時刻が、その受付時間に対応する時間区間に属するか否かを判定する。ここで、測定時刻は、図１を参照した説明における「順番」に相当し、時間区間は、図１を参照した説明における「順序区間」に相当する。
　データ処理部５２は、測定時刻が選択された受付時間に対応する時間区間（以下、「対象時間区間」と言う）に属すると判定した場合、測定データを、通常バッファ８１に格納する。ここで、対象時間区間に属する測定時刻を有する測定データを、「通常測定データ」という。そして、データ処理部５２は、受付時間の終了後、対象時間区間の中で、受信できなかった測定データの測定時刻を、未受信時刻として特定する。ここで、未受信時刻は、図１を参照した説明における「未受信順番」に相当する。測定時刻は周期的なので、未受信時刻を一意に特定することができる。
　例えば、受付時間が或る時刻から５分間であって、その受付時間に対応する時間区間が「０時０分０秒～０時５分０秒」であって、測定時刻の周期が１秒であるとする。データ処理部５２は、その受付時間内に測定時刻「０時０分１秒」の測定データを受信した場合、測定時刻「０時０分１秒」は時間区間「０時０分０秒～０時５分０秒」に属するので、その測定データを、通常測定データとして通常バッファ８１に格納する。そして、データ処理部５２は、受付時間の終了後、その受付時間の間に受信できなかった測定時刻を特定する。例えば、その受付時間の間に、測定時刻「０時０分３秒」及び「０時０分４秒」の測定データを受信できなかった場合、データ処理部５２は、その測定時刻「０時０分３秒」及び「０時０分４秒」を、それぞれ未受信時刻として特定する。受付時間とそれに対応する時間区間とは、同じであってもよいし、異なっていてもよい。例えば、受付時間の開始時刻は、それに対応する時間区間の開始時刻よりも、所定時間分遅くてもよい。なぜなら、データが測定されてから、その測定データを含むパケットデータがデータ集積装置１に到達するまでの間には、タイムラグが生ずる場合もあるからである。
　補間処理部５４は、通常バッファ８１に格納されている測定データに基づいて、未受信時刻に対応する測定データを補間してもよい。補間の一例としては、線形補間法などがある。
　データ処理部５２は、通常バッファ８１において、測定時刻（未受信時刻も含む）の順序となるように、複数の測定データ（補間された測定データも含む）を並び替えてもよい。
　データ処理部５２は、受付時間の終了後、インポート処理部５３に対して、通常バッファ８１内の通常測定データ群のインポート処理を指示する。通常測定データ群に属する複数の測定データは、いずれも通常測定データであることもあれば、通常測定データと未受信時刻の測定データ（ＮＵＬＬデータ又は補間データ）との混在であることもある。
　一方、データ処理部５２は、測定時刻が対象時間区間に含まれない（対象時間区間より前である）と判定した場合、測定データを、遅延バッファ８２に格納する。ここで、対象時間区間に含まれない測定時刻を有する測定データを、「遅延測定データ」という。
　例えば、対象時間区間が「０時１０分０秒～０時１５分０秒」であるとする。データ処理部５２は、受付時間内に測定時刻「０時０分３秒」の測定データを受信した場合、その測定データ（遅延測定データ）を遅延バッファ８２に格納する。
　データ処理部５２は、遅延バッファ８２に所定数Ｎ（Ｎは正の整数）以上の遅延測定データが格納されたとき、インポート処理部５３に対して、遅延バッファ８２内の遅延測定データ群のインポートを指示してもよい。
　データ処理部５２は、未受信時刻に対応する補間データ（又はＮＵＬＬ）が遅延測定データで置き換えられた測定データ群（「置換測定データ群という）がワークエリア８３に格納されたとき、インポート処理部５３に対して、ワークエリア８３内の置換測定データ群のインポートを指示する。
　インポート処理部５３は、データ処理部５２からの指示に基づいて、通常バッファ８１内の通常測定データ群を、ＤＢ２００に登録するデータ要素を検出可能なフォーマット、及び、アーカイブ３０に格納可能なフォーマットに変換する。例えば、インポート処理部５３は、通常バッファ８１内の通常測定データ群を、ＤＢ２００の通常テーブル６００に登録するデータ要素を検出可能なファイルの一例であるＣＳＶ（Ｃｏｍｍａ　Ｓｅｐａｒａｔｅｄ　Ｖａｌｕｅ）ファイル１２１に変換する。また、インポート処理部５３は、通常バッファ８１内の通常測定データ群を、アーカイブ３００に格納可能なファイルの一例である圧縮ファイル１２２に変換する。圧縮ファイル１２２の一例として、ＺＩＰファイルなどがある。インポート処理部５３は、ＣＳＶファイル１２１を圧縮して、圧縮ファイル１２２を生成してもよい。そして、インポート処理部５３は、格納処理部５９に対して格納を指示する。
　インポート処理部は、データ処理部５２からの指示に基づいて、遅延バッファ８２内の遅延測定データ群を、ＤＢ２００に登録するデータ要素を検出可能なフォーマットに変換する。具体的には、例えば、通常測定データ群と同様、遅延バッファ８２内の遅延測定データ群がＣＳＶファイル１２１に変換されてもよい。
　インポート処理部５３は、データ処理部５２からの指示に基づいて、ワークエリア８３内の置換測定データ群を、アーカイブ３００に格納可能なフォーマットに変換する。このフォーマットは、上記同様、圧縮ファイル１２２であってもよい。
　格納処理部５９は、インポート処理部５３からの指示に基づいて、通常測定データ群に基づくＣＳＶファイル１２１から得られる測定データを通常テーブル６００に格納し、通常測定データ群を含む圧縮ファイル１２２をアーカイブ３００に格納する。
　格納処理部５９は、インポート処理部５３からの指示に基づいて、遅延測定データ群を含むＣＳＶファイル１２１から得られる遅延データを、遅延テーブル６２０に格納する。
　格納処理部５９は、インポート処理部５３からの指示に基づいて、アーカイブ３００における元の圧縮ファイル３２０を、置換測定データを含む圧縮ファイル１２２で置き換える。
　クエリ処理部５６は、検索クエリに適合する測定データを、ＤＢ２００及びアーカイブ３００から検索する。クエリ処理部５６は、ＤＢ２００から優先的に検索してよい。検索クエリは、ユーザから入力されても良いし、データ集積装置１内で所定の条件に基づいて自動的に生成されてもよい。検索クエリを表記する言語の一例として、ＳＱＬ（Ｓｔｒｕｃｔｕｒｅｄ　Ｑｕｅｒｙ　Ｌａｎｇｕａｇｅ）などがある。
　更新処理部５５は、未受信時刻の測定データを、遅延測定データで置換する。更新処理部５５は、この置換を、ユーザからの指示無しに行っても良いし、ユーザからの指示を受けて行っても良い。更新処理部５５は、クエリ処理部５６を通じて、ＤＢ２００の遅延テーブル６２０から、遅延測定データを取得する。
　そして、更新処理部５５は、クエリ処理部５６を通じて、通常テーブル６００から、その遅延測定データの測定時刻と同一の未受信時刻の測定データを含むインポート単位の測定データ群を取得する。又は、更新処理部５５は、クエリ処理部５６を通じて、アーカイブ３００から、その遅延測定データの測定時刻と同一の未受信時刻の測定データを含む圧縮ファイル３２０を取得する。
　そして、更新処理部５５は、未受信時刻の測定データを遅延測定データで置換した置換測定データ群を生成し、ワークエリア８３に格納する。これにより、上述のとおり、データ処理部５２及びインポート処理部５３によって、アーカイブ３００における置換前の圧縮ファイル３２０が、ワークエリア８３の置換測定データ群から生成された圧縮ファイル１２２で置き換えられる。
　参照処理部５７は、ＤＢ２００及びアーカイブ３００内の測定データを参照する。例えば、参照処理部５７は、ユーザから入出力処理部５８を通じて入力された検索条件に基づき、検索クエリを生成する。そして、参照処理部５７は、クエリ処理部５６を通じて、ＤＢ２００及びアーカイブ３００から、検索クエリに適合する測定データを取得する。参照処理部５７は、その取得した測定データを入出力処理部５８に渡してもよい。
　入出力処理部５８は、入力Ｉ／Ｆ２３を通じて受信した、ユーザからの入力を処理する。入出力処理部５８は、データ集積装置１において生成された情報を、出力Ｉ／Ｆ２２を通じて、ユーザに出力する。例えば、入出力処理部５８は、ＧＵＩを生成してディスプレイに表示する。そして、入出力処理部５８は、ＧＵＩからの入力を処理してもよい。
　図４は、ＤＢ２００における通常テーブル６００の構成例を示す。
　通常テーブル６００は、通常測定データを管理する。具体的には、例えば、通常テーブル６００は、通常測定データ毎に、レコードを有し、各レコードは、フィールド値として、測定時刻６０１と、測定源ＩＤ６０２と、測定値６０３とを有する。さらに、各レコードは、通常測定データに関する情報として、未受信フラグ６０４及び遅延フラグ６０５を有してもよい。通常測定データ等の測定データは、少なくとも測定時刻と測定値を含む。測定源ＩＤ６０２は、測定データの送信元から特定されたＩＤでよく、測定データに含まれていてもいなくてもよい。
　測定時刻６０１は、測定値６０３が測定された時刻である。測定源ＩＤ６０２は、測定値６０３を測定した測定装置２０の識別情報（例えば、測定装置２０の位置又は場所などを識別する情報）である。
　測定値６０３は、測定源ＩＤ６０２の示す測定装置２０において、測定時刻６０１に測定された値である。又は、測定値６０３は、補間処理部５４によって算出された補間値である。なお、測定も補間もされていない測定値６０３には、「ＮＵＬＬ」が格納されてよい。
　未受信フラグ６０４は、測定時刻６０１が未受信時刻であるか否かを示すフラグである。例えば、未受信フラグ６０４が「１」の測定時刻６０１は、未受信時刻を示す。したがって、未受信フラグ６０４が「１」の測定値６０３は、補間処理部５４によって算出された補間値である。
　遅延フラグ６０５は、測定時刻６０１に対応する遅延測定データを取得済みであるか否かを示すフラグである。例えば、遅延フラグ６０５が「１」の場合、測定時刻６０１（つまり、未受信時刻）に対応する遅延測定データを取得済みであることを示す。
　図４において、レコード６１０ａの未受信フラグ６０４は「ＮＵＬＬ」である。したがって、レコード６１０ａにおける測定データは、受付時間内に受信した通常測定データである。
　図４において、レコード６１０ｂの未受信フラグ６０４は「１」である。したがって、レコード６１０ｂにおける測定データは、受付時間内に受信できなかったことを示す。つまり、レコード６１０ｂにおける測定時刻６０１は、未受信時刻である。また、レコード６１０ｂにおける測定値「３００」は、補間値である。
　レコード６１０ｂの遅延フラグ６０５は「１」である。したがって、レコード６１０ｂにおける測定時刻６０１（未受信時刻）に対応する遅延測定データは、取得済みであることを示す。
　図５は、ＤＢ２００における遅延テーブル６２０の構成例を示す。
　遅延テーブル６２０は、遅延測定データを管理する。具体的には、例えば、遅延テーブル６２０は、遅延測定データ毎に、レコードを有する。各レコードは、通常テーブル６００のレコードにおけるフィールド値６０１、６０２及び６０３とそれぞれ同じフィールド値６２１、６２２及び６２３を有する。
　遅延テーブル６２０に遅延測定データが登録されると、通常テーブル６００において、その遅延測定データの測定時刻６２１に適合するレコード６１０ｂの遅延フラグ６０５が「１」に変更される。
　通常測定データと、遅延測定データとを別のテーブルで管理している理由は、例えば次の通りである。
（１）遅延測定データが、必ずしも信頼できるとは限らないからである。例えば、受付時間の終了後、意図的に改竄された測定値を有する遅延測定データが送信される可能性も考えられる。
（２）ユーザが、補間された測定データと遅延測定データとを、比較又は選択できるようにするためである。
　なお、本実施形態では、通常測定データと遅延測定データとを、テーブルを分けることにより区別しているが、他の方法で区別してもよい。例えば、１つのテーブルに、通常測定データと遅延測定データとを区別するためのフィールド値を設けることにより、区別しても良い。
　図６は、本実施形態に係る処理の概要を示すフローチャートである。
　まず、データ処理部５２は、受信処理を行う（Ｓ１００）。すなわち、データ処理部５２は、受信部５１の受信したパケットデータ１０１から抽出した測定データを処理する。この処理の詳細については、図７で説明する。
　次に、インポート処理部５３は、通常バッファ８１、遅延バッファ８２又はワークエリア８３に格納された測定データに対して、インポート処理を行う（Ｓ２００）。すなわち、インポート処理部５３は、測定データを、ＤＢ２００にインポート可能なＣＳＶファイルに変換したり、アーカイブ３００に格納可能な圧縮ファイルに変換したりする。この処理の詳細については、図８で説明する。
　そして、格納処理部５９は、変換されたＣＳＶファイル及び／又は圧縮ファイルを、ＤＢ２００及び／又はアーカイブ３００に格納する（Ｓ３００）。すなわち、格納処理部５９は、そのＣＳＶファイルの内容を、通常テーブル６００又は遅延テーブル６２０に格納したり、圧縮ファイルをアーカイブ３００に格納したりする。この処理の詳細については、図９で説明する。
　データ集積装置１は、Ｓ１００、Ｓ２００、Ｓ３００の処理を繰り返し実行する。以下、Ｓ１００、Ｓ２００、Ｓ３００の詳細について、図を参照しながら説明する。
　図７は、受信処理の一例を示すフローチャートである。この処理は、図６のＳ１００に相当する。
　データ処理部５２は、受信完了通知又は準備完了通知を受信すると、以下の処理を実行する（Ｓ１０１）。受信完了通知は、受信部５１から通知される。準備完了通知は、更新処理部５５から通知される。
　データ処理部５２は、準備完了通知又は受信完了通知の何れを受信したか判定する（Ｓ１０２）。
　「準備完了通知」を受信した場合（Ｓ１０２：準備完了通知）、データ処理部５２は、インポート処理部５３に対して、ワークエリア８３のインポートを指示し（Ｓ１５０）、Ｓ１０１へ戻る。
　「受信完了通知」を受信した場合（Ｓ１０２：受信完了通知）、データ処理部５２は、抽出した測定データのそれぞれについて、以下のＳ１０３～Ｓ１４０の処理を実行する（Ｓ１０３）。
　データ処理部５２は、測定データの測定時刻が、今回の受付時間に対応する時間区間に属する否かを判定する（Ｓ１１０）。すなわち、データ処理部５２は、その測定データが、遅延測定データでないか否かを判定する。この判定により、受信した測定データが、通常測定データと遅延測定データとに分けられる。
　以下、Ｓ１１０の判定において、測定データの測定時刻が、今回の受付時間に対応する時間区間に属する場合（Ｓ１１０：ＹＥＳ）について説明する。以下の説明では、時間区間に属する測定時刻の測定データを、上記同様、通常測定データと呼ぶ。
　データ処理部５２は、通常測定データを、通常バッファ８１に格納する（Ｓ１３０）。次に、データ処理部５２は、今回の受付時間を終了させるか否かを判定する（Ｓ１３１）。例えば、データ処理部５２は、現在時刻が、或る時刻から今回の受付時間（周期Ｔ１）以上経過しているならば、今回の受付時間を終了させると判定してもよい。これにより、インポート単位分の通常測定データが、通常バッファ８１に格納される。
　今回の受付時間を終了させないと判定した場合（Ｓ１３１：ＮＯ）、データ処理部５２は、Ｓ１４０に進む。Ｓ１４０において、データ処理部５２は、未処理の測定データが残っている場合、Ｓ１０３に戻り、未処理の測定データが残っていない場合、Ｓ１０１へ戻る（Ｓ１４０）。
　今回の受付時間を終了させると判定した場合（Ｓ１３１：ＹＥＳ）、データ処理部５２は、今回の受付時間に対応する時間区間に属する未受信時刻が存在するか否かを判定する（Ｓ１３２）。例えば、データ処理部５２は、通常バッファ８１に格納されている測定時刻の周期の連続性をチェックし、未受信時刻が存在するか否かを判定する。
　今回の受付時間に対応する時間区間に属する未受信時刻が存在しない場合（Ｓ１３２：ＮＯ）、データ処理部５２は、Ｓ１３５へ進む。
　今回の受付時間に対応する時間区間に属する未受信時刻が１つ以上存在する場合（Ｓ１３２：ＹＥＳ）、データ処理部５２は、補間処理部５４に対して、その未受信時刻に対応する補間値の算出を要求する（Ｓ１３３）。補間処理部５４は、通常バッファ８１に格納されている他の測定時刻の測定値に基づいて、その未受信時刻に対応する補間値を算出してもよい。データ処理部５２は、その未受信時刻と補間値とを含む測定データを、通常バッファ８１に格納する。これにより、未受信時刻の測定値が補間される。
　そして、データ処理部５２は、その未受信時刻をメモリ１４に記録し（Ｓ１３４）、Ｓ１３５へ進む。
　Ｓ１３５において、データ処理部５２は、インポート処理部５３に対して、通常バッファ８１に格納されている通常測定データのインポートを指示する（Ｓ１３５）。そして、データ処理部５２は、次回の受付時間に更新し（Ｓ１３６）、上記で説明したＳ１４０へ進む。
　以下、Ｓ１１０の判定において、測定データの測定時刻が、今回の受付時間に対応する時間区間に属さない場合（Ｓ１１０：ＮＯ）について説明する。測定時刻が時間区間外の測定データを、以下、上記同様、遅延測定データと呼ぶ。
　データ処理部５２は、遅延測定時刻（遅延測定データの測定時刻）に基づいて、遅延測定データを保存するか否か判定する。例えば、データ処理部５２は、遅延測定時刻（遅延測定データの測定時刻）が、測定データがＤＢ２００に保存されている期間（「ＤＢ保存期間」という）Ｔ２に属するか否かを判定する（Ｓ１１１）。又は、データ処理部５２は、遅延測定時刻が、現在時刻からユーザに設定された期間Ｔ２を遡った時刻までの間に属するか否かを判定してもよい。ここで、期間Ｔ２は、例えば「現在時刻以前の２年間」のように設定されても良いし、「２００４年４月から２００６年４月まで」のように設定されてもよい。
　データ処理部５２は、遅延測定データを保存しないと判定した場合、その遅延データを破棄してよい。例えば、遅延測定時刻がＤＢ保存期間Ｔ２に属する場合（Ｓ１１１：ＮＯ）、データ処理部５２は、その遅延測定データを破棄し（Ｓ１２０）、上記で説明したＳ１４０に進む。すなわち、データ処理部５２は、遅延測定時刻に対応する通常測定データがアーカイブ３００にしか存在しない場合、その遅延測定データを破棄してもよい。これにより、遅延測定時刻が所定の期間Ｔ２よりも前の遅延測定データは破棄される。
　データ処理部５２は、遅延測定データを保存すると判定した場合、遅延測定時刻を保持する。例えば、遅延測定時刻がＤＢ保存期間Ｔ２に属する場合（Ｓ１１１：ＹＥＳ）、データ処理部５２は、その遅延測定時刻をメモリ１４に記憶しておく（Ｓ１１２）。
　そして、データ処理部５２は、遅延測定データを、遅延バッファ８２に格納する（Ｓ１１３）。そして、データ処理部５２は、遅延バッファ８２に格納された遅延測定データの数が所定のＮ（Ｎは正の整数）以上であるか否かを判定する（Ｓ１１４）。これにより、Ｎ個の遅延測定データが、遅延バッファ８２に格納される。
　遅延バッファ８２に格納された遅延測定データの数がＮ（Ｎは正の整数）未満である場合（Ｓ１１４：ＮＯ）、データ処理部５２は、上記で説明したＳ１４０に進む。
　遅延バッファ８２に格納された遅延測定データの数がＮ（Ｎは正の整数）以上である場合（Ｓ１１４：ＹＥＳ）、データ処理部５２は、インポート処理部５３に対して、遅延バッファ８２に格納されている遅延測定データのインポートを指示する（Ｓ１１５）。そして、データ処理部５２は、上記で説明したＳ１４０へ進む。
　図８は、インポート処理の例を示すフローチャートである。この処理は、図６のＳ２００に相当する。
　インポート処理部５３は、データ処理部５２からインポート指示を受信すると（Ｓ２０１）、インポート指示の対象が、通常バッファ８１（通常測定データ）、遅延バッファ８２（遅延測定データ）、又はワークエリア８３（置換測定データ）の何れであるかを判定する（Ｓ２０２）。
　以下、Ｓ２０２の判定において、インポート指示の対象が通常バッファ８１（通常測定データ）であった場合について説明する。インポート処理部５３は、通常バッファ８１に格納されている通常測定データ群から、通常テーブル６００への登録に適合するＣＳＶファイル１２１を生成する（Ｓ２３０）。インポート処理部５３は、通常バッファ８１に格納されている通常測定データ群から、アーカイブ３００への格納に適合する圧縮ファイル１２２を生成する（Ｓ２３１）。そして、インポート処理部５３は、格納処理部５９に対して、ＣＳＶファイル１２１及び圧縮ファイル１２２の格納を指示し（Ｓ２３２）、Ｓ２０１に戻る。
　以下、Ｓ２０２の判定において、インポート指示の対象が遅延バッファ８２（遅延測定データ）であった場合について説明する。インポート処理部５３は、遅延バッファ８２に格納されている遅延測定データ群から、遅延テーブル６２０への登録に適合するＣＳＶファイル１２１を生成する（Ｓ２２０）。そして、インポート処理部５３は、格納処理部５９に対して、ＣＳＶファイル１２１の格納を指示し（Ｓ２２１）、Ｓ２０１に戻る。
　以下、Ｓ２０２の判定において、インポート指示の対象がワークエリア８３（置換測定データ）であった場合について説明する。インポート処理部５３は、ワークエリア８３に格納されている置換測定データ群から、例えば、アーカイブ３００への格納に適合する圧縮ファイル１２２を生成する（Ｓ２１０）。そして、インポート処理部５３は、格納処理部５９に対して、圧縮ファイル１２２の格納を指示し（Ｓ２１１）、Ｓ２０１に戻る。
　図９は、データ格納処理の例を示すフローチャートである。
　格納処理部５９は、インポート処理部５３から格納指示を受信すると（Ｓ３０１）、その格納指示の対象が、通常測定データの格納（Ｓ２３２の指示）、遅延測定データの格納（Ｓ２２１の指示）、又は遅延測定データの置換（Ｓ２１１の指示）の何れであるかを判定する（Ｓ３０２）。
　以下、Ｓ３０２の判定が、通常測定データの格納であった場合について説明する。格納処理部５９は、ＤＢ２００の通常テーブル６００に、Ｓ２３０で生成された、通常測定データを含むＣＳＶファイル１２１の内容を登録する（Ｓ３３０）。格納処理部５９は、アーカイブ３００に、Ｓ２３１で生成された、通常測定データを含む圧縮ファイル１２２を格納する（Ｓ３３１）。そして、格納処理部５９は、通常格納完了通知を発行し（Ｓ３３２）、Ｓ３０１へ戻る。
　以下、Ｓ３０２の判定が、遅延測定データの格納であった場合について説明する。格納処理部５９は、ＤＢ２００の遅延テーブル６２０に、Ｓ２２０で生成された、遅延測定データを含むＣＳＶファイル１２１の内容を登録する（Ｓ３２０）。そして、格納処理部５９は、遅延格納完了通知を発行し（Ｓ３２１）、Ｓ３０１へ戻る。
　以下、Ｓ３０２の判定が、遅延測定データの置換であった場合について説明する。格納処理部５９は、アーカイブ３００から、Ｓ２１０の遅延測定時刻に適合する未受信時刻を含む元の圧縮ファイル１２２を特定する。そして、格納処理部５９は、アーカイブ３００において、その特定した元の圧縮ファイル１２２を、Ｓ２１０で生成された、遅延測定データで置換された圧縮ファイルで置き換え（Ｓ３１０）、Ｓ３０１へ戻る。
　図１０は、データ更新処理の例を示すフローチャートである。
　更新処理部５５は、格納完了通知を受信すると（Ｓ４０１）、その通知の種類が、通常格納完了通知（Ｓ２３１の通知）、又は遅延格納完了通知（Ｓ２２１の通知）の何れであるかを判定する（Ｓ４０２）。
　以下、Ｓ４０２の判定が、通常格納完了通知であった場合について説明する。更新処理部５５は、図７のＳ１１２で記録した未受信時刻を取得する（Ｓ４２０）。更新処理部５５は、ＤＢ２００の通常テーブル６００において、その取得した未受信時刻における未受信フラグ６０４を「１」に変更し（Ｓ４２１）、Ｓ４０１へ戻る。
　以下、Ｓ４０２の判定が、遅延格納完了通知であった場合について説明する。更新処理部５５は、図７のＳ１１２で記録した遅延測定時刻を取得する（Ｓ４１０）。更新処理部５５は、ＤＢ２００の通常テーブル６００において、その取得した遅延測定時刻における遅延フラグ６０５を「１」に変更する（Ｓ４１１）。
　更新処理部５５は、通常テーブル６００から、その遅延フラグ６０５を「１」に変更した測定データを含む圧縮ファイル１２２に対応する複数の通常測定データを取得する（Ｓ４１２）。つまり、更新処理部５５は、通常テーブル６００から、その遅延フラグ６０５を「１」に変更した測定データを含むインポートの単位となる複数の通常測定データを取得する。更新処理部５５は、遅延テーブル６２０から、Ｓ４１０で取得した遅延測定時刻を有する遅延測定データを取得する（Ｓ４１３）。
　更新処理部５５は、Ｓ４１２で取得した複数の通常測定データの内、Ｓ４１０で取得した遅延測定時刻に対応する通常測定データを、Ｓ４１３で取得した遅延測定データで置換する（Ｓ４１４）。更新処理部５５は、この置換後の複数の測定データ（置換測定データ）を、ワークエリア８３に格納する（Ｓ４１５）。
　更新処理部５５は、準備完了通知を発行し（Ｓ４１６）、Ｓ４０１へ戻る。この準備完了通知は、図７のＳ１０２の判定で検知される。
　以上の処理は、次の作用効果を奏する。（１）通常テーブル６００に、何れの測定時刻の測定データが未受信であるか（つまり、未受信時刻）が記録される。（２）通常テーブル６００に、何れの未受信時刻に適合する遅延測定データが受信済みであるかが記録される。
　図１１は、データ参照処理の例を示すフローチャートである。
　参照処理部５７は、クエリ処理部５６に対して、検索クエリを発行する（Ｓ５０１）。この検索クエリは、入出力処理部５８を通じてユーザから入力されたものであってもよい。
　参照処理部５７は、検索クエリの検索対象の測定データがＤＢ２００に存在するか否か判定する（Ｓ５０２）。例えば、参照処理部５７は、検索クエリの指定する測定時刻が、ＤＢ２００の保存期間Ｔ２内か否かを判定する。
　検索対象の測定データがＤＢ２００に存在しない場合（Ｓ５０２：ＮＯ）、参照処理部５７は、アーカイブ３００から、検索対象の測定データを含む圧縮ファイル３２０を取得する（Ｓ５１４）。そして、参照処理部５７は、圧縮ファイル３２０から測定データを抽出し、入出力処理部５８を呼び出し（Ｓ５２０）、処理を終了する。
　検索対象の測定データがＤＢ２００に存在する場合（Ｓ５０２：ＹＥＳ）、参照処理部５７は、遅延テーブル６２０を参照する設定であるか否かを判定する（Ｓ５０３）。この設定は、ユーザによって適宜行われても良いし、データ集積装置１で既定されていてもよい。
　遅延テーブル６２０を参照しない設定である場合（Ｓ５０３：ＮＯ）、参照処理部５７は、通常テーブル６００から、検索対象の測定データを取得する（Ｓ５１２）。そして、参照処理部５７は、入出力処理部５８を呼び出し（Ｓ５２０）、処理を終了する。
　遅延テーブル６２０を参照する設定である場合（Ｓ５０３：ＹＥＳ）、参照処理部５７は、通常テーブル６００と遅延テーブル６２０の両方から、検索対象の測定データを取得し、これらを結合する。すなわち、参照処理部５７は、通常テーブル６００から取得した測定データの内、遅延フラグ６０５が「１」の測定データを、遅延テーブル６２０から取得した測定データで置換する。このとき、参照処理部５７は、未受信フラグ６０４が「１」の測定データを、通常テーブル６００から取得しなくてもよい。そして、参照処理部５７は、入出力処理部５８を呼び出し（Ｓ５２０）、処理を終了する。
　図１２は、測定データＧＵＩ７０１の例を示す模式図である。測定データＧＵＩ７０１は、入出力処理部５８によって生成され表示されてよい。
　測定データＧＵＩ７０１は、所定の期間内における測定値の変化を表示する。例えば、測定データＧＵＩ７０１は、表示する期間を設定するための期間設定領域７０２と、測定値の変化をグラフで表示する測定値表示領域７０３とを有する。
　また、測定データＧＵＩ７０１は、遅延測定データを利用するか否かを選択するための遅延利用選択領域７０４を有してもよい。すなわち、遅延利用選択領域７０４の設定が「ＯＦＦ」の場合、通常テーブル６００の測定値６０３のみが使用され、遅延テーブル６２０の測定値６２３は使用されない。遅延利用選択領域７０４の設定が「ＯＮ」の場合、通常テーブル６００の遅延フラグ６０５が「１」の測定値６０３については、遅延テーブル６２０の測定値６２３を使用する。
　測定値表示領域７０３には、遅延利用選択領域７０４の設定が「ＯＦＦ」の場合、遅延測定データの測定値を適用せず、補間値を適用したグラフが表示され、遅延利用選択領域７０４の設定が「ＯＮ」の場合、遅延測定データの測定値を適用したグラフが表示されてもよい。このとき、遅延測定データの測定値が適用された箇所が、それ以外の箇所と識別可能な態様（例えば、異なる色）で表示されてもよい。
　測定データＧＵＩ７０１は、測定データの集積に関するパラメータを設定するための領域を有してもよい。例えば、測定データＧＵＩ７０１は、受付時間を設定するための設定領域７０５を有してもよい。
　また、測定データＧＵＩ７０１は、遅延バッファ８２に幾つの遅延測定データが格納されたときにインポート指示を発行するかを定める閾値Ｎ（図７のＳ１１４の判定の閾値Ｎに対応）を設定するための設定領域７０６を有してもよい。例えば、この設定領域７０６に「２」が設定された場合、遅延バッファ８２に遅延測定データが１つしか格納されていないときは、Ｓ１１４の判定が「ＮＯ」となる。
　また、測定データＧＵＩ７０１は、遅延測定データを遅延テーブル６２０に登録するか、それとも破棄するかを定める期間Ｔ２（図７のＳ１１１に対応）を設定するための設定領域７０７を有してもよい。例えば、設定領域７０７に、期間Ｔ２はＤＢ保存期間と連動する旨が設定された場合、測定時刻がＤＢ保存期間よりも過去の遅延測定データについては、Ｓ１１１の判定が「ＮＯ」となる。例えば、設定領域７０７に、期間Ｔ２は「３か月」と設定された場合、測定時刻が現在時刻よりも３か月以上前の遅延測定データについては、Ｓ１１１の判定が「ＮＯ」となる。
　上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。
　上述では順序関係を有するデータの一例として、測定時刻に基づく時系列データについて説明したが、順序関係を有するデータは、他の系列データであってもよい。例えば、タイムスタンプ又はカウンタなどに基づく系列データであってもよい。
　第１記憶装置１２及び第２記憶装置１３の少なくとも一方が、ＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ　Ａｒｒａｙｓ　ｏｆ　Ｉｎｅｘｐｅｎｓｉｖｅ　Ｄｉｓｋｓ）で構成されてもよい。データ処理部５２は、２以上の通常バッファ８１を有し、受付時間毎に、測定データの格納先の通常バッファを切り替えてもよい。第１格納部と第２格納部の何れもがＤＢで構成されてもよい。
　また、複数の受付時間と複数の順序区間（時間区間）の対応関係は、例えば、テーブルにより管理されてもよいし、計算により特定されてもよい。また、受付時間と順序区間（時間区間）は１対１で対応していてよく、そのため、順序区間に属する順番（時間区間に属する時刻）は、受付時間に属する順番（時刻）と解釈することができる。
　１：データ集積装置　５２：データ処理部　５３：インポート処理部　５４：補間処理部　５５：更新処理部　５６：クエリ処理部　５７：参照処理部　５８：入出力処理部　５９：格納処理部　２００：データベース　３００：アーカイブ
 

 

Claims (14)

  1. 　順序関係を有するデータを複数の受付時間の各々において受信するインターフェイスと、
    　前記インターフェイスが受信したデータのうちの、選択された受付時間に属する順番のデータである通常データと、前記選択された受付時間に属する複数の順番のうちの、前記選択された受付時間において受信したデータのいずれのデータの順番にも該当しない順番である未受信順番と、を第１格納部に格納するコントローラと
    を有するデータ集積装置。
  2. 　前記コントローラは、
    　　前記選択された受付時間よりも後に受信したデータである遅延データの順番が、前記第１格納部に格納されている何れかの未受信順番と適合する場合、前記遅延データを前記第１格納部に格納する
    請求項１に記載のデータ集積装置。
  3. 　前記コントローラは、前記第１格納部に格納されているデータを削除する場合、順番の小さいデータから優先的に削除するようになっており、
    　前記コントローラは、前記遅延データの順番が、前記第１格納部に格納されている最小の順番よりも小さい場合、前記遅延データを前記第１格納部に格納しない
    請求項２に記載のデータ集積装置。
  4. 　前記コントローラは、
    　　前記第１格納部に格納する前記通常データを、前記第１格納部よりもデータの入出力性能の低い第２格納部にも格納し、
    　　前記遅延データを前記第１格納部に格納する場合、前記第１格納部に格納されている未受信順番の内の前記遅延データに適合する未受信順番に関して、その未受信順番に適合する遅延データを受信済みであるか否かを示す情報を受信済みに更新すると共に、前記遅延データを前記第２格納部にも格納する
    請求項３に記載のデータ集積装置。
  5. 　前記第１格納部において、前記通常データと前記遅延データとが区別されている
    請求項４に記載のデータ集積装置。
  6. 　前記コントローラは、
    　　所定の補間処理に基づいて、前記未受信順番に対応する補間データを生成し、前記補間データを、前記通常データとして前記第１格納部及び前記第２格納部に格納する
    請求項５に記載のデータ集積装置。
  7. 　前記コントローラは、
    　　前記遅延データを前記第２格納部に格納する場合、前記遅延データに適合する未受信順番の補間データを前記第２格納部から特定し、その特定した補間データを前記遅延データで置き換える
    請求項６に記載のデータ集積装置。
  8. 　前記第１格納部は、データベース又は前記データベースを保持する第１の記憶装置であり、
    　前記第２格納部は、ファイルシステム又は前記ファイルシステムを提供する第２記憶装置である
    請求項７に記載のデータ集積装置。
  9. 　前記コントローラは、
    　　前記遅延データを前記第２格納部に格納する場合、前記第２格納部から前記遅延データに適合する未受信順番のデータを含む元ファイルを取得し、その取得した前記元ファイル内の前記未受信順番の補間データを前記遅延データで置換した置換ファイルを生成し、前記第２格納部における前記元ファイルをその生成した前記置換ファイルで置き換える
    請求項８に記載のデータ集積装置。
  10. 　前記順序関係を有するデータとは、データが測定された時刻に基づく時系列データであり、前記順番とは、データが測定された時刻である
    請求項１に記載のデータ集積装置。
  11. 　前記コントローラは、
    　　前記未受信順番に対応する受付時間から所定時間経過後に、前記未受信順番に対応する遅延データを受信した場合、前記遅延データを前記第１格納部に格納しない
    請求項１に記載のデータ集積装置。
  12. 　前記コントローラは、
    　　前記選択された受付時間よりも後に受信したデータである前記遅延データを、前記第１格納部に格納すると共に、前記第１格納部よりもデータの入出力性能の低い第２格納部にも格納する
    請求項１に記載のデータ集積装置。
  13. 　前記第１格納部において、前記通常データと前記遅延データとは、区別されている
    請求項１２に記載のデータ集積装置。
  14. 　インターフェイスが、順序関係を有するデータを複数の受付時間の各々において受信すると、
    　コントローラが、前記インターフェイスが受信したデータのうちの、選択された受付時間に属する順番のデータである通常データと、前記選択された受付時間に属する複数の順番のうちの、前記選択された受付時間において受信したデータのいずれのデータの順番にも該当しない順番である未受信順番と、を第１格納部に格納する
    データ集積方法。

     
PCT/JP2014/075391 2014-09-25 2014-09-25 データ集積装置、及び、データ集積方法 WO2016046929A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/127,829 US20170098010A1 (en) 2014-09-25 2014-09-25 Data integration apparatus and data integration method
PCT/JP2014/075391 WO2016046929A1 (ja) 2014-09-25 2014-09-25 データ集積装置、及び、データ集積方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/075391 WO2016046929A1 (ja) 2014-09-25 2014-09-25 データ集積装置、及び、データ集積方法

Publications (1)

Publication Number Publication Date
WO2016046929A1 true WO2016046929A1 (ja) 2016-03-31

Family

ID=55580490

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/075391 WO2016046929A1 (ja) 2014-09-25 2014-09-25 データ集積装置、及び、データ集積方法

Country Status (2)

Country Link
US (1) US20170098010A1 (ja)
WO (1) WO2016046929A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107612765A (zh) * 2016-07-12 2018-01-19 华为技术有限公司 数据处理的方法及装置
EP3318991A1 (en) * 2016-11-02 2018-05-09 Sap Se Monitoring processes running on a platform as a service architecture
US10268566B2 (en) 2016-11-04 2019-04-23 Sap Se Debugging in a private cloud environment

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10877959B2 (en) * 2018-01-17 2020-12-29 Sap Se Integrated database table access

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005195307A (ja) * 2004-01-09 2005-07-21 Toshiba Kyaria Kk データ収集方法および中継装置
JP2007080190A (ja) * 2005-09-16 2007-03-29 Nec Corp センサネットワークシステム、センサノード、センサ情報収集装置、事象観測方法、およびプログラム
JP2008071157A (ja) * 2006-09-14 2008-03-27 Hitachi Ltd 最新データ及び履歴データを管理するセンサネットワークシステム
JP2009206813A (ja) * 2008-02-27 2009-09-10 Fujitsu Telecom Networks Ltd 通信ネットワークシステム及びその伝送装置とネットワーク監視装置、通信ネットワークシステムのログデータ通信処理方法及び伝送装置のログデータ送信処理方法とネットワーク監視装置のログデータ受信処理方法
JP2012199651A (ja) * 2011-03-18 2012-10-18 Panasonic Corp 監視システム、監視装置及び監視装置のプログラム、端末装置及び端末装置のプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7599870B2 (en) * 2002-04-12 2009-10-06 Glo Software Llc System, method and framework for generating scenarios
CA2501003C (en) * 2004-04-23 2009-05-19 F. Hoffmann-La Roche Ag Sample analysis to provide characterization data
JPWO2010095458A1 (ja) * 2009-02-20 2012-08-23 日本電気株式会社 解析前処理システム、解析前処理方法および解析前処理プログラム
US8255522B2 (en) * 2009-03-06 2012-08-28 Hewlett-Packard Development Company, L.P. Event detection from attributes read by entities
US9146927B2 (en) * 2010-06-18 2015-09-29 Mitsubishi Electric Corporation Data processing apparatus, data processing method, and program
US8688252B2 (en) * 2010-09-28 2014-04-01 Yamaha Corporation Remote control system and communication system
JP5853819B2 (ja) * 2012-03-29 2016-02-09 富士通株式会社 制御プログラム、制御方法、記憶制御装置および情報処理システム
AU2013274606B2 (en) * 2012-06-11 2015-09-17 Landmark Graphics Corporation Methods and related systems of building models and predicting operational outcomes of a drilling operation
US9519060B2 (en) * 2014-05-27 2016-12-13 Xerox Corporation Methods and systems for vehicle classification from laser scans using global alignment
US20170046353A1 (en) * 2014-07-29 2017-02-16 Hitachi, Ltd. Database management system and database management method
US10061677B2 (en) * 2016-11-16 2018-08-28 Anodot Ltd. Fast automated detection of seasonal patterns in time series data without prior knowledge of seasonal periodicity

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005195307A (ja) * 2004-01-09 2005-07-21 Toshiba Kyaria Kk データ収集方法および中継装置
JP2007080190A (ja) * 2005-09-16 2007-03-29 Nec Corp センサネットワークシステム、センサノード、センサ情報収集装置、事象観測方法、およびプログラム
JP2008071157A (ja) * 2006-09-14 2008-03-27 Hitachi Ltd 最新データ及び履歴データを管理するセンサネットワークシステム
JP2009206813A (ja) * 2008-02-27 2009-09-10 Fujitsu Telecom Networks Ltd 通信ネットワークシステム及びその伝送装置とネットワーク監視装置、通信ネットワークシステムのログデータ通信処理方法及び伝送装置のログデータ送信処理方法とネットワーク監視装置のログデータ受信処理方法
JP2012199651A (ja) * 2011-03-18 2012-10-18 Panasonic Corp 監視システム、監視装置及び監視装置のプログラム、端末装置及び端末装置のプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TAKAHIRO YAMAZAKI: "An Efficient Indexing for Slightly Disordered Time-series Sensor Data", IEICE TECHNICAL REPORT, vol. 109, no. 449, 25 February 2010 (2010-02-25), pages 241 - 246 *
YOSHISATO TAKEDA: "Kankyo Joho Database Muke Real Time Sensor Data Load Hoshiki", INFORMATION PROCESSING SOCIETY OF JAPAN DAI 73 KAI (HEISEI 23 NEN) ZENKOKU TAIKAI KOEN RONBUNSHU (1) ARCHITECTURE SOFTWARE KAGAKU KOGAKU DATABASE TO MEDIA, 2 March 2011 (2011-03-02), pages 1-555 - 1-556 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107612765A (zh) * 2016-07-12 2018-01-19 华为技术有限公司 数据处理的方法及装置
EP3474494A4 (en) * 2016-07-12 2019-04-24 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR DATA PROCESSING
CN107612765B (zh) * 2016-07-12 2020-12-25 华为技术有限公司 数据处理的方法及装置
US11005737B2 (en) 2016-07-12 2021-05-11 Huawei Technologies Co., Ltd. Data processing method and apparatus
EP3318991A1 (en) * 2016-11-02 2018-05-09 Sap Se Monitoring processes running on a platform as a service architecture
US10180891B2 (en) 2016-11-02 2019-01-15 Sap Se Monitoring processes running on a platform as a service architecture
US10268566B2 (en) 2016-11-04 2019-04-23 Sap Se Debugging in a private cloud environment

Also Published As

Publication number Publication date
US20170098010A1 (en) 2017-04-06

Similar Documents

Publication Publication Date Title
US10353918B2 (en) High availability and disaster recovery in large-scale data warehouse
US9021077B2 (en) Management computer and method for root cause analysis
CN114341834A (zh) 标点控制的时间参考数据查找
WO2016046929A1 (ja) データ集積装置、及び、データ集積方法
US9367261B2 (en) Computer system, data management method and data management program
US9330049B2 (en) Method and apparatuses for monitoring system bus
WO2015145536A1 (ja) データベース管理システム及びデータベース間の同期制御方法
JP2016513300A (ja) 連続データストリームに対する継続時間可変ウィンドウ
EP3295294A1 (en) Stream computing system and method
US9921874B2 (en) Storage medium, information processing device, and information processing method
WO2017000693A1 (zh) 一种集群设备性能同步统计方法及系统
JP6031597B2 (ja) 特定装置、特定方法、および特定プログラム
JP5331585B2 (ja) フォールトトレラントコンピュータシステムおよびフォールトトレラントコンピュータシステムにおける方法
JP2007334716A (ja) 運用管理システム、監視装置、被監視装置、運用管理方法及びプログラム
JP6114473B2 (ja) 時間調整を使用したストリームデータ処理方法
JP2020057416A (ja) 分散データベースにおけるデータブロックを処理する方法およびデバイス
WO2024087914A1 (zh) 数据同步方法及计算设备
US8751566B2 (en) Data processing system for reverse reproduction in data stream processing
JP6252309B2 (ja) 監視漏れ特定処理プログラム，監視漏れ特定処理方法及び監視漏れ特定処理装置
WO2014199568A1 (ja) 永続記憶装置へのデータ書込制御方法
JP2016224856A (ja) データベース装置、検索装置、部分グラフ構築方法、検索方法
WO2016090938A1 (zh) 一种数据通信方法、装置及计算机存储介质
US20160077945A1 (en) Storage system statistical data storage and analysis
CN113157716A (zh) 一种数据处理方法、装置、设备及介质
JPWO2015194651A1 (ja) 障害通知装置、障害通知方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14902552

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15127829

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14902552

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP