WO2016111002A1 - データ管理装置及びデータ管理方法 - Google Patents

データ管理装置及びデータ管理方法 Download PDF

Info

Publication number
WO2016111002A1
WO2016111002A1 PCT/JP2015/050475 JP2015050475W WO2016111002A1 WO 2016111002 A1 WO2016111002 A1 WO 2016111002A1 JP 2015050475 W JP2015050475 W JP 2015050475W WO 2016111002 A1 WO2016111002 A1 WO 2016111002A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
data
feature amount
feature
search
Prior art date
Application number
PCT/JP2015/050475
Other languages
English (en)
French (fr)
Inventor
純 入江
松本　真人
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2015/050475 priority Critical patent/WO2016111002A1/ja
Priority to US15/329,067 priority patent/US20170212935A1/en
Publication of WO2016111002A1 publication Critical patent/WO2016111002A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24561—Intermediate data storage techniques for performance improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477—Temporal data queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor

Definitions

  • the present invention relates to a data management device and a data management method, and is preferably applied to a data management device and a data management method for managing time-series data.
  • time-series data generated every moment is accumulated and used for various operations.
  • the accumulation amount of such time-series data has become enormous, and the enormous accumulation capacity and the length of search processing have become problems. Therefore, in order to save a large amount of time-series data storage capacity, data is compressed and stored every predetermined time width.
  • Patent Document 1 describes changing the size of a data block, which is a compression unit, according to a user's search range and search period, and calculating a feature value for the data block. .
  • the present invention has been made in consideration of the above points, and provides a highly accurate data search function while saving data storage capacity by calculating the feature amount of time-series data in a unit different from the compression unit. It is an object of the present invention to propose a data management apparatus and a data management method that can be used.
  • a data receiving unit that acquires data in a first unit from input time-series data
  • a data compression unit that compresses data acquired in the first unit
  • a data management device comprising: a feature amount calculation unit that calculates a feature amount indicating a feature of data acquired in a second unit different from the first unit.
  • the data receiving unit obtains data in the first unit from the input time-series data
  • the data compression unit obtains the first unit.
  • the present invention it is possible to provide a highly accurate data search function while saving the data storage capacity by calculating the feature amount of the time series data in a unit different from the compression unit.
  • one feature amount is associated with a data block whose compression unit is an hour unit.
  • the user wants to grasp the content of data for a certain 15 minutes from the data block compressed in units of one hour.
  • a data block that matches a predetermined search condition is specified based on information on a plurality of feature amounts associated with the plurality of data blocks.
  • the compressed data block is decompressed, and the content of the data is grasped by, for example, calculating the characteristic amount of the data content for a certain 15 minutes with respect to the decompressed data block.
  • the data block specified based on the feature amount information is once decompressed. Therefore, it is necessary to calculate the feature amount again, which causes a long search time.
  • the time unit for compression is shortened, there is a problem that the compression effect is reduced and the data storage capacity cannot be saved.
  • time series data is acquired in a large unit such as every hour unit or every day (STEP 01), as in the prior art.
  • a feature amount is calculated for a unit smaller than the compression unit, for example, time-series data every minute (STEP 02).
  • the time series data is compressed in large units (STEP 03), and the compressed time series data is stored in the storage device (STEP 04).
  • the feature amount calculated in STEP02 is stored in the storage device in association with the time series data (STEP05).
  • the present embodiment aims to realize efficient and highly accurate search while saving the data storage capacity by calculating the feature amount of the time series data in a unit smaller than the compression unit. .
  • time series data information, search history information, feature amount information, and the like are accumulated in the storage device as shown in FIG.
  • Various information stored in the storage device will be described in detail later.
  • the feature quantity and the feature quantity index are reorganized based on the feature quantity and the feature quantity index reference frequency included in the search history information.
  • the data management of the time series data in the present embodiment is a first stage (STEP01 to STPE5) for compressing and accumulating the time series data, searching for the time series data and the feature quantity itself.
  • the second stage of acquiring time series data (STEP06 to STEP07 above), recalculation and reorganization of feature quantity and feature quantity index from time series data search history information and feature quantity reference frequency It consists of a third stage to be performed. This will be described in detail below.
  • the data management device 100 includes information processing resources such as a CPU and a memory.
  • the CPU functions as an arithmetic processing device, and controls the operation of the data management device 100 in accordance with programs, arithmetic parameters, and the like stored in the memory.
  • the data management apparatus 100 includes a communication interface composed of a communication device for connecting to a network.
  • the communication device may be a wireless LAN (Local Area Network) compatible communication device, a wireless USB compatible communication device, or a wire communication device that performs wired communication.
  • This communication apparatus transmits / receives various data to / from an information processing terminal owned by a user via a network.
  • the data management device 100 includes an information input device such as a keyboard, a switch, a pointing device, and a microphone, and an information output device such as a monitor display and a speaker.
  • an information input device such as a keyboard, a switch, a pointing device, and a microphone
  • an information output device such as a monitor display and a speaker.
  • the data management device 100 includes a storage device 140 for storing data.
  • the storage device 140 includes a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 140 is composed of, for example, an HDD (Hard Disk Drive), drives a hard disk, and stores programs executed by the CPU and various data.
  • the storage device 140 may be an external storage device that is separate from the hardware configuration described above.
  • the data management apparatus 100 includes a data storage unit 110, a data search unit 120, and a data reorganization unit 130.
  • the data storage unit 110 controls the above-described first stage process, that is, a process for compressing and storing time-series data, and includes a data receiving unit 111, a processing unit 112, and a writing unit 115. .
  • the data receiving unit 111 receives time-series data 510 from an external user terminal or the like via a network and provides it to the processing unit 112.
  • An example of the time series data 510 is shown in FIG.
  • the time series data 510 includes a data name 5101, a time stamp 5102, a speed 5103, a latitude 5104, and a longitude 5105.
  • the data name 5101 is information indicating the measurement target of the time series data, such as “Taxi 1”, “Taxi 2”, and the like.
  • the time stamp 5102 is information indicating the time when the data is stored, and is date information such as “2014-09-25 10:00:00”.
  • the speed 5103 is the speed of the measurement target “taxi 1” at the time, for example, “32” indicating the speed.
  • Latitude 5104 and longitude 5105 are the latitude and longitude of the measurement target “taxi 1” at the time, for example, “35.2612” indicating latitude, “139.3801” indicating longitude, and the like.
  • the processing unit 112 acquires data in a predetermined compression unit from the time series data provided from the data receiving unit 111, the feature amount calculation unit 113 calculates the feature amount of the data, and the data compression unit 114 Compress data.
  • the feature amount calculation unit 113 calculates a feature amount of data in a unit smaller than the acquired compression unit and provides it to the writing unit 115.
  • the feature quantity calculation unit 113 refers to the feature quantity calculation information 146, identifies the feature quantity calculation unit and calculation method based on the data name and attribute name of the time series data, and sets the time series. The feature amount of data is calculated.
  • the data compression unit 114 compresses the data in a predetermined compression unit and provides the compressed data to the writing unit 115.
  • FIG. 11 shows an example of the feature amount calculation information 146.
  • the feature quantity calculation information 146 is information for managing a feature quantity calculation unit, and as shown in FIG. 11, a data name 1460, an attribute name 1461, a feature name 1462, a feature quantity calculation unit 1463, and a feature quantity calculation method 1464. Consists of
  • the data name 1460 stores information indicating the measurement target of the time series data, for example, “Taxi 1”, “Taxi 2”, and the like.
  • the attribute name 1461 stores information indicating attributes of the time series data, such as “speed”, “latitude”, “longitude”, and the like.
  • the feature name 1462 stores the name of the feature value, for example, “MAX” indicating the maximum value of data, “MIN” indicating the minimum value, and the like.
  • the feature amount calculation unit 1463 stores information on the feature amount calculation unit.
  • the feature amount calculation unit is set in advance by the user, but as will be described later, the feature amount calculation unit is changed according to search history information and the like.
  • the feature amount calculation method 1464 stores a calculation formula for calculating a feature amount, such as a calculation formula “Max ()” for calculating a maximum value, a calculation formula “Min ()” for calculating a minimum value, and the like. .
  • the writing unit 115 includes a feature amount writing unit 116 that stores the feature amount provided from the processing unit 112 in the storage device 140, and a data writing unit that stores the compressed data provided from the processing unit 112 in the storage device 140. 117.
  • the data writing unit 117 stores the compressed data compressed by the data compressing unit 114 in the storage device 140 as time-series data information 141 in association with attribute information specifying data.
  • time-series data information 141 An example of the time-series data information 141 is shown in FIG.
  • the time-series data information 141 includes No 1410, data name 1411, attribute name 1412, time stamp 1413, and compressed data 1414.
  • No. 1410 stores a number for identifying time-series data.
  • the data name 1411 stores information indicating the measurement target of the time series data, for example, “Taxi 1”, “Taxi 2”, and the like.
  • the attribute name 1412 stores information indicating attributes of the time series data, such as “speed”, “latitude”, “longitude”, and the like.
  • the time stamp 1413 stores information indicating the time at which the data is stored, and is date / time information such as “2014-09-250: 0010: 00: 00”.
  • compressed data 1414 compressed data compressed in a predetermined compression unit is stored.
  • the feature amount writing unit 116 stores the feature amount calculated by the feature amount calculating unit 113 in the storage device 140 as feature amount information 142 in association with attribute information for specifying data.
  • An example of the feature amount information 142 is shown in FIG.
  • the feature amount writing unit 116 creates a feature amount index from the feature amount information 142 and stores it in the storage device 140 as the feature amount index information 144.
  • An example of the feature amount index information 144 is shown in FIG.
  • the feature amount information 142 includes N Budapest 1420, data name 1421, attribute name 1422, feature name 1423, time stamp 1424, and feature amount 1425.
  • NO1420 a number for identifying the feature amount is stored.
  • the data name 1421 stores information indicating the measurement target of the time series data, such as “Taxi 1” and “Taxi 2”.
  • the attribute name 1422 stores information indicating the attributes of the time series data, such as “speed”, “latitude”, “longitude”, and the like.
  • the name of the feature amount is stored, for example, “MAX” indicating the maximum value of data, “MIN” indicating the minimum value, and the like.
  • the time stamp 1424 stores information indicating the time when the data is stored, and is date information such as “2014-09-25-09-10: 00: 00”.
  • the feature amount 1425 stores the feature amount calculated by the feature amount calculation method in the feature amount calculation unit of the feature amount calculation information 146 described above.
  • the feature index information 144 includes No. 1440, a data name 1441, an attribute name 1442, a feature name 1443, and an index reference 1444.
  • No. 1440 stores a number for identifying a feature index.
  • the data name 1441 stores information indicating the measurement target of the time series data, for example, “Taxi 1”, “Taxi 2”, and the like.
  • the attribute name 1442 stores information indicating attributes of time-series data, such as “speed”, “latitude”, “longitude”, and the like.
  • the feature name 1443 stores the name of the feature quantity, and for example, “MAX” indicating the maximum value of data, “MIN” indicating the minimum value, and the like.
  • the index reference 1444 stores information on index data to be referred to.
  • FIG. 9 illustrates an example of the index data 150 specified by the index reference 1444.
  • the index data 150 is composed of a plurality of hierarchical index nodes.
  • the index node 1500 includes, for example, a node ID 1501, a time range 1502, a feature amount range 1503, a parent node 1504, a child node 1505, an index reference count 1506, an index update time 1507, and an index reference time 1508.
  • the node ID 1501 is a number for identifying the index node.
  • the time range 1502 is information indicating the time range of the feature amount.
  • the feature amount range 1503 is information indicating the feature amount range.
  • the parent node 1504 is information indicating the parent node of the node.
  • the child node 1505 is information indicating a child node of the node.
  • the index reference count 1506 is information indicating the reference count of the index.
  • the index update time 1507 is information indicating the update time of the index.
  • the index reference time 1508 is information indicating the reference time of the index.
  • the data search unit 120 controls the above-described second stage process, that is, the process of searching the time series data and the feature quantity itself or acquiring the time series data, and the search receiving unit 121 and the search evaluation unit 122. , A search unit 123 and a reading unit 126.
  • the search reception unit 121 receives a search query 520 from an external user terminal or the like via a network and provides it to the search evaluation unit 122.
  • An example of the search query 520 is shown in FIG.
  • the search query 520 is inquiry information for searching time series data, and includes a search target (select_items), a search time width (where_timerange), a search condition (where_condition), and the like.
  • a search target select_items
  • search time width where_timerange
  • search condition where_condition
  • the search target is the speed of taxi 1
  • the search time range is 10:15 on September 25, 2014 to 10:45 on September 25, 2014
  • the maximum speed of taxi 1 is 40 km or more. Means that a search is required.
  • the search evaluation unit 122 evaluates the search query 520 provided from the search reception unit 121. Specifically, the search target data name, attribute name, search target period, and search condition are specified from the search query 520 described above, and the specified item is provided to the search unit 123. Further, the search evaluation unit 122 stores the evaluation result of the search query 520 in the storage device 140 as the search history information 145. An example of the search history information 145 is shown in FIG.
  • the search history information 145 includes a search ID 1450, a search time 1451, a data name 1452, an attribute name 1453, a feature name 1454, a search unit 1455, and a search condition 1456.
  • the search ID 1450 stores a number for identifying the search history.
  • the search time 1451 stores the search time.
  • the data name 1452 stores the data name to be searched.
  • the attribute name 1453 stores an attribute name to be searched.
  • the feature name 1454 stores the name of the feature amount to be searched. For example, “MAX” indicating that the feature amount is the maximum value, “MIN” indicating the minimum value, and the like.
  • information of the search unit is stored, for example, the time width of the search target is stored.
  • the search condition 1456 stores information indicating the search condition. For example, “> 40” indicating that the feature amount “MAX” (maximum value) is greater than 40, or “MIN” (minimum) For example, “ ⁇ 36” indicating that the search is performed when the value is smaller than 36.
  • the search unit 123 includes a feature amount search unit 124 that searches for feature amounts and a data search unit 125 that searches time-series data.
  • the feature quantity search unit 124 searches for the corresponding feature quantity from the feature quantity information 142 based on the search target, the search target period, and the search condition specified by the search evaluation unit 122.
  • the feature quantity search unit 124 reflects the search result of the feature quantity in the feature quantity reference information 143 and the feature quantity index information 144.
  • the feature quantity reference information 143 includes a network 1430, a data name 1431, an attribute name 1432, a feature quantity reference count 1433, a feature quantity update time 1434, and a feature quantity reference time 1435.
  • N a number for identifying a feature amount is stored, and the number is associated with the feature amount of the feature amount information 142 in FIG. 6 described above.
  • the data name 1431 stores information indicating the measurement target of the time series data.
  • the attribute name 1432 stores information indicating the attribute of the time series data.
  • the feature quantity reference count 1433 stores the reference count of the feature quantity.
  • the feature amount update time 1434 stores the update time of the feature amount.
  • the feature quantity reference time 1435 stores the reference time of the feature quantity.
  • the feature quantity reference information 143 is stored as a table different from the feature quantity information 142 described above, but the feature quantity reference count 1433, the feature quantity update time 1434, and the feature quantity reference time 1435 of the feature quantity reference information 143 are stored. May be added to the feature amount information 142 to form one table.
  • the feature quantity search unit 124 updates the index reference count 1506, the index update time 1507, and the index reference time 1508 of the index node 1500 shown in FIG.
  • the data search unit 125 searches the time series data corresponding to the feature quantity searched by the feature quantity search unit 124 from the time series data information 141. Details of the feature amount search processing and time-series data search processing will be described later.
  • the reading unit 126 includes a feature amount reading unit 127 that reads feature amounts, and a data reading unit 128 that reads time-series data.
  • the feature amount reading unit 127 reads the feature amount data specified by the feature amount search unit 124 from the feature amount information 142 stored in the storage device 140.
  • the data reading unit 128 reads the time series data specified by the data search unit 125 from the time series data information 141 stored in the storage device 140.
  • the data reorganization unit 130 performs the above-described third stage process, that is, a process of performing recalculation or reorganization of feature quantities or feature quantity indexes from time-series data search history information or feature quantity reference frequencies.
  • the feature amount reorganization unit 131 and the feature amount index reorganization unit 132 are configured.
  • the feature quantity reorganization unit 131 refers to the search history information 145, compares the search unit of the search history information 145 with the feature quantity calculation unit set by the feature quantity calculation information 146, and calculates the feature quantity calculation unit. And is calculated as the second feature amount. Specifically, the feature amount reorganization unit 131 sets the feature amount in a unit (for example, a unit of 15 minutes) different from the search unit (for example, a unit of 1 minute) calculated by the feature amount calculation unit 113 as the second feature amount. calculate.
  • the result of the search performed by the user using the search query 520 is stored in the storage device 140 as the search history information 145.
  • the feature amount is calculated by the feature amount calculation unit 113 in units of one minute.
  • the search unit 1455 of the search history information 145 is frequently searched for feature amounts in units of 15 minutes.
  • the feature amount is calculated in units of 15 minutes instead of in units of 1 minute, or the feature amount in units of 15 minutes is calculated in addition to the unit of 1 minute.
  • by dynamically changing the calculation unit according to the search history or holding a plurality of calculation units it is possible to provide an optimum feature amount according to the user's search and data contents. It becomes.
  • the feature value calculation unit is 1 minute and the search unit is 15 minutes, data corresponding to 15 feature values is acquired, decompressed, and the feature value is calculated again. There is a need. However, by calculating the feature amount in units of 15 minutes as the second feature amount, only the feature amount calculated in units of 15 minutes is used without decompressing the data or recalculating the feature amount. The corresponding data can be searched.
  • the feature amount calculated in 15 minute units is also retained.
  • the feature amount reorganization unit 131 refers to the search history information 145, and when the search is performed using a plurality of feature amounts, the feature amount reorganization unit 131, based on the search results searched using the plurality of feature amounts, A new feature amount is calculated as the third feature amount.
  • the feature amount reorganization unit 131 when searching using a plurality of feature amounts, "1" if the condition for specifying a plurality of feature amounts is satisfied, "0" if the condition is not satisfied, etc. By setting this flag and setting a value different from the plurality of feature amounts as the third feature amount, the search process can be executed at higher speed.
  • the feature quantity reorganization unit 131 compresses and stores the feature quantity according to the reference frequency of the feature quantity.
  • the feature amount having a low reference frequency is compressed and stored, so that the storage capacity can be saved. As a result, it is possible to save data storage capacity while maintaining various feature amounts according to the user's search needs.
  • the feature amount index reorganization unit 132 refers to index reference frequency information such as the index reference count 1506, the index update time 1507, and the index reference time 1508 of the feature amount index information 144, and reorganizes the index data of the feature amount.
  • the feature amount calculation processing by the feature amount calculation unit 113 will be described with reference to FIGS. As shown in FIG. 12, first, the feature amount calculation unit 113 acquires data in units of compression (S101). Then, the feature quantity calculation unit 113 executes a feature quantity compression unit determination process (S102).
  • the feature amount compression unit determination processing in step S102 will be described.
  • the feature quantity calculation unit 113 reads the feature quantity calculation information 146 shown in FIG. 11 (S111). Then, a feature quantity calculation unit is acquired from the feature quantity calculation information 146 (S112).
  • the feature quantity calculation unit 113 cuts out and acquires data for each feature quantity calculation unit determined in step S102 from the data acquired in step S101 (S103). Then, the feature amount calculation unit 113 calculates a feature amount in the feature amount calculation unit acquired in step S112 from the data acquired in step S103 (S104).
  • the feature quantity reorganization unit 131 executes a second feature quantity calculation unit determination process (S201).
  • the second feature quantity calculation unit determination process in step S201 will be described.
  • the feature amount reorganization unit 131 reads the search history information 145 stored in the storage device 140 (S211).
  • the feature quantity reorganization unit 131 determines whether the search unit in the search history is different from the current feature quantity calculation unit (S212). Specifically, the feature amount reorganization unit 131 determines the search unit 1455 of the search history information 145 and the current calculation unit of the corresponding feature amount, that is, the feature amount calculation unit set in the feature amount calculation information 146. Compare.
  • the feature values of the data name “taxi 1”, the attribute name “speed”, and the feature name “MAX” are frequently searched in units of 15 minutes, and the data name “feature name calculation information 146” If the feature amount calculation unit of the “taxi 1”, the attribute name “speed”, and the feature name “MAX” is 1 minute, the determination in step S212 is negative.
  • step S212 If it is determined in step S212 that the search unit in the search history is different from the current feature amount calculation unit, the feature amount reorganization unit 131 sets the search unit in the search history information 145 as the second feature. Obtained as an amount calculation unit (S213). On the other hand, if it is determined in step S212 that the search unit in the search history is equal to the current feature amount calculation unit, the feature amount reorganization unit 131 ends the process.
  • the feature amount reorganization unit 131 acquires data from the time series data 510 in the second feature amount calculation unit determined in step S201 (S202). Then, the second feature amount is calculated from the data acquired in step S202 in the second feature amount calculation unit acquired in step S213 (S203), and the second feature amount is held as the feature amount of the feature amount information 142. (S204).
  • the feature amount reorganization unit 131 executes a third feature amount calculation method determination process (S301).
  • the feature amount reorganization unit 131 reads the search history information 145 stored in the storage device 140 (S311).
  • the feature amount reorganization unit 131 refers to the search history information 145 and determines whether there is a search using a plurality of feature amounts (S312). Specifically, the feature amount reorganization unit 131 determines whether a plurality of identical search IDs exist. For example, in the search history information 145 of FIG. 10, there are two search IDs “0002”. From the two search IDs “0002”, the maximum value of latitude is “less than 36” and the minimum value of latitude is “greater than 35” using two feature amounts of the maximum value of latitude and the minimum value of latitude. Indicates that you are searching by condition.
  • step S312 when it is determined that there is a search using a plurality of feature amounts, the feature amount reorganization unit 131 acquires a search unit of the search ID, and uses the acquired search unit as a third feature. It is set as a quantity calculation unit (S313). Then, the feature quantity reorganization unit 131 creates a feature quantity calculation method that satisfies the search condition of the search ID, and holds it as a third feature quantity calculation method (S314).
  • the feature amount reorganization unit 131 is “1” when the condition for specifying a plurality of feature amounts is satisfied and “0” when the feature is not satisfied when searching using two or more feature amounts. ”Or the like is set, and a value different from the plurality of feature amounts is set as the third feature amount.
  • the flag that is the third feature amount is stored in the feature amount information 142 in association with the corresponding feature amount.
  • the feature amount compression processing by the feature amount reorganization unit 131 will be described with reference to FIGS. As illustrated in FIG. 18, the feature amount reorganization unit 131 executes a feature amount compression unit determination process (S401).
  • the feature amount compression unit determination process in step S401 will be described.
  • the feature amount reorganization unit 131 performs the processing of steps S412 to S414 for the feature amounts of all the feature amount information 142.
  • the feature amount reorganization unit 131 reads the feature amount reference frequency from the feature amount information 142 (S412). Specifically, the feature quantity reorganization unit 131 reads the feature quantity reference frequency including the feature quantity reference count 1433, the feature quantity update time 1434, and the feature quantity reference time 1435 of the feature quantity information 142.
  • the feature quantity reorganization unit 131 determines whether the feature quantity reference frequency is equal to or less than a threshold value (S413). Specifically, whether the feature quantity reference frequency is equal to or less than a threshold value is determined as follows. For example, if the difference between the current time and the feature amount reference time 1435 of the feature amount reference information 143 is equal to or greater than a predetermined threshold, the feature amount reorganization unit 131 determines that the feature amount reference frequency is low. Good. Further, when a predetermined period has elapsed from the feature amount update time 1434 and the difference between the current time and the feature amount reference time 1435 is included in the lower 5% of the feature amount, the feature amount reference frequency is low. You may judge.
  • the reference frequency of the feature quantity is low when a predetermined period has elapsed from the feature quantity update time 1434 and the feature quantity reference count 1433 is equal to or less than a threshold value. Further, when a predetermined amount of time has elapsed from the feature amount update time 1434 and the feature amount reference count 1433 is included in the lower 5% of the feature amount, it may be determined that the reference amount of the feature amount is low.
  • step S413 If it is determined in step S413 that the feature quantity reference frequency is equal to or less than the threshold value, the feature quantity reorganization unit 131 stores the feature quantity as a feature quantity to be compressed (S414). On the other hand, if it is determined in step S413 that the feature quantity reference frequency is not equal to or less than the threshold value, the processing from step S412 is repeated.
  • the feature quantity reorganization unit 131 repeats the processing of steps S411 to S414 for all feature quantities, and then acquires a range in which the feature quantities to be compressed are continuous as a feature quantity compression unit (S415).
  • the feature amount reorganization unit 131 acquires the feature amount of the unit determined in step S401 (S402). Then, the feature amount reorganization unit 131 compresses the feature amount acquired in step S402 (S403), and holds the compressed feature amount (S404). Then, the feature quantity reorganization unit 131 deletes the feature quantity before compression (S405).
  • the feature amount index reorganization unit 132 executes a feature amount index reorganization method determination process (S501).
  • the feature index reorganization method determination process in step S501 will be described. As shown in FIG. 21, the feature quantity index reorganization unit 132 repeats the processes of steps S511 to S516 for all the index nodes 1500.
  • the feature amount index reorganization unit 132 reads the index reference frequency of the index node 1500 (S512). Specifically, the feature quantity index reorganization unit 132 reads the index reference frequency including the index reference count 1506, the index update time 1507, and the index reference time 1508 of the index node 1500.
  • the feature amount reorganization unit 131 determines whether the index reference frequency is equal to or lower than the lower limit threshold (S513).
  • the index reference frequency is compared with the lower limit threshold based on the index reference count 1506, the index update time 1507, and the index reference time 1508.
  • the lower limit threshold is a threshold for determining whether or not to delete the index node based on the index reference count 1506, the index update time 1507, and the index reference time 1508.
  • step S513 When it is determined in step S513 that the index reference frequency is equal to or lower than the lower limit threshold, the feature amount reorganization unit 131 stores the index node as a deletion target index node (S514). On the other hand, if it is determined in step S513 that the index reference frequency is not less than or equal to the lower limit value, the feature amount reorganization unit 131 executes the process of step S515.
  • the upper limit threshold value in step S515 is a threshold value for determining whether or not the index node is frequently searched based on the index reference count 1506, the index update time 1507, and the index reference time 1508, and whether or not the index node is to be divided. It is.
  • the feature quantity reorganization unit 131 acquires, from the feature quantity index information 144, an index reference that includes an index node to be deleted or divided in the reorganization method determination process and is stored as a reorganization location ( S502).
  • the feature quantity reorganization unit 131 changes the index node of the index data corresponding to the index reference acquired in step S502 (S503). Specifically, the feature amount reorganization unit 131 deletes the index node stored as the deletion target in step S514 described above, or divides the index node stored as the division target in step S516.
  • the feature quantity reorganization unit 131 restores the deleted index node or integrates the divided index nodes based on the index reference frequency for the index nodes that have been deleted or divided by the above processing. May be.
  • the calculated feature quantity unit, the compressed part of the feature quantity, and the reorganized part of the index data are presented, and whether or not to use the calculation result is calculated before calculating a new feature quantity or reorganizing the feature quantity index You may make it.
  • time-series data and the user's search needs change, it is possible to perform a more effective search by selecting a new feature amount calculation unit calculated by the above processing.
  • the content of the time-series data temporarily changes or the user's search method only changes, the user does not select the presented new feature quantity calculation unit, A desired search can be continued by using the feature quantity calculation unit.
  • 22 and 23 are examples of feature quantity calculation unit selection screens.
  • Display screen examples 210 and 220 shown in FIG. 22 are selection screens for new feature quantity calculation units calculated as the second feature quantity by the second feature quantity calculation process in the feature quantity reorganization process described above.
  • the display screen example 210 indicates that the feature value calculation unit is set to 1 minute (1 minute) for the query (Query List) ⁇ corresponding to the feature value.
  • the display screen example 220 indicates that the current feature amount calculation unit is 1 minute (1 minute), and the newly calculated feature amount calculation unit is 5 minutes (5 minutes).
  • the user can select to calculate the feature amount in units of 5 minutes by pressing the “OK” button in the display screen example 220. Further, the user can calculate a desired feature amount by continuously using the current feature amount calculation unit without changing the feature amount calculation unit by pressing a “Cancel” button.
  • FIG. 23 is also a selection screen for a new feature quantity calculation unit calculated as the second feature quantity by the second feature quantity calculation process, as in FIG.
  • the user can select 5 minutes as a new feature amount calculation unit by inputting the “y” command following the command prompt “[y / n]>”. If it is not necessary to change the feature quantity calculation unit, the current feature quantity calculation unit can be continuously used without changing the feature quantity calculation unit by inputting the “n” command, and the desired feature quantity calculation unit can be used.
  • the feature amount can be calculated.
  • the feature amount is calculated in units smaller than the compression unit as in the above embodiment.
  • the compression unit is a large unit such as a day unit, it can be determined whether data is missing in a minute unit such as a minute unit, so that more detailed and accurate data analysis can be efficiently performed. It can be carried out.
  • the time point when the speed is exceeded is searched from the taxi speed information included in the time series data.
  • the present invention is not limited to this example, and the position information included in the time series data.
  • the taxi traffic violation status may be searched using map information including direction information and map information including various traffic information such as one-way traffic and temporary stop.
  • DESCRIPTION OF SYMBOLS 100 Data management apparatus 110 Data storage part 111 Data reception part 112 Processing part 113 Feature-value calculation part 114 Data compression part 115 Writing part 116 Feature-value writing part 117 Data writing part 120 Data search part 121 Search reception part 122 Search evaluation Unit 123 search unit 124 feature amount search unit 125 data search unit 126 read unit 127 feature amount read unit 128 data read unit 130 data reorganization unit 131 feature amount reorganization unit 132 feature amount index reorganization unit 140 storage device 141 time series data Information 142 Feature quantity information 143 Feature quantity reference information 144 Feature quantity index information 145 Search history information 146 Feature quantity calculation information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】時系列データの特徴量を圧縮単位とは異なる単位で算出することにより、データ蓄積容量を節約しつつ高精度なデータ検索機能を提供する。 【解決手段】データ管理装置１００は、入力された時系列データから第１の単位でデータを取得するデータ受付部１１１と、前記第１の単位で取得したデータを圧縮するデータ圧縮部１１４と、前記第１の単位とは異なる第２の単位で取得したデータの特徴を示す特徴量を算出する特徴量算出部１１３と、を備える。

Description

データ管理装置及びデータ管理方法
　本発明は、データ管理装置及びデータ管理方法に関し、時系列データを管理するデータ管理装置及びデータ管理方法に適用して好適なるものである。
　昨今、時々刻々と発生する大量の時系列データが蓄積され、種々の業務に役立てられている。このような時系列データの蓄積量は膨大となってきており、蓄積容量の巨大化や検索処理の長時間化が問題となっている。そこで、膨大な時系列データの蓄積容量を節約するため、所定の時間幅毎にデータを圧縮して蓄積することが行われている。
　また、大量の時系列データを効率的に検索するため、データを蓄積する際に、圧縮されたデータ毎に特徴量を算出し、圧縮されたデータと算出した特徴量とを対応付けて、当該特徴量をもとに検索対象となる時系列データを絞り込むことが行われている。例えば、特許文献１には、利用者の検索範囲や検索期間に応じて圧縮単位であるデータブロックの大きさを変更して、当該データブロックに対して特徴量を算出することが記載されている。
特開２０１１－２２１７９９号公報
　通常、大量の時系列データは高圧縮で蓄積されるため、１時間毎や１日毎といった大きい単位でデータが圧縮される。この場合、１分毎など、より小さい単位でデータの内容を把握して、より詳細に高精度なデータ分析を効率よく行うことができないという問題があった。一方、小さい単位でデータを圧縮すると、圧縮効果が低減するため、時系列データの蓄積容量の節約を実現することができないという問題があった。上記した特許文献１に記載の技術を利用して、圧縮単位であるデータブロックを変更したとしても、１つのデータブロックに対して１つの特徴量が算出されるため、当該特徴量を利用して、データ蓄積容量の節約と高精度なデータ分析とを両立させることは困難であった。
　本発明は以上の点を考慮してなされたもので、時系列データの特徴量を圧縮単位とは異なる単位で算出することにより、データ蓄積容量を節約しつつ高精度なデータ検索機能を提供することが可能なデータ管理装置及びデータ管理方法を提案しようとするものである。
　かかる課題を解決するために本発明においては、入力された時系列データから第１の単位でデータを取得するデータ受付部と、前記第１の単位で取得したデータを圧縮するデータ圧縮部と、前記第１の単位とは異なる第２の単位で取得したデータの特徴を示す特徴量を算出する特徴量算出部と、を備えることを特徴とする、データ管理装置が提供される。
　また、かかる課題を解決するために本発明においては、データ受付部が、入力された時系列データから第１の単位でデータを取得するステップと、データ圧縮部が、前記第１の単位で取得したデータを圧縮するステップと、特徴量算出部が、前記第１の単位とは異なる第２の単位で取得したデータの特徴を示す特徴量を算出するステップと、を含むことを特徴とする、データ管理方法が提供される。
　本発明によれば、時系列データの特徴量を圧縮単位とは異なる単位で算出することにより、データ蓄積容量を節約しつつ高精度なデータ検索機能を提供することができる。
本発明の一実施形態に係る概要を説明する概念図である。 同実施形態にかかるデータ管理装置の構成を示すブロック図である。 同実施形態にかかる時系列データの一例を示す図表である。 同実施形態にかかる検索クエリの一例を示す概念図である。 同実施形態にかかる時系列データ情報の一例を示す図表である。 同実施形態にかかる特徴量情報の一例を示す図表である。 同実施形態にかかる特徴量参照情報の一例を示す図表である。 同実施形態にかかる特徴量インデクス情報の一例を示す図表である。 同実施形態にかかるインデクスデータの一例を示す概念図である。 同実施形態にかかる検索履歴情報の一例を示す図表である。 同実施形態にかかる特徴量算出情報の一例を示す図表である。 同実施形態にかかる特徴量算出処理を示すフローチャートである。 同実施形態にかかる特徴量圧縮単位決定処理を示すフローチャートである。 同実施形態にかかる第２の特徴量算出処理を示すフローチャートである。 同実施形態にかかる第２の特徴量算出単位決定処理を示すフローチャートである。 同実施形態にかかる第３の特徴量算出処理を示すフローチャートである。 同実施形態にかかる第３の特徴量算出方法決定処理を示すフローチャートである。 同実施形態にかかる特徴量の圧縮処理を示すフローチャートである。 同実施形態にかかる特徴量圧縮単位決定処理を示すフローチャートである。 同実施形態にかかる特徴量インデクスの再編成処理を示すフローチャートである。 同実施形態にかかる特徴量インデクスの再編成方法決定処理を示すフローチャートである。 同実施形態にかかる特徴量算出単位の選択画面の一例を示す概念図である。 同実施形態にかかる特徴量算出単位の選択画面の一例を示す概念図である。
　以下図面について、本発明の一実施の形態を詳述する。
（１）本実施の形態の概要
　まず、本実施の形態の概要について説明する。従来から、大量の時系列データを効率的に検索するため、データを蓄積する際に、データを圧縮し、圧縮単位となるデータブロックに対して特徴量を算出して対応付けることが行われている。通常、蓄積容量を節約するため、大量の時系列データは、１時間毎や１日毎といった大きい単位で圧縮される。この場合、１分毎など、圧縮単位より小さい単位でデータの内容を把握して、より詳細に高精度なデータ分析を効率よく行うことができないという問題があった。
　従来技術の一例として、圧縮単位が１時間単位のデータブロックに対して、１つの特徴量が対応付けられている場合について説明する。例えば、利用者は、１時間単位で圧縮されたデータブロックの中から、ある１５分間のデータの内容を把握したいとする。この場合、まず、複数のデータブロックに対応付けられた複数の特徴量の情報をもとに、所定の検索条件に合致するデータブロックを特定する。そして、圧縮されたデータブロックを解凍し、解凍されたデータブロックに対して、さらにある１５分間のデータの内容の特徴量を算出するなどしてデータの内容を把握する。
　このように、圧縮した時間単位（例えば１時間）以外の時間単位（例えば１５分）に関するデータ内容を把握する場合には、特徴量の情報をもとに特定したデータブロックを一旦解凍したうえで、再度特徴量を算出するなどする必要があり、検索の長時間化を招いてしまう。一方、圧縮する時間単位を短くすると、圧縮効果が低減してデータ蓄積容量を節約することができないという問題があった。
　そこで本実施の形態では、図１に示すように、従来と同様に、時系列データを１時間単位毎や１日毎といった大きい単位で取得して（ＳＴＥＰ０１）、特徴量については、時系列データの圧縮単位よりも小さい単位、例えば１分毎の時系列データに対して特徴量を算出する（ＳＴＥＰ０２）。そして、時系列データを大きい単位で圧縮して（ＳＴＥＰ０３）、圧縮後の時系列データを記憶装置に蓄積する（ＳＴＥＰ０４）。また、ＳＴＥＰ０２で算出した特徴量は、時系列データに対応付けて記憶装置に蓄積する（ＳＴＥＰ０５）。
　このように、圧縮した時間単位よりも小さい時間単位の特徴量を算出することにより、記憶されたデータから所望のデータを検索する際には、細かい時間幅で算出された特徴量の情報をインデクスとして時系列データまたは特徴量そのものを検索して（ＳＴＥＰ０６）、圧縮された時系列データを解凍する（ＳＴＥＰ０７）。
　すなわち、細かい時間幅の特徴量の情報を検索することにより、圧縮されたデータを解凍することなく、圧縮されたデータの時間単位よりも小さい時間単位に関するデータ内容を把握することが可能となる。このように、本実施の形態では、時系列データの特徴量を圧縮単位より小さい単位で算出することにより、データ蓄積容量を節約しつつ、効率よく高精度な検索を実現することを目的としている。
　また、上記ＳＴＥＰ０１～ＳＴＥＰ０７の処理が繰り返されると、図１に示すように、記憶装置に時系列データ情報、検索履歴情報、特徴量情報などが蓄積される。記憶装置に記憶される各種情報については、後で詳細に説明する。本実施の形態では、上記処理に加えて、検索履歴情報に含まれる特徴量や特徴量のインデクスの参照頻度をもとに、特徴量や特徴量のインデクスの再編成を行う。これにより、利用者の要求に応じて、より高速かつ柔軟な検索機能を提供することができる。
　具体的に、本実施の形態における時系列データのデータ管理は、時系列データを圧縮したり蓄積したりする第１の段階（上記ＳＴＥＰ０１～ＳＴＰＥ５）、時系列データや特徴量そのものを検索したり、時系列データを取得したりする第２の段階（上記ＳＴＥＰ０６～ＳＴＥＰ０７）、時系列データの検索履歴情報や特徴量の参照頻度から、特徴量や特徴量のインデクスの再算出や再編成などを行う第３の段階からなる。以下詳細に説明する。
（２）データ管理装置の構成
　図２を参照して、本実施の形態にかかるデータ管理装置１００の構成について説明する。以下では、時系列データの一例として、タクシーの速度情報や位置情報が所定間隔で蓄積される場合について説明する。
（２－１）データ管理装置のハードウェア構成
　データ管理装置１００は、ＣＰＵおよびメモリ等の情報処理資源を備えている。ＣＰＵは、演算処理装置として機能し、メモリに記憶されているプログラムや演算パラメータ等にしたがって、データ管理装置１００の動作を制御する。
　また、データ管理装置１００は、ネットワークに接続するための通信デバイス等で構成された通信インタフェースを備えている。通信装置は、無線ＬＡＮ（Local　Area　Network）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。この通信装置は、ユーザ所有の情報処理端末との間で、ネットワークを介して各種データを送受信する。
　また、データ管理装置１００は、キーボード、スイッチやポインティングデバイス、マイクロフォン等の情報入力装置と、モニタディスプレイやスピーカ等の情報出力装置とを備えている。
　さらに、データ管理装置１００は、データ格納用の記憶装置１４０を備えている。記憶装置１４０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含む。記憶装置１４０装置は、例えば、ＨＤＤ（Hard Disk Drive）で構成され、ハードディスクを駆動し、ＣＰＵが実行するプログラムや各種データを格納する。また、本実施の形態では、記憶装置１４０に大量の時系列データが蓄積されるため、記憶装置１４０を上記したハードウェア構成とは別体の外部記憶装置としてもよい。
（２－２）データ管理装置のソフトウェア構成
　次に、図２を参照して、データ管理装置１００のソフトウェア構成について説明する。なお、データ管理装置１００のソフトウェア構成を説明する際に、適宜、図３～図１１に示す各種データ内容を参照する。図２に示すように、データ管理装置１００は、データ蓄積部１１０、データ検索部１２０、データ再編成部１３０から構成される。
　データ蓄積部１１０は、上記した第１の段階の処理、すなわち、時系列データを圧縮したり蓄積したりする処理を制御し、データ受付部１１１、加工部１１２及び書込部１１５から構成される。
　データ受付部１１１は、ネットワークを介して外部のユーザ端末などから時系列データ５１０を受け付けて、加工部１１２に提供する。時系列データ５１０の一例を図３に示す。
　図３に示すように、時系列データ５１０は、データ名５１０１、タイムスタンプ５１０２、スピード５１０３、緯度５１０４及び経度５１０５から構成される。データ名５１０１は、時系列データの計測対象を示す情報であり、例えば、「タクシー１」、「タクシー２」などである。タイムスタンプ５１０２は、データが記憶された時刻を示す情報であり、「2014-09-25 10:00:00」のような日時の情報である。スピード５１０３は、当該時刻における計測対象「タクシー１」のスピードであり、例えば時速を示す「３２」などである。緯度５１０４及び経度５１０５は、当該時刻における計測対象「タクシー１」の緯度及び経度であり、例えば、緯度を示す「35.2612」、経度を示す「139.3801」などである。
　加工部１１２は、データ受付部１１１から提供された時系列データから、所定の圧縮単位でデータを取得して、特徴量算出部１１３が当該データの特徴量を算出し、データ圧縮部１１４が当該データを圧縮する。特徴量算出部１１３は、取得した圧縮単位よりも小さい単位のデータの特徴量を算出して、書込部１１５に提供する。
　具体的に、特徴量算出部１１３は、特徴量算出情報１４６を参照して、時系列データのデータ名及び属性名をもとに、特徴量の算出単位や算出方法を特定して、時系列データの特徴量を算出する。データ圧縮部１１４は、所定の圧縮単位でデータを圧縮して、圧縮データを書込部１１５に提供する。
　図１１に、特徴量算出情報１４６の一例を示す。特徴量算出情報１４６は、特徴量の算出単位を管理する情報であって、図１１に示すように、データ名１４６０、属性名１４６１、特徴名１４６２、特徴量算出単位１４６３及び特徴量算出方法１４６４から構成される。
　データ名１４６０には、時系列データの計測対象を示す情報が格納され、例えば、「タクシー１」、「タクシー２」などである。属性名１４６１には、時系列データの属性を示す情報が格納され、例えば、「スピード」、「緯度」、「経度」などである。特徴名１４６２には、特徴量の名称が格納され、例えば、データの最大値を示す「MAX」や、最小値を示す「MIN」などである。特徴量算出単位１４６３には、特徴量の算出単位の情報が格納される。特徴量の算出単位は、予め利用者により設定されるが、後述するように、検索履歴情報などに応じて特徴量の算出単位が変更される。特徴量算出方法１４６４には、特徴量を算出するための計算式が格納され、例えば最大値を算出する計算式「Max()」や最小値を算出する計算式「Min()」などである。
　書込部１１５は、加工部１１２から提供された特徴量を記憶装置１４０に格納する特徴量書込部１１６と、加工部１１２から提供された圧縮データを記憶装置１４０に格納するデータ書込部１１７から構成される。
　データ書込部１１７は、データ圧縮部１１４により圧縮された圧縮データを、データを特定する属性情報と対応付けて、時系列データ情報１４１として記憶装置１４０に格納する。時系列データ情報１４１の一例を図５に示す。
　図５に示すように、時系列データ情報１４１は、Ｎｏ１４１０、データ名１４１１、属性名１４１２、タイムスタンプ１４１３及び圧縮データ１４１４から構成される。Ｎｏ１４１０には、時系列データを識別する番号が格納される。データ名１４１１には、時系列データの計測対象を示す情報が格納され、例えば、「タクシー１」、「タクシー２」などである。属性名１４１２には、時系列データの属性を示す情報が格納され、例えば、「スピード」、「緯度」、「経度」などである。タイムスタンプ１４１３には、データが記憶された時刻を示す情報が格納され、「2014-09-25 10:00:00」のような日時の情報である。圧縮データ１４１４には、所定の圧縮単位で圧縮された圧縮データが格納される。
　特徴量書込部１１６は、特徴量算出部１１３により算出された特徴量を、データを特定する属性情報と対応付けて、特徴量情報１４２として記憶装置１４０に格納する。特徴量情報１４２の一例を図６に示す。さらに、特徴量書込部１１６は、特徴量情報１４２から特徴量インデクスを作成し、特徴量インデクス情報１４４として記憶装置１４０に格納する。特徴量インデクス情報１４４の一例を図８に示す。
　図６に示すように、特徴量情報１４２は、Ｎо１４２０、データ名１４２１、属性名１４２２、特徴名１４２３、タイムスタンプ１４２４及び特徴量１４２５から構成される。ＮＯ１４２０には、特徴量を識別する番号が格納される。データ名１４２１には、時系列データの計測対象を示す情報が格納され、例えば、「タクシー１」、「タクシー２」などである。属性名１４２２には、時系列データの属性を示す情報が格納され、例えば、「スピード」、「緯度」、「経度」などである。特徴名１４２３には、特徴量の名称が格納され、例えば、データの最大値を示す「MAX」や、最小値を示す「MIN」などである。タイムスタンプ１４２４には、データが記憶された時刻を示す情報が格納され、「2014-09-25 10:00:00」のような日時の情報である。特徴量１４２５には、上記した特徴量算出情報１４６の特徴量算出単位で特徴量算出方法によって算出された特徴量が格納される。
　図８に示すように、特徴量インデクス情報１４４は、Ｎｏ１４４０、データ名１４４１、属性名１４４２、特徴名１４４３及びインデクス参照１４４４から構成される。Ｎｏ１４４０には、特徴量インデクスを識別する番号が格納される。データ名１４４１には、時系列データの計測対象を示す情報が格納され、例えば、「タクシー１」、「タクシー２」などである。属性名１４４２には、時系列データの属性を示す情報が格納され、例えば、「スピード」、「緯度」、「経度」などである。特徴名１４４３には、特徴量の名称が格納され、例えば、データの最大値を示す「MAX」や、最小値を示す「MIN」などである。インデクス参照１４４４には、参照するインデクスデータの情報が格納される。
　図９に、インデクス参照１４４４で指定されたインデクスデータ１５０の一例について説明する。インデクスデータ１５０は、階層化された複数のインデクスノードから構成される。インデクスノード１５００は、例えば、ノードＩＤ１５０１、時刻範囲１５０２、特徴量の範囲１５０３、親ノード１５０４、子ノード１５０５、インデクス参照回数１５０６、インデクス更新時刻１５０７及びインデクス参照時刻１５０８から構成される。
　ノードＩＤ１５０１は、インデクスノードを識別する番号である。時刻範囲１５０２は、特徴量の時刻範囲を示す情報である。特徴量の範囲１５０３は、特徴量の範囲を示す情報である。親ノード１５０４は、当該ノードの親ノードを示す情報である。子ノード１５０５は、当該ノードの子ノードを示す情報である。インデクス参照回数１５０６は、当該インデクスの参照回数を示す情報である。インデクス更新時刻１５０７は、当該インデクスの更新時刻を示す情報である。インデクス参照時刻１５０８は、当該インデクスの参照時刻を示す情報である。
　データ検索部１２０は、上記した第２の段階の処理、すなわち、時系列データや特徴量そのものを検索したり時系列データを取得したりする処理を制御し、検索受付部１２１、検索評価部１２２、検索部１２３及び読込部１２６から構成される。
　検索受付部１２１は、ネットワークを介して外部のユーザ端末などから検索クエリ５２０を受け付けて、検索評価部１２２に提供する。検索クエリ５２０の一例を図４に示す。
　図４に示すように、検索クエリ５２０は、時系列データを検索するための問い合わせ情報であり、検索対象（select_items）、検索時間幅（where_timerange）、検索条件（where_condition）などが含まれる。例えば、検索クエリが、「select_items　タクシー１．スピード、where_timerange　2014-09-25 10:15:00-2014-09-25 10:45:00、where_condition　タクシー１．スピード．MAX>40」であった場合には、検索対象がタクシー１のスピード、検索時間幅が2014年9月25日10時15分から2014年9月25日10時45分、タクシー１のスピードの最大値が40キロ以上のデータの検索が要求されることを意味する。
　検索評価部１２２は、検索受付部１２１から提供された検索クエリ５２０を評価する。具体的に、上記した検索クエリ５２０から、検索対象のデータ名及び属性名と、検索対象期間と、検索条件を特定して、特定した項目を検索部１２３に提供する。また、検索評価部１２２は、検索クエリ５２０の評価結果を、検索履歴情報１４５として記憶装置１４０に記憶する。検索履歴情報１４５の一例を図１０に示す。
　図１０に示すように、検索履歴情報１４５は、検索ＩＤ１４５０、検索時刻１４５１、データ名１４５２、属性名１４５３、特徴名１４５４、検索単位１４５５及び検索条件１４５６から構成される。
　検索ＩＤ１４５０には、検索履歴を識別する番号が格納される。検索時刻１４５１には、検索した時刻が格納される。データ名１４５２には、検索対象のデータ名が格納される。属性名１４５３には、検索対象の属性名が格納される。特徴名１４５４には、検索対象の特徴量の名称が格納され、例えば、特徴量が最大値であることを示す「MAX」や、最小値を示す「MIN」などである。検索単位１４５５には、検索単位の情報が格納され、例えば検索対象の時刻幅が格納される。検索条件１４５６には、検索条件を示す情報が格納され、例えば、特徴量「MAX」（最大値）が40より大きい場合を検索することを示す「>40」や、特徴量「MIN」（最小値）が36より小さい場合を検索することを示す「<36」などである。
　検索部１２３は、特徴量を検索する特徴量検索部１２４と、時系列データを検索するデータ検索部１２５とから構成される。特徴量検索部１２４は、検索評価部１２２から特定された検索対象、検索対象期間及び検索条件をもとに、特徴量情報１４２から該当する特徴量を検索する。特徴量検索部１２４は、特徴量の検索結果を特徴量参照情報１４３及び特徴量インデクス情報１４４に反映させる。
　特徴量参照情報１４３の一例を図７に示す。図７に示すように、特徴量参照情報１４３は、Ｎо１４３０、データ名１４３１、属性名１４３２、特徴量参照回数１４３３、特徴量更新時刻１４３４及び特徴量参照時刻１４３５から構成される。
　Ｎо１４３０には、特徴量を識別する番号が格納され、当該番号により、上記した図６の特徴量情報１４２の特徴量と対応付けられる。データ名１４３１には、時系列データの計測対象を示す情報が格納される。属性名１４３２には、時系列データの属性を示す情報が格納される。特徴量参照回数１４３３には、当該特徴量の参照回数が格納される。特徴量更新時刻１４３４には、当該特徴量の更新時刻が格納される。特徴量参照時刻１４３５には、当該特徴量の参照時刻が格納される。
　なお、特徴量参照情報１４３は、上記した特徴量情報１４２とは別のテーブルとして記憶されているが、特徴量参照情報１４３の特徴量参照回数１４３３、特徴量更新時刻１４３４及び特徴量参照時刻１４３５を含む特徴量参照頻度を特徴量情報１４２に追加して１つのテーブルとしてもよい。
　また、特徴量検索部１２４は、図９に示すインデクスノード１５００のインデクス参照回数１５０６、インデクス更新時刻１５０７及びインデクス参照時刻１５０８を更新する。
　そして、データ検索部１２５は、時系列データ情報１４１から、特徴量検索部１２４で検索された特徴量に対応する時系列データを検索する。特徴量の検索処理及び時系列データの検索処理の詳細については、後で詳細に説明する。
　読込部１２６は、特徴量を読み込む特徴量読込部１２７と、時系列データを読み込むデータ読込部１２８とから構成される。特徴量読込部１２７は、記憶装置１４０に記憶されている特徴量情報１４２から特徴量検索部１２４により特定された特徴量のデータを読み込む。また、データ読込部１２８は、記憶装置１４０に記憶されている時系列データ情報１４１から、データ検索部１２５により特定された時系列データを読み込む。
　データ再編成部１３０は、上記した第３の段階の処理、すなわち、時系列データの検索履歴情報や特徴量の参照頻度から、特徴量や特徴量のインデクスの再算出や再編成などを行う処理を制御し、特徴量再編成部１３１及び特徴量インデクス再編成部１３２から構成される。
　特徴量再編成部１３１は、検索履歴情報１４５を参照して、検索履歴情報１４５の検索単位と、特徴量算出情報１４６により設定された特徴量算出単位とを比較して、特徴量の算出単位を変更して、第２の特徴量として算出する。具体的に、特徴量再編成部１３１は、第２の特徴量として、特徴量算出部１１３により算出された検索単位（例えば１分単位）とは異なる単位（例えば１５分単位）で特徴量を算出する。
　上記したように、利用者が検索クエリ５２０を利用して検索した結果は検索履歴情報１４５として記憶装置１４０に記憶されている。例えば、特徴量算出部１１３により、１分単位で特徴量が算出されたとする。一方、検索履歴情報１４５の検索単位１４５５は、１５分単位で頻繁に特徴量が検索されていたとする。この場合、１分単位ではなく１５分単位で特徴量を算出したり、１分単位に加えて１５分単位の特徴量も算出したりする。このように、検索履歴に応じて算出単位を動的に変更したり、複数の算出単位を保持したりすることにより、ユーザの検索やデータ内容に応じた最適な特徴量を提供することが可能となる。
　例えば、特徴量の算出単位が１分単位で、検索単位が１５分単位であった場合には、１５個分の特徴量に対応するデータを取得して、解凍し、再度特徴量を算出する必要がある。しかし、第２の特徴量として１５分単位の特徴量を算出しておくことにより、データの解凍や特徴量の再算出をすることなく、１５分単位に算出された特徴量のみを利用して、該当データを検索することが可能となる。
　また、時々刻々とデータ内容が変化したり、データ検索をするユーザのニーズが変化したりする場合などは、１分単位で算出した特徴量に加えて、１５分単位で算出した特徴量も保持するなど、異なる単位の特徴量を複数保持しておくことにより、多様な検索処理に柔軟に対応することが可能となる。
　また、特徴量再編成部１３１は、検索履歴情報１４５を参照して、複数の特徴量を用いて検索されている場合には、複数の特徴量を用いて検索した検索結果をもとに、新たな特徴量を第３の特徴量として算出する。具体的に、特徴量再編成部１３１は、複数の特徴量を用いて検索されている場合に、複数の特徴量を指定する条件を満たす場合を「１」、満たさない場合を「０」などのフラグを設定して、複数の特徴量とは異なる値を第３の特徴量として設定することにより、より高速に検索処理を実行することが可能となる。
　また、特徴量再編成部１３１は、特徴量の参照頻度に応じて、特徴量を圧縮して格納する。特徴量算出部１１３により算出された特徴量のうち、参照頻度が低い特徴量を圧縮して格納することにより、記憶容量を節約することができる。これにより、利用者の検索ニーズに応じた多様な特徴量を保持しつつ、データの蓄積容量を節約することが可能となる。
　特徴量インデクス再編成部１３２は、特徴量インデクス情報１４４のインデクス参照回数１５０６、インデクス更新時刻１５０７及びインデクス参照時刻１５０８などのインデクス参照頻度情報を参照して、特徴量のインデクスデータを再編成する。
（３）データ管理方法
　次に、図１２～図２２を参照して、上記した第１の段階の処理（圧縮・蓄積段階）、第２の段階の処理（検索・取得段階）及び、第３の段階の処理（再編成段階）のうち、特に、特徴量の算出処理及び特徴量の再編成処理について詳細に説明する。なお、以下においては、各種処理の処理主体を上記各機能部（プログラム）として説明するが、実際には、各機能部のプログラムに基づいてデータ管理装置１００のＣＰＵがその処理を実行することは言うまでもない。
　まず、図１２及び図１３を参照して、特徴量算出部１１３による特徴量算出処理について説明する。図１２に示すように、まず、特徴量算出部１１３は、圧縮単位のデータを取得する（Ｓ１０１）。そして、特徴量算出部１１３は、特徴量圧縮単位決定処理を実行する（Ｓ１０２）。
　図１３を参照して、ステップＳ１０２の特徴量圧縮単位決定処理について説明する。図１３に示すように、特徴量算出部１１３は、図１１に示す特徴量算出情報１４６を読み取る（Ｓ１１１）。そして、特徴量算出情報１４６から、特徴量算出単位を取得する（Ｓ１１２）。
　図１２に戻り、特徴量算出部１１３は、ステップＳ１０１で取得したデータから、ステップＳ１０２で決定した特徴量算出単位ごとにデータを切り出して取得する（Ｓ１０３）。そして、特徴量算出部１１３は、ステップＳ１０３で取得したデータから、ステップＳ１１２で取得した特徴量算出単位で特徴量を算出する（Ｓ１０４）。
　次に、図１４及び図１５を参照して、特徴量再編成部１３１による第２の特徴量算出処理について説明する。図１４に示すように、特徴量再編成部１３１は、第２の特徴量算出単位決定処理を実行する（Ｓ２０１）。
　図１５を参照して、ステップＳ２０１の第２の特徴量算出単位決定処理について説明する。図１５に示すように、特徴量再編成部１３１は、記憶装置１４０に記憶された検索履歴情報１４５を読み取る（Ｓ２１１）。
　そして、特徴量再編成部１３１は、検索履歴内の検索単位と、現在の特徴量算出単位とが異なるかを判定する（Ｓ２１２）。具体的に、特徴量再編成部１３１は、検索履歴情報１４５の検索単位１４５５と、対応する特徴量の現在の算出単位、すなわち、特徴量算出情報１４６で設定されている特徴量算出単位とを比較する。例えば、検索履歴情報１４５では、データ名「タクシー１」、属性名「スピード」、特徴名「MAX」の特徴量が１５分単位で頻繁に検索されており、特徴量算出情報１４６のデータ名「タクシー１」、属性名「スピード」、特徴名「MAX」の特徴量算出単位が１分である場合には、ステップＳ２１２の判定は否となる。
　ステップＳ２１２において、検索履歴内の検索単位と、現在の特徴量算出単位とが異なると判定された場合には、特徴量再編成部１３１は、検索履歴情報１４５内の検索単位を第２の特徴量算出単位として取得する（Ｓ２１３）。一方、ステップＳ２１２において、検索履歴内の検索単位と、現在の特徴量算出単位とが等しいと判定された場合には、特徴量再編成部１３１は、当該処理を終了する。
　図１４に戻り、特徴量再編成部１３１は、時系列データ５１０から、ステップＳ２０１で決定された第２の特徴量の算出単位で、データを取得する（Ｓ２０２）。そして、ステップＳ２０２で取得したデータから、ステップＳ２１３で取得した第２の特徴量算出単位で第２の特徴量を算出し（Ｓ２０３）、第２の特徴量を特徴量情報１４２の特徴量として保持する（Ｓ２０４）。
　次に、図１６及び図１７を参照して、特徴量再編成部１３１の第３の特徴量算出処理について説明する。図１６に示すように、特徴量再編成部１３１は、第３の特徴量算出方法決定処理を実行する（Ｓ３０１）。
　図１７を参照して、ステップＳ３０１の第３の特徴量算出方法決定処理について説明する。図１７に示すように、特徴量再編成部１３１は、記憶装置１４０に記憶された検索履歴情報１４５を読み取る（Ｓ３１１）。
　そして、特徴量再編成部１３１は、検索履歴情報１４５を参照して、複数の特徴量を用いた検索があるかを判定する（Ｓ３１２）。具体的に、特徴量再編成部１３１は、同一の検索ＩＤが複数存在するかを判定する。例えば、図１０の検索履歴情報１４５において、２つの検索ＩＤ「０００２」が存在する。２つの検索ＩＤ「０００２」より、緯度の最大値と、緯度の最小値の２つの特徴量を用いて、緯度の最大値が「３６より小さい」、緯度の最小値が「３５より大きい」という条件で検索していることを示す。
　ステップＳ３１２において、複数の特徴量を用いた検索があると判定された場合には、特徴量再編成部１３１は、当該検索ＩＤの検索単位を取得して、取得した検索単位を第３の特徴量算出単位とする（Ｓ３１３）。そして、特徴量再編成部１３１は、当該検索ＩＤの検索条件を満たす特徴量算出方法を作成して、第３の特徴量算出方法として保持する（Ｓ３１４）。
　具体的に、特徴量再編成部１３１は、２つ以上の特徴量を用いて検索されている場合に、複数の特徴量を指定する条件を満たす場合を「１」、満たさない場合を「０」などのフラグを設定して、複数の特徴量とは異なる値を第３の特徴量として設定する。第３の特徴量であるフラグは、該当する特徴量と対応付けて特徴量情報１４２に記憶される。
　次に、図１８及び図１９を参照して、特徴量再編成部１３１による特徴量の圧縮処理について説明する。図１８に示すように、特徴量再編成部１３１は、特徴量圧縮単位決定処理を実行する（Ｓ４０１）。
　図１９を参照して、ステップＳ４０１の特徴量圧縮単位決定処理について説明する。図１９に示すように、特徴量再編成部１３１は、すべての特徴量情報１４２の特徴量に対して、ステップＳ４１２～ステップＳ４１４の処理を実行する。特徴量再編成部１３１は、特徴量情報１４２から、特徴量参照頻度を読み取る（Ｓ４１２）。具体的に、特徴量再編成部１３１は、特徴量情報１４２の特徴量参照回数１４３３、特徴量更新時刻１４３４及び特徴量参照時刻１４３５を含む特徴量参照頻度を読み取る。
　そして、特徴量再編成部１３１は、特徴量参照頻度が閾値以下かを判定する（Ｓ４１３）。具体的に、特徴量参照頻度が閾値以下かについては以下のように判断する。例えば、特徴量再編成部１３１は、現在時刻と特徴量参照情報１４３の特徴量参照時刻１４３５との差が所定の閾値以上である場合に、当該特徴量の参照頻度が低いと判断してもよい。また、特徴量更新時刻１４３４から所定の期間経過後で、かつ、現在時刻と特徴量参照時刻１４３５との差が特徴量の下位５％に含まれる場合に、当該特徴量の参照頻度が低いと判断してもよい。特徴量更新時刻１４３４から所定の期間経過後で、かつ、特徴量参照回数１４３３が閾値以下である場合に、当該特徴量の参照頻度が低いと判断してもよい。また、特徴量更新時刻１４３４から所定の期間経過後で、かつ、特徴量参照回数１４３３が特徴量の下位５％に含まれる場合に、当該特徴量の参照頻度が低いと判断してもよい。
　ステップＳ４１３において、上記判断により、特徴量参照頻度が閾値以下であると判定された場合には、特徴量再編成部１３１は、当該特徴量を圧縮対象の特徴量として記憶する（Ｓ４１４）。一方、ステップＳ４１３において、特徴量参照頻度が閾値以下ではないと判定された場合には、ステップＳ４１２以降の処理を繰り返す。
　そして、特徴量再編成部１３１は、すべての特徴量に対してステップＳ４１１～ステップＳ４１４の処理を繰り返した後、圧縮対象の特徴量が連続する範囲を特徴量圧縮単位として取得する（Ｓ４１５）。
　図１８に戻り、特徴量再編成部１３１は、ステップＳ４０１で決定された単位の特徴量を取得する（Ｓ４０２）。そして、特徴量再編成部１３１は、ステップＳ４０２で取得した特徴量を圧縮して（Ｓ４０３）、圧縮した特徴量を保持する（Ｓ４０４）。そして、特徴量再編成部１３１は、圧縮前の特徴量を削除する（Ｓ４０５）。
　次に、図２０及び図２１を参照して、特徴量インデクス再編成部１３２による特徴量インデクスの再編成処理について説明する。特徴量インデクス再編成部１３２は、特徴量インデクスの再編成方法決定処理を実行する（Ｓ５０１）。
　図２１を参照して、ステップＳ５０１の特徴量インデクスの再編成方法決定処理について説明する。図２１に示すように、特徴量インデクス再編成部１３２は、すべてのインデクスノード１５００に対して、ステップＳ５１１～ステップＳ５１６の処理を繰り返す。
　特徴量インデクス再編成部１３２は、インデクスノード１５００のインデクス参照頻度を読み取る（Ｓ５１２）。具体的に、特徴量インデクス再編成部１３２は、インデクスノード１５００のインデクス参照回数１５０６、インデクス更新時刻１５０７及びインデクス参照時刻１５０８を含むインデクス参照頻度を読み取る。
　そして、特徴量再編成部１３１は、インデクス参照頻度が下限閾値以下かを判定する（Ｓ５１３）。ステップＳ５１３では、上記したステップＳ４１３における判定と同様に、インデクス参照回数１５０６、インデクス更新時刻１５０７及びインデクス参照時刻１５０８をもとにインデクス参照頻度と下限閾値とを比較する。下限閾値は、インデクス参照回数１５０６、インデクス更新時刻１５０７及びインデクス参照時刻１５０８をもとに、当該インデクスノードを削除対象とするか否かを判断する閾値である。
　ステップＳ５１３において、インデクス参照頻度が下限閾値以下であると判定された場合には、特徴量再編成部１３１は、当該インデクスノードを削除対象のインデクスノードとして記憶する（Ｓ５１４）。一方、ステップＳ５１３において、インデクス参照頻度が下限値以下ではないと判定された場合には、特徴量再編成部１３１は、ステップＳ５１５の処理を実行する。
　そして、特徴量再編成部１３１は、インデクス参照頻度が上限閾値以上かを判定する（Ｓ５１５）。ステップＳ５１５における上限閾値は、インデクス参照回数１５０６、インデクス更新時刻１５０７及びインデクス参照時刻１５０８をもとに、当該インデクスノードが頻繁に検索され、当該インデクスノードを分割対象とするか否かを判断する閾値である。
　図２０に戻り、特徴量再編成部１３１は、特徴量インデクス情報１４４から、再編成方法決定処理において削除対象または分割対象のインデクスノードを含み、再編成箇所として記憶されたインデクス参照を取得する（Ｓ５０２）。
　そして、特徴量再編成部１３１は、ステップＳ５０２で取得したインデクス参照に対応するインデクスデータのインデクスノードを変更する（Ｓ５０３）。具体的に、特徴量再編成部１３１は、上記したステップＳ５１４で削除対象として記憶したインデクスノードを削除したり、ステップＳ５１６で分割対象として記憶したインデクスノードを分割したりする。
　なお、特徴量再編成部１３１は、上記処理により、削除したり分割したりしたインデクスノードについて、インデクス参照頻度をもとに、削除したインデクスノードを復活させたり、分割したインデクスノードを統合させたりしてもよい。
　また、特徴量再編成部１３１による第２の特徴量算出処理、第３の特徴量算出処理及び特徴量圧縮処理、または特徴量インデクス再編成部１３２による特徴量インデクス再編成処理において、ユーザに算出した特徴量算出単位や特徴量の圧縮箇所やインデクスデータの再編成箇所を提示して、算出結果を利用するか否かを選択させてから新たな特徴量を算出したり特徴量インデクスを再編成したりするようにしてもよい。
　例えば、時系列データの内容や、ユーザの検索ニーズが変化した場合には、上記処理により算出された新たな特徴量算出単位を選択することにより、より効果的な検索を行うことが可能となる。また、一時的に時系列データの内容が変化したり、ユーザの検索方法が変化したりしただけの場合には、ユーザは、提示された新たな特徴量算出単位を選択せずに、現在の特徴量算出単位を利用することにより所望の検索を継続することができる。
　図２２及び図２３を参照して、ユーザによる特徴量算出単位の選択入力について説明する。図２２及び図２３は、特徴量算出単位の選択画面の一例である。
　図２２に示す表示画面例２１０及び２２０は、上記した特徴量再編成処理のうち、第２の特徴量算出処理により第２の特徴量として算出された新たな特徴量算出単位の選択画面である。例えば、表示画面例２１０には、特徴量に対応するクエリ（Query List）αについて特徴量算出単位が１分（1 minute）に設定されていることが示されている。また、表示画面例２２０には、現在の特徴量算出単位が１分（1 minute）であり、新たに算出された特徴量算出単位が５分（5 minutes）であることが示されている。ユーザは、表示画面例２２０の「OK」ボタンを押下することにより、５分単位で特徴量を算出させることを選択できる。また、ユーザは、「Cancel」ボタンを押下することにより、特徴量算出単位を変更せずに、現在の特徴量算出単位を継続利用して、所望の特徴量を算出させることができる。
　また、図２３に示す表示画面例２３０も、図２２と同様に、第２の特徴量算出処理により第２の特徴量として算出された新たな特徴量算出単位の選択画面である。ユーザは、コマンドプロンプト「[y/n]>」に続いて、「y」コマンドを入力することにより、新たな特徴量算出単位として５分（5 minutes）を選択することができる。また、特徴量算出単位を変更する必要がない場合には、「n」コマンドを入力することにより、特徴量算出単位を変更せずに、現在の特徴量算出単位を継続利用して、所望の特徴量を算出させることができる。
（４）他の実施の形態
　また、上記実施の形態では、時系列データの一例として、タクシーの速度情報や位置情報が所定間隔で蓄積され、所定の間隔（特徴量算出単位）でタクシーの最大速度や最小速度を特徴量として算出する場合について説明したが、かかる例に限定されない。例えば、特徴量として、データの欠損の有無を示す情報を算出して、データが欠損しているか否かを特徴量から判定するようにしてもよい。
　この場合も、上記実施形態と同様に、特徴量を算出する単位を圧縮単位より小さい単位で特徴量を算出する。これにより、圧縮単位を１日単位などの大きい単位とした場合でも、１分単位など細かい単位でデータが欠損しているかを判定することができるため、より詳細に高精度なデータ分析を効率よく行うことができる。
　また、上記実施の形態では、時系列データに含まれるタクシーの速度情報から、スピードを超過している時点などを検索しているが、かかる例に限定されず、時系列データに含まれる位置情報や方向情報などと、一方通行や一時停止など種々の交通情報を含む地図情報とを利用して、タクシーの交通違反状況を検索するようにしてもよい。
　１００　　データ管理装置
　１１０　　データ蓄積部
　１１１　　データ受付部
　１１２　　加工部
　１１３　　特徴量算出部
　１１４　　データ圧縮部
　１１５　　書込部
　１１６　　特徴量書込部
　１１７　　データ書込部
　１２０　　データ検索部
　１２１　　検索受付部
　１２２　　検索評価部
　１２３　　検索部
　１２４　　特徴量検索部
　１２５　　データ検索部
　１２６　　読込部
　１２７　　特徴量読込部
　１２８　　データ読込部
　１３０　　データ再編成部
　１３１　　特徴量再編成部
　１３２　　特徴量インデクス再編成部
　１４０　　記憶装置
　１４１　　時系列データ情報
　１４２　　特徴量情報
　１４３　　特徴量参照情報
　１４４　　特徴量インデクス情報
　１４５　　検索履歴情報
　１４６　　特徴量算出情報

Claims (12)

  1. 　入力された時系列データから第１の単位でデータを取得するデータ受付部と、
    　前記第１の単位で取得したデータを圧縮するデータ圧縮部と、
    　前記第１の単位とは異なる第２の単位で取得したデータの特徴を示す特徴量を算出する特徴量算出部と、
    　を備えることを特徴とする、データ管理装置。
  2. 　前記第２の単位は前記第１の単位よりも小さい単位であり、
    　前記特徴量算出部は、前記第２の単位で取得したデータの特徴量を算出する
    　ことを特徴とする、請求項１に記載のデータ管理装置。
  3. 　前記第２の単位で取得したデータのデータ情報と、前記特徴量算出部により算出された該データの特徴量とを対応付けて記憶装置に書き込む書込み部を備える、
    　ことを特徴する、請求項２に記載のデータ管理装置。
  4. 　前記書込み部は、
    　前記第２の単位で取得データのデータ情報と、前記特徴量を検索するためのインデクスデータとを対応付けて前記記憶装置に書き込む
    　ことを特徴とする、請求項３に記載のデータ管理装置。
  5. 　前記時系列データの検索要求を受け付けるデータ検索部を備え、
    　前記データ検索部は、前記検索要求に含まれる検索範囲及び検索条件に対応する前記特徴量を検索し、
    　前記書込み部は、前記特徴量の検索結果を検索履歴情報として前記記憶装置に記憶する
    　ことを特徴とする、請求項３に記載のデータ管理装置。
  6. 　前記特徴量算出部により算出された特徴量を再編成する特徴量再編成部を備え、
    　前記検索履歴情報の前記検索範囲の時間幅と、前記第２の単位の時間幅とが異なる場合に、前記検索範囲の時間幅である第３の単位で取得したデータの第２の特徴量を算出する、
    　ことを特徴とする、請求項４に記載のデータ管理装置。
  7. 　前記特徴量再編成部は、
    　前記検索履歴情報の検索条件に複数の特徴量が含まれる場合に、該複数の特徴量を指定する条件を満たすか否かを示すフラグを第３の特徴量とする
    　ことを特徴とする、請求項６に記載のデータ管理装置。
  8. 　前記書込み部は、
    　前記検索履歴情報をもとに、前記特徴量と、該特徴量の参照回数、該特徴量の更新時刻または該特徴量の参照時刻を含む該特徴量の参照頻度情報とを対応付けて前記記憶装置に書き込む
    　ことを特徴とする、請求項５に記載のデータ管理装置。
  9. 　前記特徴量再編成部は、
    　前記特徴量の参照頻度情報が所定の閾値以下の場合に、該特徴量を圧縮対象の特徴量とする
    　ことを特徴とする、請求項８に記載のデータ管理装置。
  10. 　前記インデクスデータは、検索範囲、前記特徴量の範囲、親ノード及び子ノードを含む複数のインデクスノードで複数階層構成され、
    　前記書込み部は、前記検索履歴情報をもとに、各インデクスノードと、インデクスの参照回数、インデクスの更新時刻及びインデクスの参照時刻を含むインデクスの参照頻度情報とを対応付けて前記記憶装置に書き込む
    　ことを特徴とする、請求項５に記載のデータ管理装置。
  11. 　前記インデクスデータを再編成するインデクスデータ再編成部を備え、
    　前記インデクスデータ再編成部は、
    　前記インデクスの参照頻度情報が所定の閾値以下の場合に該当インデクスノードを削除対象とし、前記インデクスの参照頻度情報が所定の閾値以上である場合に該当インデクスノードを分割対象とする、
    　ことを特徴とする、請求項１０に記載のデータ管理装置。
  12. 　入力された時系列データを管理するデータ管理方法であって、
    　データ受付部が、入力された時系列データから第１の単位でデータを取得するステップと、
    　データ圧縮部が、前記第１の単位で取得したデータを圧縮するステップと、
    　特徴量算出部が、前記第１の単位とは異なる第２の単位で取得したデータの特徴を示す特徴量を算出するステップと、
    　を含むことを特徴とする、データ管理方法。
PCT/JP2015/050475 2015-01-09 2015-01-09 データ管理装置及びデータ管理方法 WO2016111002A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2015/050475 WO2016111002A1 (ja) 2015-01-09 2015-01-09 データ管理装置及びデータ管理方法
US15/329,067 US20170212935A1 (en) 2015-01-09 2015-01-09 Data management apparatus and data management method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/050475 WO2016111002A1 (ja) 2015-01-09 2015-01-09 データ管理装置及びデータ管理方法

Publications (1)

Publication Number Publication Date
WO2016111002A1 true WO2016111002A1 (ja) 2016-07-14

Family

ID=56355722

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/050475 WO2016111002A1 (ja) 2015-01-09 2015-01-09 データ管理装置及びデータ管理方法

Country Status (2)

Country Link
US (1) US20170212935A1 (ja)
WO (1) WO2016111002A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170083567A1 (en) * 2015-09-18 2017-03-23 Thermopylae Sciences and Technology High-dimensional data storage and retrieval
CN110502521B (zh) * 2019-08-28 2023-05-09 上海寰创通信科技股份有限公司 一种档案库的建立方法
US11366810B2 (en) * 2020-04-27 2022-06-21 Salesforce.Com, Inc. Index contention under high concurrency in a database system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010049533A (ja) * 2008-08-22 2010-03-04 Toshiba Corp データ表示装置
WO2011142026A1 (ja) * 2010-05-14 2011-11-17 株式会社日立製作所 時系列データ管理装置、システム、方法、およびプログラム
WO2012020456A1 (ja) * 2010-08-11 2012-02-16 株式会社日立製作所 時系列データ処理装置及びその方法
WO2013051101A1 (ja) * 2011-10-04 2013-04-11 株式会社日立製作所 時系列データ管理システム，および方法
WO2014073081A1 (ja) * 2012-11-08 2014-05-15 株式会社日立製作所 時空間データ管理システム、時空間データ管理方法、及びプログラム
JP2014106655A (ja) * 2012-11-27 2014-06-09 Hitachi Ltd 時系列データベースの設定自動生成方法、設定自動生成システム並びに監視サーバ

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4992301B2 (ja) * 2006-06-05 2012-08-08 富士通株式会社 検索処理方法及び装置
US7949647B2 (en) * 2008-11-26 2011-05-24 Yahoo! Inc. Navigation assistance for search engines

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010049533A (ja) * 2008-08-22 2010-03-04 Toshiba Corp データ表示装置
WO2011142026A1 (ja) * 2010-05-14 2011-11-17 株式会社日立製作所 時系列データ管理装置、システム、方法、およびプログラム
WO2012020456A1 (ja) * 2010-08-11 2012-02-16 株式会社日立製作所 時系列データ処理装置及びその方法
WO2013051101A1 (ja) * 2011-10-04 2013-04-11 株式会社日立製作所 時系列データ管理システム，および方法
WO2014073081A1 (ja) * 2012-11-08 2014-05-15 株式会社日立製作所 時空間データ管理システム、時空間データ管理方法、及びプログラム
JP2014106655A (ja) * 2012-11-27 2014-06-09 Hitachi Ltd 時系列データベースの設定自動生成方法、設定自動生成システム並びに監視サーバ

Also Published As

Publication number Publication date
US20170212935A1 (en) 2017-07-27

Similar Documents

Publication Publication Date Title
KR102462781B1 (ko) Kvs 트리 데이터베이스
TWI702506B (zh) 用於合併樹廢棄項目指標之系統、機器可讀媒體及機器實施之方法
CN110383261B (zh) 用于多流存储装置的流选择
US11461286B2 (en) Fair sampling in a hierarchical filesystem
CN110268394A (zh) Kvs树
TW201841123A (zh) 用於維護操作之合併樹修改
KR102423125B1 (ko) 데이터베이스 동기화
JP6638821B2 (ja) データベースのアーカイビング方法及び装置、アーカイビングされたデータベースの検索方法及び装置
CN108572789B (zh) 磁盘存储方法和装置、消息推送方法和装置及电子设备
CN106970958B (zh) 一种流文件的查询与存储方法和装置
US9104729B2 (en) Querying spatial events in a vehicle network, and optimized querier
WO2016111002A1 (ja) データ管理装置及びデータ管理方法
US20190034466A1 (en) Database archiving method and device for creating index information and method and device of retrieving archived database including index information
CN107704507B (zh) 数据库处理方法和设备
JP2014153961A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP5753056B2 (ja) 検索装置、文書管理方法、及び文書検索システム
CN110704417A (zh) 一种元数据管理方法、设备及存储介质
JP2015184685A (ja) 情報記憶システム
KR20160091471A (ko) 환형큐 기반의 인-메모리 데이터베이스 시스템에서의 데이터 처리방법
JP5817774B2 (ja) 診療記録管理システム及びプログラム
CN105512232B (zh) 数据存储方法及装置
CN112685557A (zh) 可视化信息资源管理方法及装置
KR20110038246A (ko) 데이터 저장 장치 및 방법
JP6193491B2 (ja) 計算機システム
JP6627809B2 (ja) データベース処理装置、システム、方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15876877

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15329067

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15876877

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP