WO2014042147A1 - データ集中予測装置、データ集中予測方法、及びそのプログラム - Google Patents

データ集中予測装置、データ集中予測方法、及びそのプログラム Download PDF

Info

Publication number
WO2014042147A1
WO2014042147A1 PCT/JP2013/074367 JP2013074367W WO2014042147A1 WO 2014042147 A1 WO2014042147 A1 WO 2014042147A1 JP 2013074367 W JP2013074367 W JP 2013074367W WO 2014042147 A1 WO2014042147 A1 WO 2014042147A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
learning
time
prediction
concentration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/074367
Other languages
English (en)
French (fr)
Inventor
健児 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2014535547A priority Critical patent/JPWO2014042147A1/ja
Priority to US14/427,038 priority patent/US20150235133A1/en
Publication of WO2014042147A1 publication Critical patent/WO2014042147A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a data concentration prediction apparatus that extracts significant information included in time-series data for the purpose of predicting future data concentration, and performs learning and prediction processing based on this information, a method thereof, and a program thereof. .
  • time-series data refers to data related to natural phenomena such as earthquake waveforms and tsunami fluctuations, data related to the status of each part obtained from sensors installed in automobiles and factory lines, data related to changes in sales volume, and pedestrians.
  • Data on congestion due to mobile objects such as, content and number of articles posted over time on social media on the Web such as Twitter (Twitter: registered trademark) and blog (Blog), power consumption in daily life
  • Twitter Teleter: registered trademark
  • Blog blog
  • useful knowledge extracted from these various time series data varies depending on the type and purpose of use of the data.
  • a criterion for determining whether a given time series pattern pattern of data structure appearing in time series data
  • Examples include mathematical models that predict future observations based on observations. Extraction of useful knowledge using such an index is realized by learning an essential data structure existing behind time-series data accumulated from the past to the present.
  • the judgment criteria and mathematical model algorithms often employ statistical methods based on a variety of empirically obtained data, so generally they are used to judge normal or abnormal or predict future observations. Such accuracy becomes more stable as the accumulated amount of learning data (useful knowledge to be extracted and stored) increases to some extent.
  • the processing accuracy of determination and prediction can be improved by performing additional processing as learning data.
  • the newly accumulated learning data is periodically fetched, and the fetched new learning data is used so far.
  • a function to re-learn together with the accumulated learning data is required.
  • the appropriateness as additional learning data is automatically automatically evaluated (determined) with respect to time-series data accumulated over time, and A mechanism for effectively re-learning the extracted appropriate additional learning data is required.
  • Patent Documents 1 to 4 and Non-Patent Document 1 are known as related technologies in the fields of machine learning and data mining.
  • Patent Document 1 a polynomial regression order is calculated from time series data of sales volume results for the purpose of improving the accuracy of sales volume prediction and improving the maintainability of the prediction model.
  • a method of extracting the actual sales volume of the month as an abnormal value when out of range is disclosed.
  • it is expected that the sales amount prediction will be highly accurate by correcting the abnormal value extracted by the method based on the previous month's actual value.
  • the prediction model is updated in real time from the observation result of the moving object in the observation area, the future congestion is predicted, and the arrival of the future moving object is temporarily generated using the unsteady Poisson process model.
  • a method is disclosed.
  • the prediction model is updated with the moving body information represented by the matrix at the time of request as an initial value.
  • Patent Document 3 in a prediction system that predicts future values from past values of time-series data, values before the change point at which the values of time-series data deviate from the normal fluctuation tendency are excluded as noise. The technical content of using subsequent values for prediction is disclosed.
  • Patent Document 4 discloses a technique for detecting data at the time of occurrence of abnormality from time-series data input from various sensors and extracting time-series data in a predetermined fixed section before and after the detected data. The contents are disclosed.
  • Non-Patent Document 1 describes a technique called active learning for automatically evaluating the appropriateness as learning data.
  • a technical content for selecting a relatively appropriate one from a plurality of resampled learning data candidates using an existing passive learning algorithm is disclosed.
  • Patent Document 1 the abnormal value of the time series data is corrected (Patent Document 1), and the time series data at the prediction request time is used as learning data (Patent Document 2), or the time series data after the change point is used as learning data ( Patent Document 3)
  • Patent Document 2 the time series data at the prediction request time is used as learning data
  • Patent Document 3 the time series data after the change point is used as learning data
  • Patent Document 4 The technique or a technique combining these techniques does not improve the accuracy of a prediction model for predicting the change of time series data itself.
  • the fixed interval for extracting peripheral data at the time of occurrence of an abnormality disclosed in Patent Document 4 is a uniform interval set in advance, and the interval can be flexibly associated with various data fluctuation trends. There is no disclosure of the technical content of setting.
  • Patent Document 3 does not disclose any technical content for extracting significant information included in time-series data.
  • the active learning method described in Non-Patent Document 1 there is no disclosure of technical contents for determining whether given learning data is absolutely appropriate.
  • An object of the present invention is to provide a data concentration prediction apparatus, method, and program for accurately predicting subsequent data concentration in time-series data in order to improve the disadvantages of the related art.
  • data input means for receiving data transmitted from a plurality of nodes together with corresponding attribute data and capturing it as time-series data, and the captured time-series data
  • a data concentration prediction device comprising: data storage means for storing data; and data concentration prediction means for analyzing the data structure of the stored time-series data and predicting subsequent data concentration, the data concentration prediction means comprising: The time series data captured by the data input means is temporarily stored for each preset unit time, and the time immediately before the input time of each time series data is used as a reference using the temporary storage processing data.
  • a learning data extraction processing unit that continuously extracts and processes additional learning data necessary for prediction, and the learning data extraction processing unit stores the additional learning data extracted continuously in a data storage unit.
  • the learning data storage processing function to be processed is provided.
  • data input means for receiving data transmitted from a plurality of nodes together with corresponding attribute information and taking it in as time series data
  • data storage means for storing the fetched time series data
  • a data concentration prediction device that analyzes the data structure of the stored time-series data and predicts data concentration that occurs later, wherein the data concentration prediction device is used for predicting data concentration.
  • a learning data extraction processing unit for extracting and processing time-series data is provided, and the time-series data captured by the data input means is temporarily stored over time for each preset unit time.
  • each time series data is set based on time series data within a certain period in the past based on the time immediately before each input time
  • the time series data related to the determination is continuously added as additional learning data necessary for the prediction of the subsequent data concentration
  • the additional learning data extracted in a continuous manner are collectively stored in the data storage means, and the contents of each series of steps are sequentially executed by the learning data extraction processing unit and stored in the data storage means collectively.
  • the prediction processing unit of the data concentration prediction means predicts data concentration based on the data structure of the time series data specified by the added additional learning data and the existing learning data.
  • data input means for receiving data transmitted from a plurality of nodes together with corresponding attribute information and taking it in as time series data
  • data storage means for storing the taken time series data
  • a data concentration prediction device that analyzes the data structure of the stored time series data and predicts the data concentration that will be generated later, the time series data captured by the data input means
  • Data temporary storage processing function that temporarily stores data over time at preset unit times, and using this temporary storage processing data, each time series data is a past fixed value based on the time immediately before each input time.
  • Fluctuation tolerance judgment function for judging whether or not the fluctuation tolerance is set based on time-series data within a period
  • a learning data extraction function that continuously extracts time series data required for the determination as additional learning data necessary for subsequent prediction of data concentration when it is determined that the movement allowable range is deviated, and this continuous extraction Predicting data concentration based on the learning data storage processing function that stores additional learning data in the data storage means collectively, and the data structure of the time series data specified by the additional learning data and existing learning data stored together
  • the prediction processing function is provided, and each of these information processing functions is realized by a computer provided in the data concentration prediction means.
  • the learning data extraction processing unit functions effectively when significant additional learning data is continuously extracted from the captured time-series data. In this way, it is possible to predict the subsequent data concentration in time-series data with high accuracy in real time. It is possible to provide an excellent data concentration prediction apparatus, a method thereof, and a program thereof.
  • reference numeral 81 shown in FIG. 1 indicates a data concentration prediction apparatus that extracts feature points of time-series data received from the outside and predicts subsequent data concentration based on the feature points.
  • the data concentration prediction device 81 includes data input means 11 that receives data transmitted from a plurality of nodes together with corresponding attribute information and takes it in as time series data, data storage means 21 that stores the taken time series data, A data concentration prediction means 31 for analyzing the data structure of the stored time-series data and predicting the later data concentration;
  • a node is an element constituting a network.
  • a computer network it refers to a server, client, hub, router, access point, etc.
  • a sensor network a sensor terminal is Point to.
  • data for predicting data concentration various data such as information sensed by various sensors, the number of posts on blogs and Twitter, response speed indicating the strength of earthquake shaking, daily power consumption, etc. are assumed. .
  • the data concentration prediction means 31 temporarily stores the time series data taken in by the data input means 11 over time for each preset unit time (unit aggregation time), and uses this temporary storage processing data for each time. Addition necessary for prediction of data concentration that follows the time-series data that deviates from the preset allowable range based on the time-series data in the past fixed period based on the time immediately before the input time of the series data.
  • a learning data extraction processing unit 41 that continuously performs extraction processing as learning data is provided.
  • the data storage means 21 is performed by the learning data storage section 21A for storing additional learning data continuously extracted by the learning data extraction processing section 41, and the data concentration prediction means 31 based on the stored additional learning data. And a learning process information storage unit 21B for storing result information of various calculation processes.
  • the learning data extraction processing unit 41 adds additional learning data indicating a characteristic behavior in comparison with the fluctuation trend of the latest past several times extracted continuously (a time series of the time in the vicinity when necessary for learning).
  • Learning data storage processing function 41 ⁇ / b> A for collectively storing data in the learning data storage unit 21 ⁇ / b> A.
  • the storage processing in the learning data storage unit 21A is not performed, and the deviation is out of the allowable range.
  • the storage process is performed once at a time.
  • the learning data extraction processing unit 41 can extract a period in which valid additional learning data continuously appears as an effective learning period.
  • the data concentration prediction means 31 includes an information totaling unit 61 that aggregates prediction attribute information (attribute data related to data concentration prediction) included in time-series data as aggregated data in association with unit time.
  • the prediction attribute information is information related to an attribute for which future data concentration is to be predicted among the attributes included in the time series data.
  • the information totaling unit 61 includes a learning data totaling function 61A that aggregates the prediction attribute information included in the additional learning data collectively stored in the learning data storage unit 21A as learning totaling data in association with the unit time, and is previously input by external input.
  • Predictive data totaling function that aggregates prediction attribute information included in time-series data captured by the data input means 11 in accordance with a prediction request issued at a set time interval (prediction interval) as predicted total data in association with unit time 61B.
  • prediction interval set time interval
  • information relating to the prediction interval set in advance by external input is stored in the data storage unit 21.
  • the information related to the prediction interval is acquired by the prediction processing unit 71 from the data storage unit 21 and a prediction request is made to the data input unit 11 along the information.
  • the data concentration prediction means 31 calculates influence data indicating the influence of each node on the predicted value related to data concentration in relation to the learning total data output from the learning data totaling function 61A, and this influence
  • the learning processing unit 51 that stores the data and the learning total data used for the calculation in the learning processing information storage unit 21B, and the predicted total data and the learning processing unit that the above-described information totaling unit 61 totals using the prediction data totaling function 61B
  • a prediction processing unit 71 that calculates the predicted value of the prediction attribute information based on the influence data calculated by 51.
  • the prediction processing unit 71 has a prediction result output function 71A that transmits a prediction result to the outside of the apparatus. Further, the prediction processing unit 71 may store the calculated prediction value in the data storage unit 21.
  • the learning processing unit 51 calculates the influence data calculated in real time and A data update processing function 51A for updating the stored information in the learning process information storage unit 21B with the learning total data used for the calculation, and the learning total data stored in advance in the learning process information storage unit 21B and the information totaling unit in real time And a re-learning processing function 51B for calculating influence data using the combined processing with the learning total data acquired from 61.
  • the learning data extraction processing unit 41 when extracting additional learning data, classifies the time series data fetched from the data input means 11 for each unit time and temporarily stores it in a volatile memory (not shown). (Temporary data storage processing function), and based on this, the variation allowable range for the prediction attribute information included in the time-series data of real-time time is calculated.
  • the learning data extraction processing unit 41 determines the allowable variation range based on the average value and the variance of the prediction attribute information included in the time-series data in the past certain period viewed from each input time. It is configured to calculate and set.
  • the calculation method of the above-described variation allowable range by the learning data extraction processing unit 41 will be described.
  • the horizontal axis indicating time is divided for each unit time (unit total time). For example, the time between T and T + 1 is time T + 1.
  • the learning data extraction processing unit 41 counts the time of the total U continuing from there (the latest past U time: TU + 1,..., T) is specified as a certain period in the past, and based on the average value and variance of the prediction attribute information included in the time series data transmitted within the most recent past U time, “average value ⁇ ⁇ ⁇ standard deviation (positive variance) Fluctuation tolerance determined by “the square root of” is calculated ( ⁇ : sensitivity to deviation).
  • the sensitivity ⁇ which is an externally input parameter, is an important element of the above formula, and thus greatly affects the extraction of additional learning data. Therefore, the sensitivity ⁇ is performed based on the additional learning data. This also has a significant impact on the accuracy of data concentration predictions. Therefore, in the first embodiment, a temporary prediction value is separately calculated based on some temporarily set ⁇ values, and the ⁇ value corresponding to the one having the best prediction accuracy among the plurality of temporary prediction values. Was adopted. The temporary prediction value here is calculated using time-series data stored in the past.
  • the learning data extraction processing unit 41 is configured to determine whether or not the prediction attribute information at the real-time time deviates from the fluctuation allowable range calculated above (variation allowable determination function). That is, the prediction attribute information at the real-time time is determined not to deviate if it is within the allowable variation range, and is determined to be deviated if it is outside the allowable variation range.
  • the learning data extraction processing unit 41 that has determined that the fluctuation allowable range is deviated is configured to extract time-series data related to the determination as additional learning data.
  • the extraction means that the learning data extraction processing unit 41 includes time-series data (including time-series data of the time in the vicinity thereof if necessary for learning) and other time-series data. It means to make a state that can be distinguished.
  • the learning data extraction processing unit 41 determines from the configuration of the formula “average value ⁇ ⁇ ⁇ standard deviation” that there is a deviation unless unexpected data due to a sudden machine trouble or the like appears. Is performed continuously. For this reason, the time-series data related to the determination is continuously extracted by the learning data extraction processing unit 41.
  • the learning data extraction processing unit 41 outputs the time-series data corresponding to the continuous B times all at once. (According to the above example, the output is not divided into B times per unit time).
  • time is taken on the horizontal axis
  • prediction attribute information is taken on the vertical axis.
  • various data such as response speed indicating the intensity of earthquake shaking, measurement information by various sensors, number of posts on Twitter and blog, daily power consumption, etc. are assumed.
  • the section “R (1), R (2), R (3)” sandwiched between bold lines is the time at which the observed value for each time deviates from the allowable fluctuation range (the most recent past number). It shows an effective learning period that is a continuous period of time (a time greatly changing from the average value of the time).
  • the range defined by the effective learning period is a waveform fluctuation state such as R (1), R (2), and R (3) shown in FIG. It changes flexibly according to. For this reason, the learning data extraction processing unit 41 can accurately extract additional learning data for prediction of subsequent data concentration within a necessary and sufficient range.
  • this effective learning period changes in accordance with the allowable fluctuation range determined by the above-mentioned “average value ⁇ ⁇ ⁇ standard deviation” relating to the observed value of a certain period in the past.
  • the past time is regarded as the latest time (range of a certain period in the past) ”and“ sensitivity to deviation ( ⁇ ) ”. That is, by changing the value of U and the value of ⁇ , the learning data extraction processing unit 41 can extract additional learning data required as appropriate over the entire area of the flexible effective learning period.
  • Preprocessing the pre-processing executed by the learning processing unit 51 described above will be described.
  • This pre-processing is obtained by calculation processing or the like so that when new additional learning data is extracted / added by the learning data extraction processing unit 41, efficient re-learning (influence data calculation, etc.) can be realized.
  • the processed original data preprocess data
  • preprocess data is stored.
  • a regression coefficient can be obtained as a learning result.
  • a configuration that stores the values of the objective variable (vector) and the explanatory variable (matrix) processed from the original data, in the subsequent learning stage (learning phase)
  • efficient relearning using existing preprocessing data becomes possible.
  • the learning processing unit 51 calculates influence data
  • the influence data and the learning aggregate data used for the calculation are displayed in advance.
  • the learning process information storage unit 21B stores the processed data as processing data. Further, when the preprocess data is stored in advance in the learning process information storage unit 21B, the storage information as preprocess data is updated by the data update processing function 51A. The preprocess data thus saved / updated is used when calculating influence data by the relearning process function 51B as described above.
  • the data input means 11 inputs time series data from the outside of the apparatus and sends it to the learning data extraction processing unit 41 (FIG. 2: S201).
  • the learning data extraction processing unit 41 calculates the allowable variation range according to the latest variation tendency of the prediction attribute information included in the time-series data received from the data input unit 11, and also calculates the time at the real time. It is determined whether or not the prediction attribute information included in the series data deviates from the fluctuation allowable range (FIG. 2: S202).
  • the learning data extraction processing unit 41 determines that the observed value is “average value ⁇ If it is outside the range specified by “ ⁇ ⁇ standard deviation”, it is determined that it is out of the allowable fluctuation range (that it is out of the tendency of the latest past U time) (FIG. 2: S202 / Yes), and The time-series data related to the determination is extracted as additional learning data, and the process proceeds to the subsequent time-series data determination process (FIG. 2: S203). At this time, if necessary for learning, the learning data extraction processing unit 41 also extracts time-series data around the time required for the determination (FIG. 2: S203).
  • the learning data extraction processing unit 41 does not deviate from the fluctuation allowable range ( The process proceeds to a determination process of subsequent time series data without extracting the time series data related to the determination (FIG. 2: S202 / No).
  • the learning data extraction processing unit 41 which continuously determines that the observed value at the real time time is out of the allowable fluctuation range and continuously extracts the time series data related to the determination, Time series data extracted when time series data that does not deviate from the range appears (including time series data at a time in the vicinity thereof when necessary for learning) is collectively stored in the learning data storage unit 21A. Process (FIG. 2: S204).
  • the information totaling unit 61 aggregates the prediction attribute information included in the additional learning data collectively stored in the learning data storage unit 21 ⁇ / b> A as the learning total data in association with the unit time, and stores this in the learning processing unit 51. Transmit (FIG. 2: S205).
  • the learning processing unit 51 calculates influence data indicating the influence of each node on the data concentration in relation to the learning total data received from the information totaling unit 61 (FIG. 2: S206).
  • the data and the learning total data used for the calculation are stored in the learning processing information storage unit 21B (FIG. 2: S207).
  • the learning process unit 51 uses the data update processing function 51A to calculate the influence data calculated in real time
  • the storage information in the learning processing information storage unit 21B is updated with the learning total data used for the calculation (FIG. 2: S207).
  • the learning processing unit 51 uses the re-learning processing function 51B to perform real-time information on the stored learning total data.
  • the learning total data acquired from the totaling unit 61 is combined and used to calculate influence data (FIG. 2: S206).
  • the data update processing function 51A updates the storage information in the learning processing information storage unit 21B with this influence data and the learning total data used for the calculation (FIG. 2: S207).
  • the additional learning data obtained by the extraction processing of the learning data extraction processing unit 41 described above is limited to time series data corresponding to a time exhibiting a particularly characteristic behavior as compared with the tendency of the most recent past several times. Therefore, when it is necessary to extract all knowledge regardless of the degree of data fluctuation, the extraction process is not executed, or control is performed by adjusting parameters (U, ⁇ ), etc. Also good.
  • the determination is performed.
  • the time series data may be configured not to be stored in the learning data storage unit 21A.
  • the learning data extraction processing unit 41 may store and process additional learning data only when the determination to deviate from the fluctuation allowable range is performed at a certain time (within a certain period). In this way, data that is not significant due to a sudden machine trouble or the like can be eliminated, so that it is possible to improve the accuracy of determination and subsequent prediction.
  • the data input means 11 captures time-series data for data concentration prediction in response to a prediction request issued at a preset time interval (prediction interval) and transmits it to the information aggregating unit 61 (FIG. 3: S208). ). Subsequently, the information aggregation unit 61 aggregates the prediction attribute information included in the time-series data received from the data input unit 11 as the prediction aggregation data in association with the unit time, and predicts this by the prediction data aggregation function 61B. The data is transmitted to the processing unit 71 (FIG. 3: S209).
  • the prediction processing unit 71 that has received the predicted total data calculates a predicted value for data concentration based on the predicted total data and the influence data calculated by the learning processing unit 51. At that time, the prediction processing unit 71 stores the calculated predicted value in the data storage unit 21 as necessary (FIG. 3: S210). The prediction processing unit 71 transmits the prediction result to the outside of the apparatus by the prediction result output function 71A (FIG. 3: S211).
  • each step in each of the above steps S201 to S211 may be programmed and the series of each control program may be realized by a computer.
  • the learning data extraction processing unit 41 can automatically extract additional learning data over the entire effective learning period adapted to the waveform width and inflection. It is possible to automatically avoid situations such as excessive data collection and lack of necessary data.
  • a data concentration prediction apparatus according to a second embodiment of the present invention will be described with reference to FIGS.
  • the same reference numerals are used for the same constituent members as those of the first embodiment described above.
  • the text data posted on Twitter registered trademark
  • the number of future posts to the specified topic (topic) is predicted.
  • the operation will be described. That is, in the second embodiment, the number of posts is adopted as the prediction attribute information (attribute data related to data concentration prediction), and the number of posts at the S time point viewed from a specific time in real time is predicted.
  • the topic (or a plurality of topics) for which the number of future postings is to be predicted is designated in advance by an external input or the like.
  • the data concentration prediction apparatus 82 has attributes corresponding to Twitter data (Twitter data) transmitted from users (senders) as a plurality of nodes ND (1 to n).
  • Data input means 12 received via the network 92 together with information and fetched as time series data, data storage means 21 for storing the fetched time series data, and data generated later by analyzing the data structure of the stored time series data
  • Data concentration prediction means 32 for predicting concentration.
  • the Twitter data here refers to text data tweeted (posted) on Twitter and information (“tweet time”, “tweeted node”, “topic to which the text data belongs” input at the same time) Each information).
  • the data input means 12 includes a learning data input unit 12A that inputs Twitter data for extracting learning data over time, an attribute information input unit 12B that inputs attribute information for each node associated with each Twitter data, A prediction data input unit 12C for inputting Twitter data (prediction data) for data concentration prediction in response to a prediction request issued at a preset time interval (prediction interval).
  • a learning data input unit 12A that inputs Twitter data for extracting learning data over time
  • an attribute information input unit 12B that inputs attribute information for each node associated with each Twitter data
  • a prediction data input unit 12C for inputting Twitter data (prediction data) for data concentration prediction in response to a prediction request issued at a preset time interval (prediction interval).
  • the attribute information input unit 12B uses, as the node attribute information, the Twitter client for each node, the number of tweets within the effective learning period, the average number of comments, the number of trackbacks, the number of replies, and the number of retweets within the effective learning period. Information such as the value, the number of follow-ups within the effective learning period, and the maximum value of the number of followers is acquired.
  • the data concentration prediction unit 32 divides the Twitter data taken in by the data input unit 12A for each preset unit time (unit aggregation time) and performs temporary storage processing over time, and uses the temporary storage processing data. Additional learning necessary for predicting data concentration that follows the Twitter data that deviates from the fluctuation tolerance set in advance based on the Twitter data within a certain period in the past, based on the time immediately before the input time of each Twitter data.
  • a learning data extraction processing unit 42 that performs continuous extraction processing as data is provided.
  • the data storage unit 21 includes a learning data storage unit 21A that stores additional learning data continuously extracted by the learning data extraction processing unit 42, and various calculations performed by the data concentration prediction unit 32 based on the stored additional learning data. And a learning processing information storage unit 21B for storing processing result information.
  • the learning data extraction processing unit 42 has a learning data storage processing function 42A for storing additional learning data extracted continuously in the learning data storage unit 21A.
  • the data concentration prediction unit 32 generates influence data indicating the influence of the node on the data concentration by a calculation function incorporating a regularization method for suppressing overlearning based on the additional learning data acquired from the learning data storage unit 21A.
  • a learning processing unit 52 that performs calculation processing, an information totaling unit 62 that executes data totaling processing using attribute information for each node acquired from the attribute information input unit 12B, and a predetermined time interval (prediction interval)
  • a prediction processing unit 72 that predicts data concentration based on prediction data that the prediction data input unit 12C captures over time in response to a predicted request.
  • the influence of the node is the influence of the node on the predicted value of data concentration. That is, the influence data is data indicating how much each node contributed to the concentrated transmission at a time in the vicinity of the concentrated transmission of data.
  • the prediction processing unit 72 acquires information related to the prediction interval from the data storage unit 21 and makes a prediction request to the data input unit 12 along the information.
  • the learning processing unit 52 classifies the text data included in the additional learning data acquired from the learning data storage unit 21A for each topic, and learns classification information for each topic (node information, time information, text data of Twitter data belonging to the topic). ), And the prediction processing unit 72 classifies the prediction data taken in by the prediction data input unit 12C over time according to the prediction request issued at the prediction interval, and classifies the prediction data. Prediction classification function 72A for creating prediction classification information (node information, time information, text data of Twitter data belonging to the topic).
  • the information totaling unit 62 It has a grouping function 62C that executes grouping (grouping) and creates group information (information relating to a group to which each node belongs).
  • the information totaling unit 62 uses the learning classification information to associate the group information created by the grouping function 62C with the unit time, thereby cross-counting data (learning about group / time information for each topic) as learning total data.
  • a cross tabulation data as a prediction tabulation data by associating the group data created by the grouping function 62C using the learning classification function 62A and the grouping function 62C using the prediction classification information.
  • a prediction data totaling function 62B A prediction data totaling function 62B.
  • the learning data totaling function 62A and the prediction data totaling function 62B included in the information totaling unit 62 are collectively referred to as a group totaling function 63.
  • the learning processing unit 52 is configured to calculate the influence data described above based on the learning total data formed by the learning data totaling function 62A.
  • the prediction processing unit 72 executes the above-described data concentration prediction based on the predicted total data obtained by the totaling by the prediction data totaling function 62B and the influence data calculated by the learning processing unit 52, and thus the future. Is calculated so as to calculate a predicted value (a predicted value related to subsequent data concentration).
  • the prediction processing unit 72 has a prediction result output function 71A that outputs a predicted value of the calculated number of future posts to the outside of the apparatus. Further, the prediction processing unit 72 may be configured to store the predicted value for the calculation in the data storage unit 21.
  • the grouping of the above nodes is, for example, “What is a Twitter client?” “The number of tweets within the learning period is 1 to 100, 101 to 1000, or more than 1001?” Is the maximum number of followers for each attribute type, such as 1 to 1000 times or 1001 or more?
  • the group information is information in which a group is defined based on the commonality of attribute information of each node and each node is attributed to one or more groups.
  • final group information may be created based on the intersection of the results of grouping performed for each attribute type, if necessary.
  • a grouping may be performed by defining the node itself as a single group. In this way, it is possible to accurately grasp information on nodes that are particularly influential on Twitter.
  • the learning processing unit 52 stores the influence data calculated in real time and information obtained by processing the learning total data used for the calculation (total data processing information) in the learning processing information storage unit 21B as preprocessing data.
  • the preprocessing data is already stored together with the function to perform, the storage information as the preprocessing data in the learning processing information storage unit 21B based on the influence data calculated in real time and the total data processing information related to the calculation Is provided with a data update processing function 51A.
  • the learning processing unit 52 calculates the stored past total data processing information and the real time total data processing information when calculating the influence in real time.
  • the re-learning processing function 51B for calculating the influence data using this and the total influence of the group to which each node belongs based on the calculated influence of the group.
  • an influence processing function 52B for calculating influence data on nodes as force.
  • the learning data extraction processing unit 42 calculates a permissible variation range determined at each time based on the Twitter data fetched from the learning data input unit 12A and temporarily stored in the volatile memory by the following equations 1 and 2, and real time It is configured to continuously determine whether or not the total number of tweets (number of posts) as the predicted attribute information at the time deviates from the fluctuation allowable range.
  • the above formulas 1 and 2 evaluate the suitability of Twitter data observed at a certain time T ′ + 1 (real time) as additional learning data (learning data necessary for predicting subsequent data concentration). Used as an indicator.
  • y T ′ + 1 is the total number of tweets (number of posts) for all nodes at time T ′ + 1, Is an average value and a standard deviation calculated based on the number of tweets at a total U time (most recent past U time) that continues from the time T ′ as shown in Equation 2.
  • the sensitivity ⁇ to U and deviation is a parameter input from the outside.
  • the learning data extraction processing unit uses Twitter data related to the number of posts “y T ′ + 1 ” that deviates from the fluctuation allowable range shown on the left side of Equation 1 as additional learning data.
  • the structure which 42 extracts is employ
  • the learning data extraction processing unit 42 has the number of posts at the real-time time within a variation allowable range based on the average value of the number of posts within a certain period in the past (the most recent past U time) (Formula 1). It is determined that it is inappropriate as additional learning data (if not satisfied), and is determined to be appropriate as additional learning data if it is outside the allowable fluctuation range (if Expression 1 is satisfied).
  • the prediction processing unit 72 finally calculates the predicted value of the number of future posts based on the Twitter data as additional learning data extracted by the learning data extraction processing unit 42. It is configured. Therefore, the sensitivity ⁇ (formula 1) to the deviation used for the extraction of additional learning data greatly affects the accuracy of prediction. Therefore, also in the second embodiment, learning / prediction processing using previously stored past data is executed for a number of patterns of ⁇ values, and the ⁇ value having the best prediction accuracy is obtained. The prediction accuracy was improved by using the equation (1). Further, as an evaluation index when the value of ⁇ is determined in advance, a mean square error is adopted.
  • the learning data extraction processing unit 42 determines that the Twitter data related to the time T ′ + 1 is appropriate as additional learning data
  • the learning data extraction processing unit 42 uses the latest past S time necessary for learning the Twitter data related to the time T ′ + 1 of the determination. It is configured to extract together with the Twitter data concerning (T ′ + 1 ⁇ S, T ′ + 2 ⁇ S,..., T ′ + 1 ⁇ 1).
  • the learning data extraction processing unit 42 continuously determines that it is appropriate as additional learning data from the configurations of the above formulas 1 and 2, as long as no unexpected data appears.
  • the Twitter data (including the Twitter data related to the most recent past S time) at the time showing a large increase compared to the time is stored in the learning data storage unit 21A as additional learning data at a time. .
  • the learning data totaling function 62A totals the number of tweets at each time and each group based on the learning classification information acquired from the learning processing unit 52 and the group information input from the corresponding grouping function 62C.
  • the learning total data (cross total data) represented by 3 is created.
  • each row represents each time
  • each column represents each group.
  • the value of each element xtg represents the number of posts for each time, and the total number of tweets for each group is organized for each time.
  • the learning data totaling function 62A performs learning totaling data by performing a totaling operation about “what group tweeted at what time” to the learning classification information according to the unit time and group information specified in advance. Is configured to create.
  • the learning process information storage unit 21B is configured to perform storage processing.
  • influence data indicating the influence of a group is given by a matrix shown in the following equation 4. Further, the influence of each node is calculated based on the influence of the group.
  • each row represents how many times ahead in the future based on the unit time (unit counting time) (time from the reference time to the future ahead of the S time), and each column is Represents each group.
  • the value of each element ⁇ sg of the matrix represents the influence of each group.
  • the learning processing unit 52 is configured to calculate ⁇ that minimizes the above expression 5 as influence data indicating the influence of the group.
  • ⁇ is a parameter for adjusting the stability of the learning result referred to as a regularization parameter.
  • the influence of the node can be defined as the sum of the influence of the group to which the node belongs. That is, the learning processing unit 52 is configured to calculate the sum of the influence of the group to which each node belongs as the influence of the node based on the calculated influence ⁇ of the group by the influence processing function 52B. Yes.
  • the learning processing unit 52 calculates the influence for each node based on the influence of each group will be described with reference to FIG.
  • FIG. 9 shows an example in which the nodes ND (1) to ND (n) are grouped into three groups GP (1) to GP (3).
  • the nodes ND (1) and ND (2) belong only to the group GP (1).
  • Nodes ND (4) and ND (7) belong only to groups GP (2) and GP (3), respectively.
  • Node ND (3) belongs to both groups GP (1) and GP (2), and node ND (6) belongs to both groups GP (2) and GP (3).
  • (5) belongs to all of the groups GP (1) to GP (3).
  • the influence of the nodes ND (1) and ND (2) is equal to the influence of the group GP (1)
  • the influence of the nodes ND (4) and ND (7) is the group GP (2 ), Equal to the influence of GP (3).
  • the influence of node ND (3) belonging to both group GP (1) and GP (2) is calculated as the sum of the influence of group GP (1) and GP (2).
  • the influence of the node ND (6) is calculated as the sum of the influences of the groups GP (2) and GP (3).
  • the influence of the node ND (5) is calculated as a value obtained by adding all influences of the groups GP (1) to GP (3). That is, the influence of nodes belonging to a plurality of groups is increased.
  • the learning processing unit 52 having a calculation function that incorporates a regularization technique for suppressing overlearning uses the following formula 6 and formula 7 showing L1 regularization or formula 8 showing L2 regularization as elements of the formula 5. It is configured to execute the adopted process.
  • P o (x, ⁇ ) represents the value of the density function at x of the Poisson distribution with an average ⁇ .
  • the learning process information storage unit 21B after the storage process or the update process by the learning processing unit 52 is performed, as described above, X s and y s (s 1, 2,..., S) is stored, and in such a case, real-time learning total data (information cross-tabulated in the above formula 3) is received from the learning data totaling function 62A.
  • the learning processing unit 52 is configured to perform influence data calculation processing using the pre-processing data by the relearning processing function 51B.
  • the learning processing unit 52 when a new effective learning period is extracted by the learning data extraction processing unit 42, the learning processing unit 52 is aggregated data processing information based on additional learning data within the effective learning period. And calculates processing, obtains the X s and y s is a historical summary data processing information from the learning process information storage unit 21B, and calculation processing in this real time And X s and y s as the preprocess data are combined in the form shown in the following formula 9.
  • the learning processing unit 52 calculates the influence data in the same manner as described above and stores it in the learning processing information storage unit 21A. It is configured. In this way, the calculation for pre-existing learning data (calculation of pre-processing for obtaining X s and y s ) can be omitted. As a result, new learning of the influence of the node can be performed. Can be realized efficiently.
  • the learning aggregate data regarding the existing learning data may be recalculated.
  • the prediction processing unit 72 is configured to execute a prediction process based on influence data calculated by the learning processing unit 52 and separately obtained prediction data.
  • the number of posts at the most recent time including the time is used to predict the number of future posts, not only at a single time.
  • the number of posts at the most recent past time including the number of posts at the certain time is used.
  • the predicted total data created by the predicted data totaling function 62B is expressed in the following formula 11.
  • the prediction processing unit 72 is configured to calculate the predicted value of the number of future posts by using the predicted total data in the form of the above formula 10.
  • prediction data acquisition and prediction processing are performed at a time interval (prediction interval) specified in advance.
  • the learning data extraction processing unit 42 that has received the Twitter data from the learning data input unit 12A, the Twitter data at each unit time (each unit counting time) is appropriately added as additional learning data based on the above formulas 1 and 2. Is continuously determined (FIG. 7: S702).
  • the learning data extraction processing unit 42 executes the determination based on the above formulas 1 and 2 based on the number of posts of Twitter data (predicted attribute information) received from the learning data input unit 12A at the real time. (FIG. 7: S702), the Twitter data related to the determination that it is appropriate as additional learning data is continuously extracted together with the Twitter data of the latest past S time (FIG. 7: S703).
  • the learning data extraction processing unit 42 determines that the Twitter data related to the real time is appropriate as additional learning data (FIG. 7: S702 / Yes). (Including the Twitter data related to the latest past S time) is extracted, and the process proceeds to the subsequent Twitter data extraction process (FIG. 7: S703).
  • the learning data extraction processing unit 42 determines that the Twitter data is inappropriate as additional learning data, and the subsequent Twitter without extracting the Twitter data related to the determination. The process proceeds to data processing (FIG. 7: S702 / No).
  • the learning data extraction processing unit 42 that has continuously determined that it is appropriate as additional learning data as described above, includes Twitter data (including data related to the latest past S time) within the effective learning period related to the continuous determination.
  • the learning data storage unit 21 ⁇ / b> A collectively performs a storage process. When past learning data exists in the learning data storage unit 21A, it is additionally stored (FIG. 7: S704).
  • the learning data extraction processing unit 42 When the learning data extraction processing unit 42 collectively stores new Twitter data within the effective learning period in the data storage unit 21A (FIG. 7: S704), the learning processing unit 52 adds the new Twitter as additional learning data. Data is acquired from the data storage unit 21A (FIG. 7: S705).
  • the learning processing unit 52 classifies the new twitter data for each topic based on the three pieces of information of node information, time information, and text data.
  • the learning processing unit 52 transmits learning classification information obtained by this classification (information of Twitter data belonging to a single topic) to the information totaling unit 62 for each topic (FIG. 7: S705).
  • the attribute information input unit 12B that has received the attribute information for each node associated with each text data input to the learning data input unit 12A transmits the attribute information to the grouping function 62C (FIG. 7). : S706).
  • the grouping function 62C executes grouping (grouping) of all nodes related to Twitter data received within the effective learning period based on the attribute information for each node acquired from the attribute information input unit 12B. Information is transmitted to the learning data totaling function 62A (FIG. 7: S707).
  • the information tabulation function 62A creates learning tabulation data (cross tabulation data) in the form of the above expression 3 based on the learning classification information acquired from the learning processing unit 52 and the group information received from the grouping function 62C. At the same time, this is transmitted to the learning processing unit 52 (FIG. 7: S708).
  • the learning processing unit 52 that has received the learning total data from the learning data totaling function 62A acquires the past total data processing information that has been created and stored in advance from the learning processing information storage unit 21B.
  • the influence of the group is calculated in the form of the above expression 4, and each node belongs to the influence processing function 52B based on the value.
  • the influence data is calculated using the sum of the influence of the group as the influence of the node (FIG. 7: S709).
  • the influence data when calculating the influence data, if the past total data processing information is not stored in the learning processing information storage unit 21B, the above formula is based on the learning total data received from the learning data totaling function 62A in real time.
  • the influence of the group is calculated in the form of 4, and influence data indicating the influence of the node is calculated by the influence processing function 52B based on the value (FIG. 7: S709).
  • the learning processing unit 52 uses the expression 6 and the expression 7 indicating the L1 regularization or the expression 8 indicating the L2 regularization to influence the group that minimizes the value of the expression 5.
  • the force ⁇ is calculated in the format shown in Equation 4 above. According to the calculation function that adopts the regularization technique of the learning processing unit 52, overlearning can be suppressed, so that the stability of the learning result can be improved. (FIG. 7: S709).
  • the learning processing unit 52 uses the data update processing function 51A to update the information in the learning processing information storage unit 21B with the influence data calculated in real time and the total data processing information related to the calculation.
  • the learning processing unit 52 sends the influence data calculated in real time and the aggregated data processing information related to the calculation to the learning process information storage unit 21B. Storage processing is performed (FIG. 7: S710).
  • the prediction data input unit 12C inputs Twitter data for data concentration prediction in response to a prediction request issued at a preset time interval (prediction interval). At this time, information relating to “tweeted time”, “tweeted node”, and “topic to which the text data belongs” regarding each text data is also input.
  • the prediction data input unit 12C transmits Twitter data as prediction data including these pieces of information to the prediction processing unit 72 (FIG. 8: S711).
  • the prediction processing unit 72 classifies each acquired Twitter data for each topic based on three pieces of information of node information, time information, and text data.
  • the prediction processing unit 72 transmits prediction classification information (information of Twitter data belonging to a single topic) obtained by this classification to the information totaling unit 62 for each topic (FIG. 8: S712).
  • the attribute information input unit 12B captures the attribute information for each node associated with each text data received by the prediction data input unit 12C from the outside of the apparatus and transmits the attribute information to the information totaling unit 62 ( FIG. 8: S713).
  • the information totaling unit 62 uses the grouping function 62C to perform node grouping based on the node attribute information acquired from the attribute information input unit 12B, and transmits the created group information to the information totaling unit 62 (FIG. 8). : S714).
  • the information totaling unit 62 generates prediction totaling data (cross tabulation data) for each topic in the form of the above formula 11 based on the prediction classification information acquired from the prediction processing unit 72 and the group information received from the group creation unit 62C. This is created and transmitted to the prediction processing unit 72 (FIG. 8: S715).
  • the prediction processing unit 72 uses this influence data (form 4) and predicted summary data (form 11) received from the information summary unit 62, the number of future posts viewed from the time when the forecast data was observed is predicted. . That is, the prediction processing unit 72 calculates the predicted value of the number of future posts in the format of the above formula 10. At that time, the prediction processing unit 72 stores the predicted value for the calculation in the data storage unit 21 as necessary (FIG. 8: S716).
  • the prediction processing unit 72 outputs the predicted value of the calculated number of future posts to the outside of the apparatus by the prediction result output function 71A (FIG. 8: S717).
  • the Twitter client, node, etc. that acquired such a predicted value can grasp the predicted value related to future data fluctuations and take some measures as appropriate. Can be prevented.
  • each step in the above steps S701 to S717 may be programmed, and the series of control programs may be realized by a computer.
  • the learning data extraction processing unit 42 can extract the Twitter data within the period together with the effective learning period adapted to the variation tendency of various data by the method based on the above formulas 1 and 2. As a result, problems such as excessive data collection and data shortage can be automatically prevented.
  • the additional learning data significant for prediction of the data concentration extracted by the learning data extraction processing unit 42 is subjected to aggregation processing and the like, and the prediction processing unit based on the data after the processing 72 predicts the number of future posts. That is, by using the additional learning data for data concentration prediction extracted accurately as the original data, a highly reliable prediction value can be obtained, and thus the influence of the node causing the flame on Twitter can be obtained. It is possible to accurately grasp the force and prevent damage to reputation.
  • the number of unstable nodes (senders) can be limited to a preset number of groups (constants), and therefore cross tabulation Data and influence data can be calculated smoothly and the calculation result can be stabilized.
  • the calculation function that adopts the regularization method adopted in the learning processing unit 52 overlearning can be suppressed, so that it is possible to repeatedly obtain the influence of an accurate and stable node. .
  • the effective learning period can be automatically extracted and re-learned and the like can be automatically and efficiently performed. Can be improved. Therefore, this automation can reduce human costs and human error especially in actual application situations.
  • the case where is introduced has been described, only one of them may be introduced.
  • the data concentration prediction apparatus 82 employs a configuration in which the learning processing unit 52 acquires influence data from the learning processing information storage unit 21B and transmits the influence data to the prediction processing unit 72 (FIG. 8: S716).
  • this influence data may be configured such that the prediction processing unit 72 directly acquires it from the learning processing information storage unit 21B.
  • the information concerning the prediction interval set in advance by external input may be stored in a memory provided in the data storage unit 21. That is, the data input unit 12 may acquire information related to the prediction interval and input the prediction data along the information.
  • the above formula 1 is adopted in order to effectively grasp the upward trend of the number of posts. Based on this, the fluctuation allowable range was calculated and additional learning data was extracted (FIG. 7: S702, S703). However, when it is desired to accurately grasp not only the upward trend of data but also the downward trend, the following formula 12 may be adopted together with the above formula 1.
  • Formula 12 may be adopted instead of Formula 1 above. In this way, flexible data extraction can be performed according to the characteristics of various time-series data and the situation to be grasped, so that data prediction in various scenes can be realized.
  • Twitter data and attribute information associated therewith are employed as time series data.
  • operation control similar to the above-described process contents is performed on various time-series data appearing in various environments. realizable.
  • not only the number of articles posted to social media on the web such as Twitter and blogs, but also data related to natural phenomena such as earthquake waveforms and tsunami fluctuations, and parts obtained from sensors installed in automobiles and factory lines It is possible to accurately predict the future appearance of data relating to the current state and data relating to human activities such as power consumption in daily life.
  • (Appendix 1) Data input means for receiving data transmitted from a plurality of nodes together with corresponding attribute information and capturing it as time-series data, data storage means for storing the captured time-series data as learning data, and the stored time-series data
  • a data concentration prediction device comprising a data concentration prediction means for analyzing data structure and predicting data concentration that occurs later, The data concentration prediction means temporarily stores the time series data captured by the data input means over time for each preset unit time, and uses the temporary storage processing data to input each time series data
  • the time-series data that deviates from the fluctuation tolerance set in advance based on the time-series data in the past fixed period based on the time immediately before is continuously added as additional learning data necessary for the prediction of the subsequent data concentration
  • a learning data extraction processing unit that performs extraction processing automatically,
  • a data concentration prediction apparatus wherein the learning data extraction processing unit includes a learning data storage processing function for storing the continuously extracted additional learning data in the data storage means in a lump.
  • Appendix 2 In the data concentration prediction apparatus according to Appendix 1, The learning data extraction is performed based on an average value and a variance of the attribute data related to the prediction of the data concentration included in the time-series data in the past fixed period.
  • a data concentration prediction apparatus characterized in that a processing unit calculates and sets.
  • the data concentration prediction means is An information totaling unit having a learning data totaling function for totaling the data of the attribute relating to the prediction of the data concentration included in the additional learning data collectively stored in the data storage unit as the learning total data in association with the unit time;
  • the influence data indicating the influence of each node on the predicted value related to the data concentration is calculated in relation to the learning total data, and the influence data and the learning total data used for the calculation are stored in the data storage means.
  • a data concentration prediction apparatus comprising: a learning processing unit that performs storage processing.
  • the information aggregating unit further associates the attribute data related to the prediction included in the time-series data captured by the data input unit in response to a prediction request issued at a preset time interval with the unit time.
  • Predictive data aggregation function that aggregates as predicted aggregate data
  • the data concentration prediction device further comprising a prediction processing unit that calculates the predicted value based on the predicted aggregation data and the influence data.
  • the learning processing unit further includes the influence data calculated in real time and the relevant data when the influence data and the learning total data are stored in advance in the data storage unit when calculating the influence data in real time.
  • a data concentration prediction apparatus comprising a data update processing function for updating stored information in the data storage means with learning total data used for calculation.
  • the learning processing unit further includes the learning total data and the information totaling in real time when the learning total data is stored in the data storage unit in advance when the influence data is calculated in real time.
  • a data concentration prediction apparatus comprising a re-learning processing function for combining learning total data acquired from a section and calculating the influence data using the combined processing.
  • the learning processing unit further includes the learning total data and the information totaling in real time when the learning total data is stored in the data storage unit in advance when the influence data is calculated in real time.
  • a data concentration prediction apparatus comprising a re-learning processing function for combining learning total data acquired from a section and calculating the influence data using the combined processing.
  • the learning processing unit is configured to store the learning aggregate data used for the calculation of the influence data in the data storage unit or update the storage information of the data storage unit by the data update processing function.
  • the storage process and the update are executed using the total data processing information obtained by performing predetermined processing on the learning total data
  • the data re-learning processing function is characterized in that the re-learning processing function performs a combined process of the total data processing information and the learning total data acquired in real time and the predetermined processing.
  • the information aggregation unit A grouping function for creating group information by defining a group based on the commonality of attribute data of each node and assigning each node to one or more groups; A group aggregation function for creating the learning aggregation data or the prediction aggregation data by associating the group information with the time of the attribute instead of the prediction attribute data; apparatus.
  • the learning processing unit calculates the influence of each group on the data concentration in relation to the learning aggregation data when calculating the influence data applied to each node, and the group to which the node belongs for each node
  • a data concentration prediction apparatus comprising an influence processing function that uses an added value of the influence of the node as an influence of the node.
  • the learning processing unit further includes a learning classification function for classifying additional learning data collectively stored in the data storage unit for each data content and transmitting learning classification information created thereby to the information aggregation unit, The data aggregation prediction apparatus, wherein the information aggregation unit creates the learning aggregation data using the learning classification information.
  • the prediction processing unit further has a prediction classification function for classifying the time series data captured by the data input unit according to the prediction request for each data content and transmitting the prediction classification information created thereby to the information aggregation unit. Prepared, The said information total part produces
  • the data concentration prediction apparatus characterized by the above-mentioned.
  • the prediction processing unit further includes a prediction result output function for outputting the calculated prediction value to the outside of the apparatus as a tendency of future data fluctuation.
  • a data concentration prediction device comprising a data concentration prediction means for analyzing data structure and predicting subsequent data concentration
  • the data concentration prediction means includes a learning data extraction processing unit that extracts and processes time series data for prediction of the data concentration, Temporarily storing the time-series data captured by the data input means over time for each preset unit time, Using this temporary storage processing data, each time-series data deviates from the allowable fluctuation range set based on the time-series data in a past fixed period based on the time immediately before each input time.
  • time series data related to the determination is continuously extracted as additional learning data necessary for prediction of the subsequent data concentration
  • the additional learning data extracted continuously is collectively stored in the data storage means
  • the learning data extraction processing unit sequentially executes the contents of each series of these steps
  • the prediction processing unit of the data concentration prediction unit predicts the data concentration based on the additional learning data stored in the data storage unit and the data structure of the time-series data specified by the existing learning data.
  • Data input means for receiving data transmitted from a plurality of nodes together with corresponding attribute information and capturing it as time-series data, data storage means for storing the captured time-series data as learning data, and the stored time-series data
  • a data concentration prediction device comprising a data concentration prediction means for analyzing data structure and predicting subsequent data concentration,
  • a data temporary storage processing function for temporarily storing the time series data captured by the data input means over time for each preset unit time; Using this temporary storage processing data, each time-series data deviates from the allowable fluctuation range set based on the time-series data in a past fixed period based on the time immediately before each input time.
  • Variation tolerance determination function for determining whether or not A learning data extraction function for continuously extracting time-series data required for the determination as additional learning data necessary for prediction of the subsequent data concentration when it is determined that the fluctuation allowable range is deviated.
  • a learning data storage processing function for collectively storing additional learning data extracted continuously in the data storage means; And providing a prediction processing function for predicting the data concentration based on the data structure of the time-series data specified by the additional learning data and the existing learning data stored together,
  • a data concentration prediction program characterized in that each information processing function is realized by a computer provided in the data concentration prediction means.
  • Appendix 20 In the data concentration prediction program according to Appendix 19, A learning data totaling function for totaling as attributed data for learning the attribute data related to the prediction of the data concentration included in the additional learning data collectively stored in the data storage means, Influence data calculation function for calculating influence data indicating the influence of each node on the predicted value related to the data concentration in relation to the learning aggregate data, A data update processing function for updating the information stored in the data storage means with the influence data and the learning total data used for the calculation, Provided with a predicted value calculation storage function for calculating the predicted value based on the time series data received in real time using the updated stored information as the existing learning data and storing it in the data storage means, A data concentration prediction program characterized in that each of these information processing functions is realized by the computer.
  • the present invention can be used for, for example, a system for monitoring whether or not a reputation damage of a company's own product will occur on the Web in the future.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Complex Calculations (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

データ集中予測装置、データ集中予測方法、及びそのプログラム
　本発明は、将来のデータ集中の予測を目的として時系列データが内包する有意な情報を抽出すると共に、これに基づく学習及び予測処理を精度よく行うデータ集中予測装置、その方法、及びそのプログラムに関する。
　センシング技術および情報管理技術の発達に伴い、経時的に蓄積する時系列データから有用な知識（規則性等の情報）を抽出することが、機械学習（コンピュータプログラムを使って大量のデータから有用な知識を抽出する技術）やデータマイニング（統計学等のデータ解析の技法により有用な知識を取り出す技術）の分野における昨今の主要なテーマの一つとなっている。
　ここで時系列データとは、地震の波形や津波の潮位変動といった自然現象に関するデータ、自動車や工場ラインに設置されたセンサから得られる各部品の状態に関するデータ、販売数量の変化に関するデータ、歩行者等の移動体による混雑についてのデータ、ツイッター（Twitter：登録商標）やブログ（Blog）などのウェブ（Web）上のソーシャルメディアへの経時的な投稿記事の内容や数、日常生活における電力使用量といった人間活動に関するデータなどを幅広く指す。また、これら各種の時系列データから抽出される有用な知識は、当該データの種類や利用目的によって異なる。
　こうした有用な知識を抽出するための指標としては、例えば、与えられた時系列パターン（時系列データに現れるデータ構造のパターン）が正常であるか異常であるかを判定する基準や、ある時刻における観測値に基づいて未来の観測値を予測する数理モデルなどが挙げられる。このような指標を利用しての有用な知識の抽出は、過去から現在に亘って蓄積された時系列データの背後に存在する本質的なデータ構造を学習することによって実現される。
　ここで、判定基準や数理モデルのアルゴリズムは、経験的に得られた多様なデータに基づく統計的手法等を採用することが多いため、一般に、正常又は異常の判定や未来の観測値の予測にかかる精度は、学習データ（抽出し記憶させる有用な知識）の蓄積量がある程度多いほど安定する。また、時間の経過に伴い、これまで観測されなかった有意な時系列パターンが新たに出現した場合には、これを学習データとして追加処理することにより判定や予測の処理精度向上を図り得る。
　即ち、時系列データを対象とした学習装置による判定処理及び予測処理を精度よく行うためには、新たに蓄積される学習データを定期的に取り込むと共に、この取り込んだ新たな学習データをこれまでに蓄積された学習データと併せて再学習する機能が求められる。
　その一方で、判定や予測を必要とする多くの応用場面では、再学習に適していないデータも混在し得るため、上記再学習機能を常時働かせる状況下では、不要な計算処理による時間の浪費が問題となる。また、有意な時系列パターンが含まれないデータを新たに学習データとして取り入れた場合には、それ以降の判定処理や予測処理の精度が低下する。さらに、こうした問題に対応して、新たに蓄積されたデータが学習データとして適切であるか否かについての評価をユーザがその都度行うようにした場合には、人的コストの増加や人為的ミスの発生といった新たな問題が生じる。
　したがって、より好適な予測処理等を実現するためには、経時的に蓄積される時系列データに対して追加学習データとしての適切さを自動的に精度よく評価（判定）すると共に、当該評価により抽出された適切な追加学習データを有効に再学習する仕組みが必要となる。
　こうした機械学習やデータマイニングの分野における関連技術としては、例えば、下記の技術内容（特許文献１乃至４、及び非特許文献１）が知られている。
　特許文献１には、販売量予測の高精度化と予測モデルの保守性向上を目的として、販売量実績の時系列データから多項式の回帰次数を計算し、実績値が信頼限界の上下限値の範囲外となる際に当該月の販売量実績を異常値として抽出する手法が開示されている。この特許文献１では、当該手法により抽出した異常値を前月の実績値に基づいて補正することで、販売量予測の高精度化を期待している。
　特許文献２には、観測エリアの移動体の観測結果から予測モデルをリアルタイムに更新し、将来の混雑予測を行い、又、将来の移動体の到来について非定常ポアソン過程モデルを用いて仮発生させる方法が開示されている。この特許文献２では、混雑予測を要求された際に、要求時点での行列で表わされる移動体情報を初期値として予測モデルを更新する。
　特許文献３には、時系列データの過去の値から将来の値を予測する予測システムにおいて、時系列データの値が平常時の変動傾向から外れる変化点以前の値をノイズとして排除すると共に、それ以降の値を予測に用いるという技術内容が開示されている。特許文献４には、各種センサから入力される時系列データの中から異常発生時のデータを検出すると共に、当該検出データの前後に亘る予め設定された一定区間内の時系列データを抽出する技術内容が開示されている。
　非特許文献１には、学習データとしての適切さを自動的に評価するための能動学習と呼ばれる手法が記載されている。ここでは、既存の受動的学習アルゴリズムを用いて、リサンプリングされた複数の学習データ候補の中から相対的に適切なものを選択する技術内容が開示されている。
特開平０７－０６４９６５ 特開２００４－２１３０９８ 特開２０１０－１０８２８３ 特開２００５－３４６６５５ 森下真一、宮野悟編「bit別冊 発見とデータマイニング」共立出版株式会社、2000年5月5日、pp.64-72
　しかしながら、時系列データの異常値を補正し（特許文献１）、予測要求時点での時系列データを学習データとし（特許文献２）、又は、変化点以降の時系列データを学習データとする（特許文献３）手法や、これらを組み合わせた技術は、時系列データの変化そのものを予測する予測モデルの精度を向上させるものではない。また、特許文献４に開示された異常発生時の周辺データ抽出のための一定区間は予め設定しておく画一的な区間であり、当該区間を多様なデータの変動傾向に対応づけて柔軟に設定するという技術内容については何ら開示されていない。
　さらに、特許文献３には、時系列データが内包する有意な情報を抽出するという技術内容については何ら開示されていない。また、非特許文献1に記載された能動学習の手法において、与えられた学習データが絶対的に適切かどうかを判定するための技術内容については何ら開示されていない。
（発明の目的）
　本発明は、上記関連技術の有する不都合を改善し、特に、時系列データにおける後発するデータ集中を精度よく予測するデータ集中予測装置、その方法、及びそのプログラムの提供を、その目的とする。
　上記目的を達成するために、本発明にかかるデータ集中予測装置では、複数のノードから発信されるデータを対応する属性データと共に受信し時系列データとして取り込むデータ入力手段と、この取り込んだ時系列データを記憶するデータ記憶手段と、この記憶した時系列データのデータ構造を分析し後発するデータ集中を予測するデータ集中予測手段と、を備えたデータ集中予測装置であって、データ集中予測手段は、データ入力手段が取り込む時系列データを予め設定された単位時刻ごとに経時的に一時記憶処理すると共に、この一時記憶処理データを利用して各時系列データの入力時刻の直前の時刻を基準とした過去の一定期間内の時系列データに基づいて予め設定される変動許容範囲を逸脱する当該時系列データを後発するデータ集中の予測に必要な追加学習データとして連続的に抽出処理する学習データ抽出処理部を備え、この学習データ抽出処理部が、上記連続的に抽出した追加学習データをデータ記憶手段に一括して記憶処理する学習データ記憶処理機能を備えるという構成を採っている。
　また、本発明にかかるデータ集中予測方法では、複数のノードから発信されるデータを対応する属性情報と共に受信し時系列データとして取り込むデータ入力手段と、この取り込んだ時系列データを記憶するデータ記憶手段と、この記憶した時系列データのデータ構造を分析し後発するデータ集中を予測するデータ集中予測手段と、を備えたデータ集中予測装置にあって、データ集中予測手段は、データ集中の予測用の時系列データを抽出し処理する学習データ抽出処理部を備えており、データ入力手段にて取り込まれた時系列データを予め設定された単位時刻ごとに経時的に一時記憶処理し、この一時記憶処理データを利用して各時系列データが各々の入力時刻の直前の時刻を基準とした過去の一定期間内の時系列データに基づいて設定される変動許容範囲を逸脱するものであるか否かを判定し、変動許容範囲を逸脱する旨判定した際に当該判定にかかる時系列データを後発するデータ集中の予測に必要な追加学習データとして連続的に抽出し、この連続的に抽出した追加学習データをデータ記憶手段に一括して記憶処理すると共に、これら一連の各工程内容を学習データ抽出処理部が順次実行し、データ記憶手段に一括記憶された追加学習データ及び既存の学習データにより特定される時系列データのデータ構造に基づいて、データ集中予測手段の予測処理部がデータ集中を予測するという構成を採っている。
　さらに、本発明にかかるデータ集中予測プログラムでは、複数のノードから発信されるデータを対応する属性情報と共に受信し時系列データとして取り込むデータ入力手段と、この取り込んだ時系列データを記憶するデータ記憶手段と、この記憶した時系列データのデータ構造を分析し後発するデータ集中を予測するデータ集中予測手段と、を備えたデータ集中予測装置にあって、データ入力手段にて取り込まれた時系列データを予め設定された単位時刻ごとに経時的に一時記憶処理するデータ一時記憶処理機能、この一時記憶処理データを利用して各時系列データが各々の入力時刻の直前の時刻を基準とした過去の一定期間内の時系列データに基づいて設定される変動許容範囲を逸脱するものであるか否かを判定する変動許容判定機能、変動許容範囲を逸脱する旨判定した際に、当該判定にかかる時系列データを後発するデータ集中の予測に必要な追加学習データとして連続的に抽出する学習データ抽出機能、およびこの連続的に抽出した追加学習データをデータ記憶手段に一括して記憶処理する学習データ記憶処理機能、この一括記憶された追加学習データ及び既存の学習データにより特定される時系列データのデータ構造に基づいてデータ集中を予測する予測処理機能を設け、これら各情報処理機能を、データ集中予測手段が備えているコンピュータに実現させるようにする、という構成を採っている。
　本発明は、上述したように、取り込んだ時系列データの中から有意な追加学習データを連続的に抽出するに際して上記学習データ抽出処理部が有効に機能し、この抽出された追加学習データ及び既存の学習データに基づく分析処理を経て予測処理部が後発するデータ集中を予測するという構成を採用したため、これによると、特に、時系列データにおける後発するデータ集中をリアルタイムで精度よく予測することができるという優れたデータ集中予測装置、その方法、及びそのプログラムの提供が可能となる。
本発明の第１実施形態にかかるデータ集中予測装置の構成を示すブロック図である。 図１に開示したデータ集中予測装置による学習データの抽出処理及びこの学習データに基づく算出処理の動作を示すフローチャートである。 図１に開示したデータ集中予測装置による将来のデータ集中の予測動作を示すフローチャートである。 図１に開示したデータ集中予測装置による変動許容範囲の算出の際に基準とする直近過去Ｕ時刻の一例を示す説明図である。 図１に開示したデータ集中予測装置によって抽出する学習データ及び有効学習期間の一例を示す説明図である。 本発明の第２実施形態にかかるデータ集中予測装置の構成を示すブロック図である。 図６に開示したデータ集中予測装置による学習データの抽出処理及びこの学習データに基づく算出処理の動作を示すフローチャートである。 図６に開示したデータ集中予測装置による将来の投稿件数の予測処理動作を示すフローチャートである。 ノードとグループの関係に基づく影響力の算出の一例を示す説明図である。
〔第１実施形態〕
　本発明の第１実施形態にかかるデータ集中予測装置を、図１乃至図５に基づいて説明する。
（全体的構成）
　本第１実施形態において、図１に示す符号８１は、外部から受信した時系列データの特徴点を抽出すると共にこれに基づいて後続するデータ集中を予測するデータ集中予測装置を示す。
　このデータ集中予測装置８１は、複数のノードから発信されるデータを対応する属性情報と共に受信し時系列データとして取り込むデータ入力手段１１と、この取り込んだ時系列データを記憶するデータ記憶手段２１と、この記憶した時系列データのデータ構造を分析し後発するデータ集中を予測するデータ集中予測手段３１と、を備えている。
　ここで、ノード（発信元）とは、ネットワークを構成する一つ一つの要素のことであり、コンピュータネットワークでは、サーバ、クライアント、ハブ、ルータ、アクセスポイント等を指し、センサネットワークでは、センサ端末を指す。また、データ集中の予測をするデータとしては、各種センサが感知する情報、ブログやツイッターにおける投稿件数、地震の揺れの強さを示す応答速度、日々の電力使用量等の多様なデータを想定する。
　データ集中予測手段３１は、データ入力手段１１が取り込む時系列データを予め設定された単位時刻（単位集計時間）ごとに経時的に一時記憶処理すると共に、この一時記憶処理データを利用して各時系列データの入力時刻の直前の時刻を基準とした過去の一定期間内の時系列データに基づいて予め設定される変動許容範囲を逸脱する当該時系列データを後発するデータ集中の予測に必要な追加学習データとして連続的に抽出処理する学習データ抽出処理部４１を備えている。
　また、データ記憶手段２１は、学習データ抽出処理部４１が連続的に抽出した追加学習データを記憶する学習データ記憶部２１Ａと、この記憶された追加学習データに基づいてデータ集中予測手段３１が行う各種算出処理の結果情報を記憶する学習処理情報保存部２１Ｂと、から成る。
　学習データ抽出処理部４１は、連続的に抽出した直近の過去数時刻の変動傾向と比較して特徴的な振る舞いを示す追加学習データ(学習に必要である場合にはその近辺の時刻の時系列データも含む)を学習データ記憶部２１Ａに一括して記憶処理する学習データ記憶処理機能４１Ａを有している。
　即ち、変動許容範囲を逸脱している旨の判定（具体的には後述する）が連続している間は学習データ記憶部２１Ａへの記憶処理を行わず、変動許容範囲を逸脱している旨の判定が途絶えた際にまとめて一回で記憶処理するように構成されている。これにより、学習データ抽出処理部４１は、有効な追加学習データが連続的に出現する期間を有効学習期間として抽出することができる。
　データ集中予測手段３１は、時系列データが内包する予測属性情報（データ集中の予測にかかる属性のデータ）を単位時刻に対応づけて集計データとして集計する情報集計部６１を備えている。ここで、予測属性情報とは、時系列データに含まれる属性の内で将来のデータ集中を予測したい属性にかかる情報である。
　この情報集計部６１は、学習データ記憶部２１Ａに一括記憶された追加学習データが内包する予測属性情報を単位時刻に対応づけて学習集計データとして集計する学習データ集計機能６１Ａと、外部入力により予め設定された時間間隔（予測間隔）で発せられる予測要求に応じてデータ入力手段１１が取り込んだ時系列データに含まれる予測属性情報を単位時刻に対応づけて予測集計データとして集計する予測データ集計機能６１Ｂを有している。また、予め外部入力により設定された予測間隔にかかる情報はデータ記憶手段２１に記憶されているものとする。本第１実施形態では、この予測間隔にかかる情報を予測処理部７１がデータ記憶手段２１から取得すると共に当該情報に沿ってデータ入力手段１１に対し予測要求を行うように構成されている。
　また、データ集中予測手段３１は、データ集中にかかる予測値に対する各ノードの影響力を示す影響力データを学習データ集計機能６１Ａから出力される学習集計データとの関係で算出すると共に、この影響力データ及び当該算出に用いた学習集計データを学習処理情報保存部２１Ｂに保存処理する学習処理部５１と、前述した情報集計部６１が予測データ集計機能６１Ｂにて集計した予測集計データと学習処理部５１が算出した影響力データとに基づいて予測属性情報の予測値を算出処理する予測処理部７１と、を備えている。この予測処理部７１は、予測結果を装置外部に送信する予測結果出力機能７１Ａを有している。更に、算出した予測値を予測処理部７１がデータ記憶手段２１に記憶処理するような構成としてもよい。
　学習処理部５１は、更に、リアルタイムでの影響力データの算出に際して学習処理情報保存部２１Ｂに予め影響力データ及び学習集計データが保存されていた場合には、リアルタイムにて算出した影響力データ及び当該算出に用いた学習集計データにより学習処理情報保存部２１Ｂ内の保存情報を更新するデータ更新処理機能５１Ａと、予め学習処理情報保存部２１Ｂに保存された学習集計データとリアルタイムにて情報集計部６１から取得する学習集計データとを結合処理すると共にこれを使用して影響力データを算出する再学習処理機能５１Ｂと、を有している。
　学習データ抽出処理部４１は、上述したように、追加学習データを抽出するに際して、データ入力手段１１から取り込んだ時系列データを単位時刻ごとに区分して揮発性メモリ（図示せず）に一時記憶し（データ一時記憶処理機能）、これに基づいてリアルタイムの時刻の時系列データに含まれる予測属性情報に対する変動許容範囲を算出するように構成されている。
　本第１実施形態では、上記変動許容範囲を、各々の入力時刻から見た過去の一定期間内の時系列データが内包する予測属性情報の平均値と分散に基づいて学習データ抽出処理部４１が算出し設定するように構成されている。ここで、図４に基づいて学習データ抽出処理部４１による前述した変動許容範囲の算出手法を説明する。
　図４に示すように、時間を示す横軸は単位時刻（単位集計時間）ごとに区分され、例えば、Ｔ～Ｔ＋１間の時刻が時刻Ｔ＋１である。
　ここで、現時点の属する時刻（現在時刻）を時刻Ｔとした場合、学習データ抽出処理部４１は、そこから遡って連続する合計Ｕの時刻（直近過去Ｕ時刻：Ｔ－Ｕ＋１,...,Ｔ）を過去の一定期間として特定し、この直近過去Ｕ時刻内に発信された時系列データに含まれる予測属性情報の平均値と分散に基づいて「平均値±α×標準偏差（分散の正の平方根）」により定まる変動許容範囲を算出する（α：逸脱に対する感応度）。
　ここで、外部入力されるパラメータである感応度αは、上記式の重要な要素であることから、追加学習データの抽出に大きく影響するものであり、このため、当該追加学習データに基づいて行うデータ集中の予測の精度にも大きな影響を及ぼすものである。そこで本第１実施形態では、仮に設定した幾つかのαの値に基づいて仮予測値を別途算出し、これら複数の仮予測値の内で最も予測精度が良かったものに対応するαの値を採用するようにした。ここでの仮予測値は、過去に記憶処理した時系列データを用いて算出するようにした。
　学習データ抽出処理部４１は、リアルタイムの時刻での予測属性情報が、上記により算出した変動許容範囲を逸脱しているか否かを判定するように構成されている（変動許容判定機能）。即ち、リアルタイムの時刻での予測属性情報が、変動許容範囲内にあれば逸脱していない旨判定し、変動許容範囲から外れていれば逸脱している旨判定するように構成されている。
　この変動許容範囲を逸脱している旨判定した学習データ抽出処理部４１は、当該判定にかかる時系列データを追加学習データとして抽出するように構成されている。ここでの抽出とは、学習データ抽出処理部４１が、当該判定にかかる時系列データ(学習に必要である場合にはその近辺の時刻の時系列データも含む)とそれ以外の時系列データとを区別できる状態にすること指す。
　また、学習データ抽出処理部４１は、上記「平均値±α×標準偏差」という式の構成から、突発的な機械トラブル等に起因する突飛なデータが出現しない限り当該逸脱している旨の判定を連続的に行う。このため、当該判定にかかる時系列データは、学習データ抽出処理部４１により連続的に抽出される。
　即ち、ある時刻Ｔ＋１から連続する合計Ｂの時刻（連続するＢ時刻）Ｔ＋１,...,Ｔ＋Ｂのすべての時刻において逸脱している旨判定した場合において、時刻Ｔまでの時刻及び時刻Ｔ＋Ｂ＋１以降の時刻においては逸脱していない旨判定した状況下では、時刻Ｔ＋Ｂ＋１の判定が終了した際に、学習データ抽出処理部４１が、当該連続するＢ時刻に対応する時系列データをまとめて一回で出力するように構成されている（上記例によれば、単位時刻ごとにＢ回に分けて出力するものではない）。
（有効学習期間）
　ここで、学習データ抽出処理部４１が抽出する有効学習期間を図５に例示したグラフ（平均値と分散による有効学習期間の抽出イメージ）に基づいて説明する。
　この図５に示すグラフは、横軸に時間（時刻）をとり、縦軸に観測値としての予測属性情報（データ集中の予測にかかる属性のデータ）をとったものである。観測値としては、地震の揺れの強さを示す応答速度、各種センサによる測定情報、ツイッターやブログにおける投稿件数、日々の電力使用量等の多様なデータを想定する。
　図５に示すように、太線で挟まれた区間「Ｒ(1)、Ｒ(2)、Ｒ(3)」は、時刻ごとの観測値が変動許容範囲を逸脱している時刻（直近過去数時刻の平均値から大きく変化している時刻）の連続期間である有効学習期間を示す。
　上述した学習データ抽出処理部４１による抽出の手法によれば、有効学習期間が区画する範囲は、図５に示すＲ(1)、Ｒ(2)、Ｒ(3)のように波形の変動状況に応じて柔軟に変化する。このため、学習データ抽出処理部４１は、後発するデータ集中の予測用の追加学習データを必要十分な範囲内において精度よく抽出することができる。
　また、この有効学習期間は、過去の一定期間の観測値にかかる前述した「平均値±α×標準偏差」により定まる変動許容範囲に応じて変化するものであり、具体的には、「どの程度の過去の時刻を直近の時刻とみなすか（過去の一定期間の範囲）」と「逸脱に対する感応度(α)の大きさ」によって変化する。即ち、Ｕの値とαの値を変化させることにより、学習データ抽出処理部４１は、適宜必要とされる追加学習データを柔軟な有効学習期間内全域に亘って抽出することができる。
（前処理）
　ここで、前述した学習処理部５１が実行する前処理について説明する。
　この前処理とは、新たな追加学習データが学習データ抽出処理部４１にて抽出・追加された際、効率的な再学習（影響力データの算出等）が実現できるように算出処理等で得た元データに対して加工を施したもの（前処理データ）を保存しておくことである。
　例えば、代表的な数理モデルである回帰分析モデルの学習では、学習結果として回帰係数を得ることができる。この学習結果を取得する過程においては、元データを加工した目的変数(ベクトル)および説明変数(行列)の値を保存しておく構成を採用することにより、それ以降の学習段階（学習フェーズ）では、既存の前処理データを用いての効率的な再学習が可能となる。
　本第１実施形態にかかるデータ集中予測装置８１では、図１に示すように、学習処理部５１が影響力データを算出した際に、この影響力データ及び当該算出に用いた学習集計データを前処理データとして学習処理情報保存部２１Ｂに保存処理するように構成されている。また、当該前処理データが学習処理情報保存部２１Ｂ内に予め保存されていた場合には、データ更新処理機能５１Ａにて前処理データとしての当該保存情報を更新するように構成されている。こうして保存・更新された前処理データは、上述したように、再学習処理機能５１Ｂによる影響力データの算出に際して利用される。
　このようにすれば、新たな追加学習データが抽出・追加された際に、それが既存の前処理データに対応するものであれば当該前処理の計算を省くことができるため、これにより、再学習に要する計算時間の短縮が可能となる。
（動作説明）
　次に、図１に示すデータ集中予測装置８１の動作制御を図２又は図３に示すフローチャートに基づいて説明する。
（学習処理）
　まず、図２に基づいて時系列データの学習処理を説明する。
　データ入力手段１１は、装置外部から時系列データを入力すると共に、これを学習データ抽出処理部４１に送り込む（図２：Ｓ２０１）。
　続いて、学習データ抽出処理部４１は、データ入力手段１１から受け取った時系列データが内包する予測属性情報の直近での変動傾向に応じた変動許容範囲を算出すると共に、リアルタイムの時刻での時系列データに含まれる予測属性情報が当該変動許容範囲を逸脱しているか否かを判定する（図２：Ｓ２０２）。
　例えば、現在時刻Ｔの一時刻先であるＴ＋１時刻の観測値（予測属性情報）が得られた際に、学習データ抽出処理部４１は、その観測値が、直近過去Ｕ時刻における「平均値±α×標準偏差」により特定される範囲外にあれば、変動許容範囲を逸脱している旨（直近過去Ｕ時刻の傾向から外れている旨）判定すると共に（図２：Ｓ２０２／はい）、当該判定にかかる時系列データを追加学習データとして抽出し、後続する時系列データの判定処理に移行する（図２：Ｓ２０３）。このとき、学習に必要である場合には、学習データ抽出処理部４１は、当該判定にかかる時刻近辺の時系列データも併せて抽出する（図２：Ｓ２０３）。
　一方で、Ｔ＋１時刻の観測値が、直近過去Ｕ時刻における「平均値±α×標準偏差」により定まる範囲内にあれば、学習データ抽出処理部４１は、変動許容範囲を逸脱していない旨（直近過去Ｕ時刻の傾向に沿っている旨）判定し、当該判定にかかる時系列データを抽出せずに後続する時系列データの判定処理に移行する（図２：Ｓ２０２／いいえ）。
　上記抽出処理までの各工程内容（図２：Ｓ２０１～Ｓ２０３）が経時的に繰り返される本第１実施形態において（Ｔ＋１,Ｔ＋２,Ｔ＋３,...）、変動許容範囲を逸脱する観測値は「平均値±α×標準偏差」という式の構成から、突発的な機械トラブル等に起因する突飛なデータが出現しない限り連続的に出現する。これにより、学習データ抽出処理部４１は、特徴のある時系列データを追加学習データとして連続的に抽出することができ、このため、結果的に有効な学習データが連続的に出現する期間としての有効学習期間を抽出することが可能となる。
　続いて、リアルタイムの時刻での観測値が変動許容範囲を逸脱している旨を連続的に判定すると共に当該判定にかかる時系列データを連続的に抽出した学習データ抽出処理部４１は、変動許容範囲を逸脱しない時系列データが出現した際に抽出した時系列データ(学習に必要である場合にはその近辺の時刻の時系列データも含めて)を、学習データ記憶部２１Ａに一括して記憶処理する（図２：Ｓ２０４）。
　次に、情報集計部６１は、学習データ記憶部２１Ａに一括記憶された追加学習データが内包する予測属性情報を単位時刻に対応づけて学習集計データとして集計すると共に、これを学習処理部５１に送信する（図２：Ｓ２０５）。
　続いて、学習処理部５１は、情報集計部６１から受け取った学習集計データとの関係でデータ集中に対する各ノードの影響力を示す影響力データを算出すると共に（図２：Ｓ２０６）、この影響力データ及び当該算出に用いた学習集計データを学習処理情報保存部２１Ｂに保存処理する（図２：Ｓ２０７）。
　ここで、影響力データ及び学習集計データが学習処理情報保存部２１Ｂ内に既に保存されていた場合には、学習処理部５１がデータ更新処理機能５１Ａにて、リアルタイムで算出した影響力データ及び当該算出に用いた学習集計データにより学習処理情報保存部２１Ｂ内の保存情報を更新する（図２：Ｓ２０７）。
　また、学習処理情報保存部２１Ｂ内に保存又は更新された学習集計データが存在する場合には、学習処理部５１が再学習処理機能５１Ｂにて、この保存された学習集計データとリアルタイムにて情報集計部６１から取得する学習集計データとを結合処理すると共にこれを使用して影響力データを算出する（図２：Ｓ２０６）。上記同様に、データ更新処理機能５１Ａにて、この影響力データ及び当該算出に用いた学習集計データにより学習処理情報保存部２１Ｂ内の保存情報を更新する（図２：Ｓ２０７）。
　ここで、上述した学習データ抽出処理部４１の抽出処理によって得られる追加学習データは、直近の過去数時刻の傾向と比較して特に特徴的な振る舞いを示す時刻に対応する時系列データに限定されることがあるため、データ変動の程度にかかわらず全ての知識を抽出する必要がある場合等には、当該抽出処理を実行しないか又はパラメータ（Ｕ、α）の調整等により制御するようにしてもよい。
　また、学習データ抽出処理部４１を、上記逸脱している旨の判定にかかる時刻が単一の時刻のみであった場合又は予め設定した連続時刻数を超えなかった場合には、当該判定にかかる時系列データを学習データ記憶部２１Ａに記憶処理しないような構成としてもよい。即ち、変動許容範囲を逸脱する旨の判定をある程度連続する時刻（ある程度の期間内）において行った場合にのみ、学習データ抽出処理部４１が追加学習データとして記憶処理するようにしてもよい。このようにすれば、突発的な機械トラブル等に起因する有意性の認められないデータを排除することができるため、判定及びその後の予測の精度向上を図ることが可能となる。
（予測処理）
　次に、図３に基づいてデータ集中の予測処理を説明する。
　データ入力手段１１が、予め設定された時間間隔（予測間隔）で発せられる予測要求に応じてデータ集中予測用の時系列データを取り込むと共に、これを情報集計部６１に送信する（図３：Ｓ２０８）。続いて、情報集計部６１は予測データ集計機能６１Ｂにて、データ入力手段１１から受信した時系列データに含まれる予測属性情報を単位時刻に対応づけて予測集計データとして集計すると共に、これを予測処理部７１に送信する（図３：Ｓ２０９）。
　続いて、予測集計データを受け取った予測処理部７１は、この予測集計データと学習処理部５１が算出した影響力データとに基づいてデータ集中にかかる予測値を算出する。その際、必要に応じて予測処理部７１は、算出した予測値をデータ記憶手段２１に記憶処理する（図３：Ｓ２１０）。この予測処理部７１は予測結果出力機能７１Ａにて予測結果を装置外部に送信する（図３：Ｓ２１１）。
　上記各ステップＳ２０１～Ｓ２１１（図２、図３）における各工程の実行内容をプログラム化すると共に、この一連の各制御プログラムをコンピュータによって実現するように構成してもよい。
（第１実施形態の効果）
　本第１実施形態では、過去の観測値（予測属性情報）の変動傾向に基づいて特徴的な時系列データを抽出する構成を採用したため、これにより、観測値の多様な変動傾向に順応した必要十分な範囲内のデータを自動的に抽出できる。即ち、学習データ抽出処理部４１は、図５に示すように、追加学習データを波形の幅や抑揚に順応した有効学習期間の全域に亘って自動的に抽出することができるため、これにより、過剰なデータ収集や必要なデータが不足するといった事態を自動的に回避することが可能となる。
　このようにすれば、例えば、自動車の故障、ツイッターやブログ上での炎上（ブログ等の記載に反応して多数の閲覧者がコメントを集中的に寄せる状態）といった特徴的な振る舞いを示す時刻にかかる有用な知識を、学習データ抽出処理部４１にて効果的に抽出することができるため、これにより、当該抽出データを利用した精度のよいデータ集中の予測が可能となる。
〔第２実施形態〕
　本発明の第２実施形態にかかるデータ集中予測装置を、図６乃至図９に基づいて説明する。
　ここで、前述した第１実施形態と同一の構成部材については同一の符号を用いるものとする。この第２実施形態では、具体例としてツイッター（Twitter：登録商標）上に投稿されたテキストデータを分析対象とし、指定した話題（トピック）に関する未来の投稿件数（ツイート回数の総和）を予測する構成及び動作を説明する。
　即ち、本第２実施形態では、予測属性情報（データ集中の予測にかかる属性のデータ）として投稿件数を採用し、リアルタイムの特定時刻から見たＳ時刻先の投稿件数を予測する場合を例示する。また、未来の投稿件数を予測したい話題(複数でも可)は、外部入力等により予め指定されているものとする。
（全体的構成）
　本第２実施形態におけるデータ集中予測装置８２は、図６に示すように、複数のノードND（１～ｎ）としてのユーザ（発信者）から発信されるツイッターデータ（Twitterデータ）を対応する属性情報と共にネットワーク９２を介して受信し時系列データとして取り込むデータ入力手段１２と、この取り込んだ時系列データを記憶するデータ記憶手段２１と、この記憶した時系列データのデータ構造を分析し後発するデータ集中を予測するデータ集中予測手段３２と、を備えている。
　ここでのツイッターデータとは、ツイッター上にツイート（投稿）されたテキストデータ及びこれと同時に入力される各情報（「ツイート時刻」・「ツイートしたノード」・「そのテキストデータが属する話題」にかかる各情報）を意味する。
　データ入力手段１２は、経時的に学習データ抽出用のツイッターデータを入力する学習用データ入力部１２Ａと、各ツイッターデータに紐付けられたノードごとの属性情報を入力する属性情報入力部１２Ｂと、予め設定された時間間隔（予測間隔）で発せられる予測要求に応じてデータ集中予測用のツイッターデータ（予測データ）を入力する予測用データ入力部１２Ｃと、を備えている。
　ここで、属性情報入力部１２Ｂは、ノードの属性情報として、ノードごとのTwitterクライアント、有効学習期間内のツイート回数、有効学習期間内でのコメント数・トラックバック数・リプライ数・リツイート数の各平均値、有効学習期間内でのフォロー数、及びフォロワー数の最大値等の情報を取得するように構成されている。
　データ集中予測手段３２は、データ入力手段１２Ａが取り込むツイッターデータを予め設定された単位時刻（単位集計時間）ごとに区分して経時的に一時記憶処理すると共に、この一時記憶処理データを利用して各ツイッターデータの入力時刻の直前の時刻を基準とした過去の一定期間内のツイッターデータに基づいて予め設定される変動許容範囲を逸脱する当該ツイッターデータを後発するデータ集中の予測に必要な追加学習データとして連続的に抽出処理する学習データ抽出処理部４２を備えている。
　データ記憶手段２１は、学習データ抽出処理部４２が連続的に抽出した追加学習データを記憶する学習データ記憶部２１Ａと、この記憶された追加学習データに基づいてデータ集中予測手段３２が行う各種算出処理の結果情報を記憶する学習処理情報保存部２１Ｂと、を含む構成から成る。学習データ抽出処理部４２は、連続的に抽出した追加学習データを学習データ記憶部２１Ａに一括して記憶処理する学習データ記憶処理機能４２Ａを有している。
　また、データ集中予測手段３２は、学習データ記憶部２１Ａから取得した追加学習データに基づいて過学習を抑止する正則化手法を取り入れた算出機能によりデータ集中に対するノードの影響力を示す影響力データを算出処理する学習処理部５２と、属性情報入力部１２Ｂから取得したノードごとの属性情報を使用してデータ集計処理を実行する情報集計部６２と、予め設定された時間間隔（予測間隔）で発せられる予測要求に応じて予測用データ入力部１２Ｃが経時的に取り込む予測データに基づいてデータ集中を予測する予測処理部７２と、を備えている。
　ここで、ノードの影響力とは、ノードがデータ集中の予測値に及ぼす影響力のことである。即ち、影響力データは、データの集中発信近辺の時刻において各ノードが当該集中発信にどの程度寄与したかを示すデータである。また、予め外部入力により設定された予測間隔にかかる情報はデータ記憶手段２１に記憶されているものとする。本第２実施形態では、この予測間隔にかかる情報を予測処理部７２がデータ記憶手段２１から取得すると共に当該情報に沿ってデータ入力手段１２に対し予測要求を行うように構成されている。
　学習処理部５２は、学習データ記憶部２１Ａから取得した追加学習データに含まれるテキストデータを話題ごとに分類し話題ごとの学習分類情報（その話題に属するツイッターデータのノード情報・時刻情報・テキストデータ）を作成する学習分類機能５２Ａを有し、予測処理部７２は、上記予測間隔で発せられる予測要求に応じて予測用データ入力部１２Ｃが経時的に取り込む予測データを話題ごとに分類し話題ごとの予測分類情報（その話題に属するツイッターデータのノード情報・時刻情報・テキストデータ）を作成する予測分類機能７２Ａを有する。
　情報集計部６２は、学習処理部５２が作成する学習分類情報又は予測処理部７２が作成する予測分類情報と、属性情報入力部１２Ｂから取得したノードごとの属性情報とに基づいて、全ノードのグループ化（グルーピング）を実行しグループ情報（各ノードが属するグループにかかる情報）を作成するグループ化機能６２Ｃを有する。
　また、情報集計部６２は、学習分類情報を利用してグループ化機能６２Ｃが作成したグループ情報を単位時刻に対応づけることにより学習集計データとしてのクロス集計データ（話題ごとのグループ・時刻情報に関するツイート数のクロス集計表）を作成する学習データ集計機能６２Ａと、予測分類情報を利用してグループ化機能６２Ｃが作成したグループ情報を単位時刻に対応づけることにより予測集計データとしてのクロス集計データを作成する予測データ集計機能６２Ｂと、を備えている。ここで、情報集計部６２が有する学習データ集計機能６２Ａ及び予測データ集計機能６２Ｂを総称してグループ集計機能６３と指称する。
　学習処理部５２は、この学習データ集計機能６２Ａが集計して成る学習集計データに基づいて、前述した影響力データの算出を行うように構成されている。
　また、予測処理部７２は前述したデータ集中の予測を、予測データ集計機能６２Ｂが集計して成る予測集計データと学習処理部５２が算出する影響力データとに基づいて実行し、これにより、未来の投稿件数の予測値（後発するデータ集中にかかる予測値）を算出処理するように構成されている。この予測処理部７２は、算出した未来の投稿件数の予測値を装置外部に出力する予測結果出力機能７１Ａを有している。また、予測処理部７２が、当該算出にかかる予測値をデータ記憶手段２１に記憶処理するように構成してもよい。
　上記各ノードのグループ化は、例えば、「Twitterクライアントは何か？」「学習期間内でのツイート回数は1～100回、101～1000回、1001回以上のどれか？」「学習期間内でのフォロワー数の最大値は1～1000回、1001回以上のどれか？」といった属性の種類ごとに行われる。
　また、グループ情報とは、各ノードの属性情報の共通性に基づいてグループを定めると共に各ノードを１以上のグループに帰属させた情報である。
　特に、ノードの数が不安定である場合には、グループの数を特定の数に限定することにより各ノードをこれらのグループに帰属させることができるため（実質的に見てノードの数を減少させ且つ安定させたことと同議であるため）、これにより、回帰分析等の統計的手法を用いた処理を迅速且つ高精度に行うことが可能となる。即ち、本第２実施形態では、このグループ化により、ノードの影響力の学習結果を安定させることができる。
　さらに、必要に応じて、属性の種類ごとに行ったグループ化の結果の積集合に基づいて最終的なグループ情報を作成するようにしてもよい。また、ツイート回数がある一定値以上のノードについては、そのノード自体を単独のグループと定義してのグループ化を行うようにしてもよい。このようにすれば、ツイッター上で特に影響力のあるノードの情報を的確に把握することができる。
　また、学習処理部５２は、リアルタイムで算出した影響力データ及びその算出に用いた学習集計データに加工を施した情報（集計データ加工情報）を前処理データとして学習処理情報保存部２１Ｂに保存処理する機能と共に、当該前処理データが既に保存されている場合には、リアルタイムで算出した影響力データ及びその算出にかかる集計データ加工情報により学習処理情報保存部２１Ｂ内の前処理データとしての保存情報を更新するデータ更新処理機能５１Ａを備えている。更に、この学習処理部５２は、同様に前処理データが既に保存されている場合にはリアルタイムでの影響力の算出に際して、この保存された過去の集計データ加工情報とリアルタイムでの集計データ加工情報とを結合処理すると共にこれを使用して影響力データを算出する再学習処理機能５１Ｂと、算出したグループの影響力をもとに、各ノードが属するグループの影響力の総和を当該ノードの影響力としノードについての影響力データを算出する影響力処理機能５２Ｂと、を備えている。
　以下、グループの数を一定数Ｇとし、数式を参照してデータ集中予測装置８２の情報処理の内容を説明する（統計的手法により影響力データを算出し、後発するデータ集中を予測する手法等を開示する）。
　学習データ抽出処理部４２は、学習用データ入力部１２Ａから取り込むと共に揮発性メモリに一時記憶させたツイッターデータに基づいて各時刻ごとに定まる変動許容範囲を下記式１及び式２により算出し、リアルタイムの時刻における予測属性情報としての全ツイート回数（投稿件数）が当該変動許容範囲を逸脱しているか否かの判定を連続的に行うように構成されている。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　上記式１及び式２は、ある時刻Ｔ'＋１（リアルタイムの時刻）に観測されたツイッターデータの追加学習データ（後発するデータ集中を予測する際に必要な学習データ）としての適切性を評価する指標として用いられる。
　ここでｙＴ'＋１は、時刻Ｔ'＋１の全ノードに関するツイート回数の総和（投稿件数）であり、
Figure JPOXMLDOC01-appb-I000003
は、式２に示す通り、時刻Ｔ'から遡って連続する合計Ｕの時刻（直近過去Ｕ時刻）のツイート回数に基づいて算出する平均値と標準偏差である。また、Ｕ及び逸脱に対する感応度αは外部から入力されるパラメータである。
　また、ここでは投稿件数の盛り上がりに着目するため、式１の左辺に示す変動許容範囲を大きい方に逸脱した投稿件数「ｙＴ'＋１」にかかるツイッターデータを追加学習データとして学習データ抽出処理部４２が抽出する構成を採用した。
　即ち、学習データ抽出処理部４２は、リアルタイムの時刻での投稿件数が、過去の一定期間内（直近過去Ｕ時刻）の投稿件数の平均値を基準とした変動許容範囲内にあれば（式１を満たさなければ）追加学習データとして不適切である旨判定し、変動許容範囲から外れていれば（式１を満たせば）追加学習データとして適切である旨判定するように構成されている。
　ここで、データ集中予測装置８２においては、学習データ抽出処理部４２が抽出処理した追加学習データとしてのツイッターデータに基づいて最終的に予測処理部７２が未来の投稿件数の予測値を算出するように構成されている。したがって、追加学習データの抽出に用いる逸脱に対する感応度α（式１）は予測の精度を大きく左右する。そこで本第２実施形態においても、何パターンかのαの値に対して、予め記憶された過去のデータを利用しての学習・予測処理を実行し、もっとも予測精度が良かったαの値を上記式１に用いることで予測精度の向上を図った。また、このαの値を予め決定する際の評価指標としては、平均２乗誤差を採用した。
　また、学習データ抽出処理部４２は、時刻Ｔ'＋１にかかるツイッターデータが追加学習データとして適切である旨判定すると、当該判定の時刻Ｔ'＋１にかかるツイッターデータを学習に必要な直近過去Ｓ時刻（Ｔ'＋１－Ｓ,Ｔ'＋２－Ｓ,...,Ｔ'＋１－１）にかかるツイッターデータと共に抽出するように構成されている。
　さらに、学習データ抽出処理部４２は上記式１及び式２の構成から、追加学習データとして適切である旨の判定を突飛なデータが出現しない限り連続的に行い、直近の過去数時刻の投稿件数と比較して大きな増加を示す時刻にかかるツイッターデータ（直近過去Ｓ時刻にかかるツイッターデータも含む）を追加学習データとして学習データ記憶部２１Ａにまとめて一回で記憶処理するように構成されている。
　学習データ集計機能６２Ａは、学習処理部５２から取得した学習分類情報とこれに対応するグループ化機能６２Ｃから入力したグループ情報に基づいて、各時刻・各グループにおけるツイート回数を集計し、下記行列式３で表わされる学習集計データ（クロス集計データ）を作成するように構成されている。
Figure JPOXMLDOC01-appb-M000004
 　ここで、
　ｔ＝１,２,...,Ｔ
　ｇ＝１,２,...,Ｇ
　この式３に示す行列において、各行は各時刻を表し、各列は各グループを表す。また、各要素ｘｔｇの値は時刻ごとの投稿件数を表し、各グループのツイート回数の総和が時刻ごと整理されている。
　即ち、学習データ集計機能６２Ａは、予め指定された単位時刻とグループ情報に従い、学習分類情報に対して「どの時刻においてどのグループが何回ツイートしたか」についての集計作業を行うことにより学習集計データを作成するように構成されている。
　本第２実施形態では、学習データ抽出処理部４２が新たな追加学習データを抽出処理した際に学習処理部５２が、ノードごとの影響力を示す影響力データを算出すると共に、この影響力データと当該算出に用いた学習集計データに加工を施した情報である各時刻・各グループの集計結果Ｘｓ,ｙｓ（ｓ＝１,２,...,Ｓ）（集計データ加工情報）を学習処理情報保存部２１Ｂに保存処理しておくように構成されている。
　ここで、Ｘｓは、式３の形式で示したＸの第１行目から第Ｔ－ｓ行目までを抜き出した行列であり、ｙｓ＝（ｙｓ＋１,...,ｙＴ）'は、各時刻におけるツイート回数の全ノードに関する総和（投稿件数）である。
　本第２実施形態では、グループの影響力を示す影響力データが下記式４に示す行列で与えられると仮定する。また、ノードごとの影響力は、グループの影響力に基づいて算出される。
Figure JPOXMLDOC01-appb-M000005
 　ここで、
　ｓ＝１,２,...,Ｓ
　ｇ＝１,２,...,Ｇ
Figure JPOXMLDOC01-appb-M000006
　上記式４に示す行列において、各行は単位時刻（単位集計時間）のもとで何時刻先の未来であるか（ある基準時刻からみたＳ時刻先の未来までの時刻）を表わし、各列は各グループを表す。また、行列の各要素βｓｇの値は各グループの影響力を表わす。
　ここでは学習処理部５２が、上記式５を最小化するβをグループの影響力を示す影響力データとして算出するように構成されている。λは正則化パラメータと指称される学習結果の安定性を調整するパラメータである。
　このとき、ノードの影響力は、そのノードが属するグループの影響力の総和として定義することができる。
　即ち、学習処理部５２は影響力処理機能５２Ｂにより、この算出したグループの影響力βに基づいて、各ノードが属するグループの影響力の総和を当該ノードの影響力として算出するように構成されている。ここで、学習処理部５２が各グループの影響力に基づいてノードごとの影響力を算出する手法を図９に基づいて説明する。
　図９は、ノードND(1)～ND(ｎ)のグループ化としてグループGP(1)～GP(3)の３つのグループに分けるという例を示す。ノードND(1)、ND(2)は、グループGP(1)にのみ帰属している。ノードND(4)、ND(7)は、それぞれグループGP(2)、GP(3)にのみ帰属している。また、ノードND(3)は、グループGP(1)とGP(2)の双方に帰属し、ノードND(6)は、グループGP(2)とGP(3)の双方に帰属し、ノードND(5)は、グループGP(1)からGP(3)のすべてに帰属している。
　この場合、ノードND(1)、ND(2)の影響力は、グループGP(1)の影響力と等しくなり、ノードND(4)、ND(7)の影響力は、それぞれグループGP(2)、GP(3)の影響力と等しくなる。
　一方で、グループGP(1)とGP(2)の双方に帰属しているノードND(3)の影響力は、グループGP(1)とGP(2)のそれぞれの影響力の合計として算出される。同様に、ノードND(6)の影響力は、グループGP(2)とGP(3)のそれぞれの影響力の合計として算出される。また、ノードND(5)の影響力は、グループGP(1)からGP(3)のすべての影響力を加算した値として算出される。即ち、複数のグループに属するノードの影響力が大きくなるように構成されている。
（正則化機能）
　また、過学習を抑止する正則化手法を取り入れた算出機能を有する学習処理部５２は、上記式５の要素として、下記式６及びＬ１正則化を示す式７又はＬ２正則化を示す式８を採用しての処理を実行するように構成されている。Ｐｏ（ｘ,α）は、平均αのポアソン分布のｘにおける密度関数の値を示す。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
（結合処理）
　ここで、学習処理部５２による保存処理又は更新処理が行われた後の学習処理情報保存部２１Ｂは、上述した通り、前処理データとして過去の集計データ加工情報であるＸｓ及びｙｓ（ｓ＝１,２,...,Ｓ）が保存された状態となるため、かかる場合において学習データ集計機能６２Ａからリアルタイムでの学習集計データ（上記式３の形式でクロス集計された情報）を受け取った学習処理部５２は、当該前処理データを利用しての影響力データの算出処理を再学習処理機能５１Ｂによって行うように構成されている。
　本第２実施形態では、学習データ抽出処理部４２により新たな有効学習期間が抽出された際に学習処理部５２は、当該有効学習期間内の追加学習データに基づく集計データ加工情報である
Figure JPOXMLDOC01-appb-I000010
を算出処理すると共に、学習処理情報保存部２１Ｂから過去の集計データ加工情報であるＸｓ及びｙｓを取得し、このリアルタイムで算出処理した
Figure JPOXMLDOC01-appb-I000011
と前処理データとしてのＸｓ及びｙｓとを下記式９に示す形式によって結合処理するように構成されている。
Figure JPOXMLDOC01-appb-M000012
　また、この結合処理した式９に示す内容を上記式５に代入することで学習処理部５２は、上記同様にして影響力データを算出すると共にこれを学習処理情報保存部２１Ａに記憶処理するように構成されている。このようにすれば、既存の学習データに関する集計のための計算（Ｘｓ及びｙｓを得るための前処理の計算）を省略することできるため、結果的にノードの影響力の新たな学習を効率よく実現できる。
　このとき、新たな学習データが追加されたことにより、ノードごとのグループ化の結果が変化する場合は、既存の学習データに関する学習集計データを算出し直すようにしてもよい。
（投稿件数の予測）
　ここで、投稿件数の予測にかかる集計情報部６２及び予測処理部７２の構成を説明する。
　本第２実施形態では、学習処理部５２が算出する影響力データと別途取得した予測データとに基づく予測処理を予測処理部７２が実行するように構成されている。
　例えば、予測データに関して、追加学習データと同様にグループ化及び集計処理を行った結果をｚ＝（ｚ１,...,ｚＧ）と表わした場合、予測処理部７２はｓ時刻先の未来における投稿件数を下記式１０によって予測するように構成されている。
Figure JPOXMLDOC01-appb-M000013
　これは、ある時刻から見て未来の投稿件数を予測する際に、その時刻における投稿件数のみを利用することを前提としたものである。
　次に、未来の投稿件数を予測するに際し、ある単一の時刻のみではなく、当該時刻を含む直近数時刻の投稿件数を利用するように拡張した場合について説明する。
　ここでは、ある時刻から見ての未来の投稿件数を予測する際、当該ある時刻における投稿件数を含む直近の過去数時刻の投稿件数を利用する。例えば、ある時刻を含む直近過去Ａ時刻の投稿件数を利用する場合には、予測データ集計機能６２Ｂにて作成される予測集計データは下記式１１の形式で表わされる。
Figure JPOXMLDOC01-appb-M000014
　予測処理部７２は、この予測集計データを利用して、上記式１０の形式により未来の投稿件数の予測値を算出するように構成されている。リアルタイムの時刻での予測を行う場合、予測データの取得及び予測処理は予め指定された時間間隔（予測間隔）で行う。
　時々刻々と変化するノードの影響力や、時間の経過に伴って影響力を持ったノードが新たに出現する可能性を考慮して、本第２実施形態では、追加学習データの取得および前処理データの更新と共にノードの影響力の再学習を定期的に行う構成を採用した。このようにすれば、前処理により更新された適切なデータを再学習に利用することができるため、未来の投稿件数データにかかる出現予測を迅速に且つ精度よく実現することができる。
（動作説明）
　次に、図６に示したデータ集中予測装置の動作制御の内容を図７及び図８に示すフローチャートに基づいて説明する。ここでは、煩雑さを避けるため、単一の話題に関しての学習・予測について説明する。話題が複数指定されている場合は、各話題に対して以下で説明する手法と同じ手法で学習・予測を行う。
（学習処理）
　まず、図７に基づいて時系列データの学習処理を説明する。
　学習用データ入力部１２Ａに、複数のノードND（１～ｎ）としてのユーザ（発信者）によりツイッター上にツイートされたテキストデータがネットワーク９２を介して入力される。この際、各テキストデータに関しての「ツイートされた時刻」「ツイートしたノード」及び「そのテキストデータが属する話題」にかかる各情報も同時に入力される。上述した通り、これらの情報から成るツイッターデータを学習用データ入力部１２Ａは、学習データ抽出処理部４２に送信する（図７：Ｓ７０１）。
　続いて、学習用データ入力部１２Ａからツイッターデータを受け取った学習データ抽出処理部４２は、上記式１及び式２に基づいて各単位時刻（各単位集計時間）におけるツイッターデータが追加学習データとして適切であるか否かを連続的に判定する（図７：Ｓ７０２）。
　具体的には、リアルタイムの時刻に学習用データ入力部１２Ａから受け取ったツイッターデータの投稿件数（予測属性情報）に基づいて、学習データ抽出処理部４２が上記式１及び式２に基づく判定を実行し（図７：Ｓ７０２）、追加学習データとして適切である旨の判定にかかるツイッターデータを直近過去Ｓ時刻のツイッターデータと共に連続的に抽出する（図７：Ｓ７０３）。
　即ち、式１を具備する場合において学習データ抽出処理部４２は、リアルタイムの時刻にかかるツイッターデータが追加学習データとして適切である旨判定すると共に（図７：Ｓ７０２／はい）当該判定にかかるツイッターデータ（直近過去Ｓ時刻にかかるツイッターデータも含む）を抽出し、後続するツイッターデータの抽出処理に移行する（図７：Ｓ７０３）。
　一方で、式１を具備しなければ、学習データ抽出処理部４２は、そのツイッターデータが追加学習データとしては不適切である旨判定し、当該判定にかかるツイッターデータを抽出せずに後続するツイッターデータの処理に移行する（図７：Ｓ７０２／いいえ）。
　続いて、上記により追加学習データとして適切である旨を連続的に判定した学習データ抽出処理部４２は、当該連続判定にかかる有効学習期間内のツイッターデータ（直近過去Ｓ時刻かかるデータも含む）を学習データ記憶部２１Ａにまとめて一回で記憶処理する。過去の学習データが学習データ記憶部２１Ａ内に存在するときは追加的に記憶させる（図７：Ｓ７０４）。
　学習データ抽出処理部４２が有効学習期間内の新たなツイッターデータをデータ記憶部２１Ａに一括して記憶処理すると（図７：Ｓ７０４）、学習処理部５２は、追加学習データとしての当該新たなツイッターデータをデータ記憶部２１Ａから取得する（図７：Ｓ７０５）。
　次いで、学習処理部５２は、この新たなツイッターデータをノード情報・時刻情報・テキストデータの３つの情報に基づいて話題ごとに分類する。この分類により得た学習分類情報（単一の話題に属するツイッターデータの情報）を学習処理部５２は、話題ごとに情報集計部６２へと送信する（図７：Ｓ７０５）。
　続いて、学習用データ入力部１２Ａに入力される各テキストデータに紐付けられたノードごとの属性情報を受信した属性情報入力部１２Ｂが、当該属性情報をグループ化機能６２Ｃに送信する（図７：Ｓ７０６）。
　グループ化機能６２Ｃは、属性情報入力部１２Ｂから取得したノードごとの属性情報に基づいて有効学習期間内に受信したツイッターデータにかかる全ノードのグループ化（グルーピング）を実行し、これにより作成したグループ情報を学習データ集計機能６２Ａに送信する（図７：Ｓ７０７）。
　続いて、情報集計機能６２Ａは、学習処理部５２から取得した学習分類情報とグループ化機能６２Ｃから受信したグループ情報に基づいて、上記式３の形式による学習集計データ（クロス集計データ）を作成すると共に、これを学習処理部５２に送信する（図７：Ｓ７０８）。
　続いて、学習データ集計機能６２Ａから学習集計データを受け取った学習処理部５２は、これまでに作成され予め保存されている過去の集計データ加工情報を学習処理情報保存部２１Ｂから取得し、これらの情報を再学習処理機能５１Ｂにて上記式９の形式でまとめた後、上記式４の形式でグループの影響力を算出し、その値をもとに影響力処理機能５２Ｂにて各ノードが属するグループの影響力の総和を当該ノードの影響力とし影響力データを算出する（図７：Ｓ７０９）。
　一方で、影響力データの算出に際して、学習処理情報保存部２１Ｂに過去の集計データ加工情報が保存されていなかった場合には、リアルタイムで学習データ集計機能６２Ａから受け取った学習集計データに基づき上記式４の形式でグループの影響力を算出し、その値をもとに影響力処理機能５２Ｂにてノードの影響力を示す影響力データを算出する（図７：Ｓ７０９）。
　グループの影響力の算出に際して、学習処理部５２は、上記式６及び上記Ｌ１正則化を示す式７又はＬ２正則化を示す式８を利用して上記式５の値を最小にするグループの影響力βを、上記式４に示す形式で算出する。この学習処理部５２の正則化手法を取り入れた算出機能によれば過学習を抑止することができるため、これにより、学習結果の安定性を向上させることが可能となる。（図７：Ｓ７０９）。
　続いて、学習処理部５２はデータ更新処理機能５１Ａにて、リアルタイムで算出した影響力データ及びその算出にかかる集計データ加工情報により学習処理情報保存部２１Ｂ内の情報を更新する。また、学習処理情報保存部２１Ｂ内に保存情報が存在しなかった場合には、学習処理部５２はリアルタイムで算出した影響力データ及びその算出にかかる集計データ加工情報を学習処理情報保存部２１Ｂに保存処理する（図７：Ｓ７１０）。
（投稿件数の予測）
　次に、図８に基づいて、予測データが観測された時刻から見た未来の投稿件数を予測する一連の動作内容（将来の投稿件数にかかるデータ集中の予測処理）を説明する。
　予測用データ入力部１２Ｃが、予め設定された時間間隔（予測間隔）で発せられる予測要求に応じてデータ集中予測用のツイッターデータを入力する。この際、各テキストデータに関しての「ツイートされた時刻」「ツイートしたノード」及び「そのテキストデータが属する話題」にかかる各情報も併せて入力する。予測用データ入力部１２Ｃは、これらの情報から成る予測データとしてのツイッターデータを予測処理部７２に送信する（図８：Ｓ７１１）。
　続いて、予測処理部７２は、取得した各ツイッターデータをノード情報・時刻情報・テキストデータの３つの情報に基づいて話題ごとに分類する。この分類により得た予測分類情報（単一の話題に属するツイッターデータの情報）を予測処理部７２は、話題ごとに情報集計部６２に送信する（図８：Ｓ７１２）。
　続いて、予測用データ入力部１２Ｃが受信する各テキストデータに紐付けられたノードごとの属性情報を、属性情報入力部１２Ｂが装置外部から取り込むと共にこの属性情報を情報集計部６２に送信する（図８：Ｓ７１３）。
　情報集計部６２はグループ化機能６２Ｃにて、属性情報入力部１２Ｂから取得したノードの属性情報に基づいてノードのグループ化を実行し、作成したグループ情報を情報集計部６２に送信する（図８：Ｓ７１４）。
　続いて、情報集計部６２は、予測処理部７２から取得した予測分類情報とグループ作成部６２Ｃから受信したグループ情報に基づいて話題ごとの予測集計データ（クロス集計データ）を上記式１１の形式で作成すると共に、これを予測処理部７２に送信する（図８：Ｓ７１５）
　続いて、学習処理部５２が、予め学習処理情報保存部２１Ｂに保存処理された式４の形式から成る影響力データを取得すると共にこれを予測処理部７２に送信すると、予測処理部７２は、この影響力データ（式４の形式）と情報集計部６２から受け取った予測集計データ（式１１の形式）とを利用して、予測データが観測された時刻から見た未来の投稿件数を予測する。即ち、予測処理部７２は、上記式１０の形式で未来の投稿件数の予測値を算出する。その際、必要に応じて予測処理部７２は、当該算出にかかる予測値をデータ記憶手段２１に記憶処理する（図８：Ｓ７１６）。
　次いで、予測処理部７２は、算出した未来の投稿件数の予測値を予測結果出力機能７１Ａにより装置外部へと出力する（図８：Ｓ７１７）。このようにすれば、かかる予測値を取得したツイッタークライアントやノード等が将来のデータ変動にかかる予測値を把握すると共に適宜何らかの手立てを講じ得るため、これにより、ツイッターでの炎上等の問題を未然に防止することが可能となる。
　また、上記各ステップＳ７０１～Ｓ７１７（図７、図８）における各工程の実行内容をプログラム化すると共に、この一連の各制御プログラムをコンピュータによって実現するように構成してもよい。
（第２実施形態の効果）
　本第２実施形態においても学習データ抽出処理部４２は、上記式１及び式２に基づく手法により、多様なデータの変動傾向に順応した有効学習期間と共に当該期間内のツイッターデータを抽出することができるため、これにより、データの過剰収集やデータ不足といった問題を自動的に防止することが可能となる。
　また、データ集中予測装置８２においては、学習データ抽出処理部４２が抽出したデータ集中の予測に有意な追加学習データに対して集計処理等を施すと共に、当該処理後のデータに基づいて予測処理部７２が将来の投稿件数を予測する。即ち、精度よく抽出したデータ集中予測用の追加学習データを元のデータとして用いることにより、信頼性の高い予測値を得ることができるため、これにより、ツイッターでの炎上の原因となるノードの影響力等を精度よく把握でき且つ風評被害等を未然に防止することが可能となる。
　さらに、グループ化機能６２Ｃによるノード（発信者）のグループ化によれば、不安定なノード（発信者）の数を予め設定したグループ数（定数）に限定することができ、このため、クロス集計データや影響力データ等の算出を円滑に行うと共に当該算出結果の安定化を図ることが可能となる。また、学習処理部５２に採用した正則化手法を取り入れた算出機能によれば、過学習を抑止することができるため、これにより、精確かつ安定感のあるノードの影響力を繰り返し得ることができる。
　さらに、本第２実施形態にかかるデータ集中予測装置８２によれば、有効学習期間の抽出や再学習等を自動的に効率よく行うことができるため、これにより、予測処理の迅速化や予測精度の向上を図ることが可能となる。従って、かかる自動化により、特に実応用の場面においての人的コストや人為的ミスの削減が実現可能となる。
〔構成等にかかる応用例〕
　本第２実施形態では、算出処理の迅速化やデータの安定化等の観点から、データ集中予測装置８２の有するグループ化機能６２Ｃ及び学習処理部５２の有する正則化手法を取り入れた算出機能の両方を導入した場合を説明したが、何れか一方のみを導入するように構成してもよい。
　また、本第２実施形態にかかるデータ集中予測装置８２では、学習処理部５２が影響力データを学習処理情報保存部２１Ｂから取得すると共にこれを予測処理部７２に送信する構成を採用した（図８：Ｓ７１６）。しかし、この影響力データは、予測処理部７２が直接学習処理情報保存部２１Ｂから取得するように構成してもよい。
　さらに、予め外部入力により設定された予測間隔にかかる情報は、データ記憶手段２１に併設されたメモリ内に記憶されるような構成としてもよい。即ち、データ入力手段１２が、予測間隔にかかる情報を取得しこれに沿って予測データの入力を行うようにしてもよい。
　また、本第２実施形態では、ツイッター上での炎上等の特徴的なデータ変動を把握することを主眼としていることから、投稿件数の上昇傾向を有効に把握するために上記式１を採用し、これに基づいて変動許容範囲を算出すると共に追加学習データを抽出した（図７：Ｓ７０２、Ｓ７０３）。しかし、データの上昇傾向だけではなく減少傾向についても精度よく把握したい場合には、上記式１と共に下記式１２を採用するようにしてもよい。
Figure JPOXMLDOC01-appb-M000015
　もっとも、データの減少傾向のみを有効に把握したい場合には、上記式１に代えて式１２を採用するようにしてもよい。このようにすれば、各種時系列データの特徴や把握したい状況に応じての柔軟なデータ抽出が可能となるため、これにより、様々な場面でのデータ予測が実現可能となる。
　また、本第２実施形態では、時系列データとしてツイッターデータ及びそれに紐付けられた属性情報を採用しての構成及び動作を説明した。しかし、本発明にかかるデータ集中予測装置８２によれば、多様な環境下において現れる様々な時系列データについて、上述した各工程内容（図７及び図８：Ｓ７０１～Ｓ７１７）と同様の動作制御を実現できる。即ち、ツイッターやブログ等のWeb上のソーシャルメディアへの投稿記事数のみならず、地震の波形や津波の潮位変動といった自然現象にかかるデータ、自動車や工場ラインに設置されたセンサから得られる各部品の状態にかかるデータ、日々の生活における電力使用量といった人間活動にかかるデータ等の未来の出現予測を精度よく行うことができる。
　なお、上述した実施形態は、データ集中予測装置、データ集中予測方法、及びそのプログラムにおける好適な具体例であり、技術的に好ましい種々の限定を付している場合もある。しかし、本発明の技術範囲は、特に本発明を限定する記載がない限り、これらの態様に限定されるものではない。
　以下は、上述した実施形態についての新規な技術的内容の要点をまとめたものであるが、本発明は必ずしもこれに限定されるものではない。
（付記１）
　複数のノードから発信されるデータを対応する属性情報と共に受信し時系列データとして取り込むデータ入力手段と、この取り込んだ時系列データを学習データとして記憶するデータ記憶手段と、前記記憶した時系列データのデータ構造を分析し後発するデータ集中を予測するデータ集中予測手段と、を備えたデータ集中予測装置であって、
　前記データ集中予測手段は、前記データ入力手段が取り込む時系列データを予め設定された単位時刻ごとに経時的に一時記憶処理すると共に、この一時記憶処理データを利用して各時系列データの入力時刻の直前の時刻を基準とした過去の一定期間内の時系列データに基づいて予め設定される変動許容範囲を逸脱する当該時系列データを前記後発するデータ集中の予測に必要な追加学習データとして連続的に抽出処理する学習データ抽出処理部を備え、
　この学習データ抽出処理部が、前記連続的に抽出した追加学習データを前記データ記憶手段に一括して記憶処理する学習データ記憶処理機能を備えたことを特徴とするデータ集中予測装置。
（付記２）
　前記付記１に記載のデータ集中予測装置において、
　前記追加学習データの抽出に際して設定される変動許容範囲を、前記過去の一定期間内の時系列データが内包する前記データ集中の予測にかかる属性のデータの平均値と分散に基づいて前記学習データ抽出処理部が算出し設定することを特徴としたデータ集中予測装置。
（付記３）
　前記付記１又は２に記載のデータ集中予測装置において、
　前記データ集中予測手段が、
　前記データ記憶手段に一括記憶された追加学習データが内包する前記データ集中の予測にかかる属性のデータを前記単位時刻に対応づけて学習集計データとして集計する学習データ集計機能を有する情報集計部と、
　前記データ集中にかかる予測値に対する各ノードの影響力を示す影響力データを前記学習集計データとの関係で算出すると共に、この影響力データ及び当該算出に用いた学習集計データを前記データ記憶手段に保存処理する学習処理部と、を備えたことを特徴とするデータ集中予測装置。
（付記４）
　前記付記３に記載のデータ集中予測装置において、
　前記情報集計部は、更に、予め設定された時間間隔で発せられる予測要求に応じて前記データ入力手段が取り込んだ時系列データに含まれる前記予測にかかる属性のデータを前記単位時刻に対応づけて予測集計データとして集計する予測データ集計機能を備え、
　前記データ集中予測手段が、更に、前記予測集計データと前記影響力データとに基づいて前記予測値を算出処理する予測処理部を備えたことを特徴とするデータ集中予測装置。
（付記５）
　前記付記３又は４に記載のデータ集中予測装置において、
　前記学習処理部は、更に、リアルタイムでの前記影響力データの算出に際して前記データ記憶手段に予め影響力データ及び学習集計データが保存されていた場合には、リアルタイムにて算出した影響力データ及び当該算出に用いた学習集計データにより前記データ記憶手段内の保存情報を更新するデータ更新処理機能を備えたことを特徴とするデータ集中予測装置。
（付記６）
　前記付記３又は４に記載のデータ集中予測装置において、
　前記学習処理部は、更に、リアルタイムでの前記影響力データの算出に際して前記データ記憶手段に予め学習集計データが保存されていた場合には、その保存された学習集計データとリアルタイムにて前記情報集計部から取得する学習集計データとを結合処理すると共にこれを使用して前記影響力データを算出する再学習処理機能を備えたことを特徴するデータ集中予測装置。
（付記７）
　前記付記５に記載のデータ集中予測装置において、
　前記学習処理部は、更に、リアルタイムでの前記影響力データの算出に際して前記データ記憶手段に予め学習集計データが保存されていた場合には、その保存された学習集計データとリアルタイムにて前記情報集計部から取得する学習集計データとを結合処理すると共にこれを使用して前記影響力データを算出する再学習処理機能を備えたことを特徴するデータ集中予測装置。
（付記８）
　前記付記７に記載のデータ集中予測装置において、
　前記学習処理部は、前記影響力データの算出に用いた学習集計データを前記データ記憶手段に保存処理する際又は前記データ更新処理機能にて前記データ記憶手段の保存情報を更新する際に、当該学習集計データに所定の加工を施した集計データ加工情報を用いて前記保存処理及び更新を実行し、
　前記再学習処理機能は、前記集計データ加工情報とリアルタイムにて取得した学習集計データに前記所定の加工を施したものとを結合処理することを特徴としたデータ集中予測装置。
（付記９）
　前記付記４乃至８の何れか一つに記載のデータ集中予測装置において、
　前記情報集計部は、
　前記各ノードの属性データの共通性に基づいてグループを定めると共に各ノードを１以上のグループに帰属させてグループ情報を作成するグループ化機能と、
　このグループ情報を前記予測にかかる属性のデータに代えて、前記時刻に対応づけることにより前記学習集計データ又は前記予測集計データを作成するグループ集計機能と、を備えたことを特徴とするデータ集中予測装置。
（付記１０）
　前記付記９に記載のデータ集中予測装置において、
　前記学習処理部は、前記各ノードにかかる影響力データを算出するに際して、前記データ集中に対する各グループの影響力を前記学習集計データとの関係で算出すると共に、前記各ノードについて当該ノードの属するグループの影響力の加算値を当該ノードの影響力とする影響力処理機能を備えたことを特徴とするデータ集中予測装置。
（付記１１）
　前記付記３乃至１０の何れか一つに記載のデータ集中予測装置において、
　前記学習処理部は、更に、前記データ記憶手段に一括記憶された追加学習データをデータ内容ごとに分類しこれにより作成した学習分類情報を前記情報集計部に送信する学習分類機能を備え、
　前記情報集計部は、この学習分類情報を利用して前記学習集計データを作成することを特徴としたデータ集中予測装置。
（付記１２）
　前記付記４乃至１１の何れか一つに記載のデータ集中予測装置において、
　前記予測処理部は、更に、前記予測要求に応じて前記データ入力手段が取り込んだ時系列データをデータ内容ごとに分類しこれにより作成した予測分類情報を前記情報集計部に送信する予測分類機能を備え、
　前記情報集計部は、この予測分類情報を利用して前記予測集計データを作成することを特徴としたデータ集中予測装置。
（付記１３）
　前記付記４乃至１２の何れか一つに記載のデータ集中予測装置において、
　前記予測処理部は、更に、将来のデータ変動の傾向として前記算出した予測値を装置外部に出力する予測結果出力機能を備えたことを特徴とするデータ集中予測装置。
（付記１４）
　前記付記３乃至１３の何れか一つに記載のデータ集中予測装置において、
　前記学習処理部は、過学習を抑止する正則化手法を取り入れた算出機能により前記影響力データを算出することを特徴としたデータ集中予測装置。
（付記１５）
　前記付記１４に記載のデータ集中予測装置において、
　前記学習処理部は、前記正則化手法としてＬ１正則化を実装したことを特徴とするデータ集中予測装置。
（付記１６）
　前記付記１４に記載のデータ集中予測装置において、
　前記学習処理部は、前記正則化手法としてＬ２正則化を実装したことを特徴とするデータ集中予測装置。
（付記１７）
　複数のノードから発信されるデータを対応する属性情報と共に受信し時系列データとして取り込むデータ入力手段と、この取り込んだ時系列データを学習データとして記憶するデータ記憶手段と、前記記憶した時系列データのデータ構造を分析し後発するデータ集中を予測するデータ集中予測手段と、を備えたデータ集中予測装置にあって、
　前記データ集中予測手段は、前記データ集中の予測用の時系列データを抽出し処理する学習データ抽出処理部を備えており、
　前記データ入力手段にて取り込まれた時系列データを予め設定された単位時刻ごとに経時的に一時記憶処理し、
　この一時記憶処理データを利用して各時系列データが各々の入力時刻の直前の時刻を基準とした過去の一定期間内の時系列データに基づいて設定される変動許容範囲を逸脱するものであるか否かを判定し、
　前記変動許容範囲を逸脱する旨判定した際に、当該判定にかかる時系列データを前記後発するデータ集中の予測に必要な追加学習データとして連続的に抽出し、
　この連続的に抽出した追加学習データを前記データ記憶手段に一括して記憶処理すると共に、
　これら一連の各工程内容を前記学習データ抽出処理部が順次実行し、
　前記データ記憶手段に一括記憶された追加学習データ及び既存の学習データにより特定される前記時系列データのデータ構造に基づいて、前記データ集中予測手段の予測処理部が前記データ集中を予測することを特徴としたデータ集中予測方法。
（付記１８）
　前記付記１７に記載のデータ集中予測方法において、
　前記学習データ抽出処理部が前記連続的に抽出した追加学習データを一括して記憶処理した後、前記予測処理部による予測に先立って、
　この一括記憶された追加学習データが内包する前記データ集中の予測にかかる属性のデータを前記単位時刻に対応づけて学習集計データとして集計し、
　この学習集計データとの関係で前記データ集中にかかる予測値に対する各ノードの影響力を示す影響力データを算出し、
　この影響力データ及び当該算出に用いた学習集計データにより前記データ記憶手段内の保存情報を更新し、
　これら一連の各工程内容を前記データ集中予測手段が順次実行することを特徴としたデータ集中予測方法。
（付記１９）
　複数のノードから発信されるデータを対応する属性情報と共に受信し時系列データとして取り込むデータ入力手段と、この取り込んだ時系列データを学習データとして記憶するデータ記憶手段と、前記記憶した時系列データのデータ構造を分析し後発するデータ集中を予測するデータ集中予測手段と、を備えたデータ集中予測装置にあって、
　前記データ入力手段にて取り込まれた時系列データを予め設定された単位時刻ごとに経時的に一時記憶処理するデータ一時記憶処理機能、
　この一時記憶処理データを利用して各時系列データが各々の入力時刻の直前の時刻を基準とした過去の一定期間内の時系列データに基づいて設定される変動許容範囲を逸脱するものであるか否かを判定する変動許容判定機能、
　前記変動許容範囲を逸脱する旨判定した際に、当該判定にかかる時系列データを前記後発するデータ集中の予測に必要な追加学習データとして連続的に抽出する学習データ抽出機能、
　この連続的に抽出した追加学習データを前記データ記憶手段に一括して記憶処理する学習データ記憶処理機能、
　および、この一括記憶された追加学習データ及び既存の学習データにより特定される前記時系列データのデータ構造に基づいて前記データ集中を予測する予測処理機能を設け、
　これら各情報処理機能を、前記データ集中予測手段が備えているコンピュータに実現させるようにしたことを特徴とするデータ集中予測プログラム。
（付記２０）
　前記付記１９に記載のデータ集中予測プログラムにおいて、
　前記データ記憶手段に一括記憶された追加学習データが内包する前記データ集中の予測にかかる属性のデータを前記単位時刻に対応づけて学習集計データとして集計する学習データ集計機能、
　この学習集計データとの関係で前記データ集中にかかる予測値に対する各ノードの影響力を示す影響力データを算出する影響力データ算出機能、
　この影響力データ及び当該算出に用いた学習集計データにより前記データ記憶手段の保存情報を更新するデータ更新処理機能、
　この更新された前記既存の学習データとしての保存情報を利用してリアルタイムで受信した時系列データに基づく前記予測値を算出すると共にこれを前記データ記憶手段に格納する予測値算出格納機能を設け、
　これら各情報処理機能を、前記コンピュータに実現させるようにしたことを特徴とするデータ集中予測プログラム。
　この出願は２０１２年９月１２日に出願された日本出願特願２０１２－２００４４０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、例えば、企業が自社商品の風評被害がウェブ（Web）上で将来的に起こらないかどうかを監視するためのシステム等に利用可能である。
　　１１、１２　　データ入力手段
　　１２Ａ　　学習用データ入力部
　　１２Ｂ　　属性情報入力部
　　１２Ｃ　　予測用データ入力部
　　２１　　データ記憶手段
　　２１Ａ　　学習データ記憶部
　　２１Ｂ　　学習処理情報保存部
　　３１、３２　　データ集中予測手段
　　４１、４２　　学習データ抽出処理部
　　４１Ａ、４２Ａ　　学習データ記憶処理機能
　　５１、５２　　学習処理部
　　５１Ａ　　データ更新処理機能
　　５１Ｂ　　再学習処理機能
　　５２Ａ　　学習分類機能
　　５２Ｂ　　影響力処理機能
　　６１、６２　　情報集計部
　　６１Ａ、６２Ａ　　学習データ集計機能
　　６１Ｂ、６２Ｂ　　予測データ集計機能
　　６２Ｃ　　グループ化機能
　　６３　　グループ集計機能
　　７１、７２　　予測処理部
　　７１Ａ　　予測結果出力機能
　　７２Ａ　　予測分類機能
　　８１、８２　　データ集中予測装置

Claims (10)

  1. 　複数のノードから発信されるデータを対応する属性情報と共に受信し時系列データとして取り込むデータ入力手段と、この取り込んだ時系列データを学習データとして記憶するデータ記憶手段と、前記記憶した時系列データのデータ構造を分析し後発するデータ集中を予測するデータ集中予測手段と、を備えたデータ集中予測装置であって、
    　前記データ集中予測手段は、前記データ入力手段が取り込む時系列データを予め設定された単位時刻ごとに経時的に一時記憶処理すると共に、この一時記憶処理データを利用して各時系列データの入力時刻の直前の時刻を基準とした過去の一定期間内の時系列データに基づいて予め設定される変動許容範囲を逸脱する当該時系列データを前記後発するデータ集中の予測に必要な追加学習データとして連続的に抽出処理する学習データ抽出処理部を備え、
    　この学習データ抽出処理部が、前記連続的に抽出した追加学習データを前記データ記憶手段に一括して記憶処理する学習データ記憶処理機能を備えたことを特徴とするデータ集中予測装置。
  2. 　前記請求項１に記載のデータ集中予測装置において、
    　前記追加学習データの抽出に際して設定される変動許容範囲を、前記過去の一定期間内の時系列データが内包する前記データ集中の予測にかかる属性のデータの平均値と分散に基づいて前記学習データ抽出処理部が算出し設定することを特徴としたデータ集中予測装置。
  3. 　前記請求項２に記載のデータ集中予測装置において、
    　前記データ集中予測手段が、
    　前記データ記憶手段に一括記憶された追加学習データが内包する前記データ集中の予測にかかる属性のデータを前記単位時刻に対応づけて学習集計データとして集計する学習データ集計機能を有する情報集計部と、
    　前記データ集中にかかる予測値に対する各ノードの影響力を示す影響力データを前記学習集計データとの関係で算出すると共に、この影響力データ及び当該算出に用いた学習集計データを前記データ記憶手段に保存処理する学習処理部と、を備えたことを特徴とするデータ集中予測装置。
  4. 　前記請求項３に記載のデータ集中予測装置において、
    　前記情報集計部は、更に、予め設定された時間間隔で発せられる予測要求に応じて前記データ入力手段が取り込んだ時系列データに含まれる前記予測にかかる属性のデータを前記単位時刻に対応づけて予測集計データとして集計する予測データ集計機能を備え、
    　前記データ集中予測手段が、更に、前記予測集計データと前記影響力データとに基づいて前記予測値を算出処理する予測処理部を備えたことを特徴とするデータ集中予測装置。
  5. 　前記請求項４に記載のデータ集中予測装置において、
    　前記学習処理部は、更に、リアルタイムでの前記影響力データの算出に際して前記データ記憶手段に予め影響力データ及び学習集計データが保存されていた場合には、リアルタイムにて算出した影響力データ及び当該算出に用いた学習集計データにより前記データ記憶手段内の保存情報を更新するデータ更新処理機能を備えたことを特徴とするデータ集中予測装置。
  6. 　前記請求項５に記載のデータ集中予測装置において、
    　前記学習処理部は、更に、リアルタイムでの前記影響力データの算出に際して前記データ記憶手段に予め学習集計データが保存されていた場合には、その保存された学習集計データとリアルタイムにて前記情報集計部から取得する学習集計データとを結合処理すると共にこれを使用して前記影響力データを算出する再学習処理機能を備えたことを特徴するデータ集中予測装置。
  7. 　前記請求項４に記載のデータ集中予測装置において、
    　前記情報集計部は、
    　前記各ノードの属性データの共通性に基づいてグループを定めると共に各ノードを１以上のグループに帰属させてグループ情報を作成するグループ化機能と、
    　このグループ情報を前記予測にかかる属性のデータに代えて、前記時刻に対応づけることにより前記学習集計データ又は前記予測集計データを作成するグループ集計機能と、を備えたことを特徴とするデータ集中予測装置。
  8. 　前記請求項７に記載のデータ集中予測装置において、
    　前記学習処理部は、前記各ノードにかかる影響力データを算出するに際して、前記データ集中に対する各グループの影響力を前記学習集計データとの関係で算出すると共に、前記各ノードについて当該ノードの属するグループの影響力の加算値を当該ノードの影響力とする影響力処理機能を備えたことを特徴とするデータ集中予測装置。
  9. 　複数のノードから発信されるデータを対応する属性情報と共に受信し時系列データとして取り込むデータ入力手段と、この取り込んだ時系列データを学習データとして記憶するデータ記憶手段と、前記記憶した時系列データのデータ構造を分析し後発するデータ集中を予測するデータ集中予測手段と、を備えたデータ集中予測装置にあって、
    　前記データ集中予測手段は、前記データ集中の予測用の時系列データを抽出し処理する学習データ抽出処理部を備えており、
    　前記データ入力手段にて取り込まれた時系列データを予め設定された単位時刻ごとに経時的に一時記憶処理し、
    　この一時記憶処理データを利用して各時系列データが各々の入力時刻の直前の時刻を基準とした過去の一定期間内の時系列データに基づいて設定される変動許容範囲を逸脱するものであるか否かを判定し、
    　前記変動許容範囲を逸脱する旨判定した際に、当該判定にかかる時系列データを前記後発するデータ集中の予測に必要な追加学習データとして連続的に抽出し、
    　この連続的に抽出した追加学習データを前記データ記憶手段に一括して記憶処理すると共に、
    　これら一連の各工程内容を前記学習データ抽出処理部が順次実行し、
    　前記データ記憶手段に一括記憶された追加学習データ及び既存の学習データにより特定される前記時系列データのデータ構造に基づいて、前記データ集中予測手段の予測処理部が前記データ集中を予測することを特徴としたデータ集中予測方法。
  10. 　複数のノードから発信されるデータを対応する属性情報と共に受信し時系列データとして取り込むデータ入力手段と、この取り込んだ時系列データを学習データとして記憶するデータ記憶手段と、前記記憶した時系列データのデータ構造を分析し後発するデータ集中を予測するデータ集中予測手段と、を備えたデータ集中予測装置にあって、
    　前記データ入力手段にて取り込まれた時系列データを予め設定された単位時刻ごとに経時的に一時記憶処理するデータ一時記憶処理機能、
    　この一時記憶処理データを利用して各時系列データが各々の入力時刻の直前の時刻を基準とした過去の一定期間内の時系列データに基づいて設定される変動許容範囲を逸脱するものであるか否かを判定する変動許容判定機能、
    　前記変動許容範囲を逸脱する旨判定した際に、当該判定にかかる時系列データを前記後発するデータ集中の予測に必要な追加学習データとして連続的に抽出する学習データ抽出機能、
    　およびこの連続的に抽出した追加学習データを前記データ記憶手段に一括して記憶処理する学習データ記憶処理機能、
    　この一括記憶された追加学習データ及び既存の学習データにより特定される前記時系列データのデータ構造に基づいて前記データ集中を予測する予測処理機能を設け、
    　これら各情報処理機能を、前記データ集中予測手段が備えているコンピュータに実現させるようにしたことを特徴とするデータ集中予測プログラム。
PCT/JP2013/074367 2012-09-12 2013-09-10 データ集中予測装置、データ集中予測方法、及びそのプログラム Ceased WO2014042147A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014535547A JPWO2014042147A1 (ja) 2012-09-12 2013-09-10 データ集中予測装置、データ集中予測方法、及びそのプログラム
US14/427,038 US20150235133A1 (en) 2012-09-12 2013-09-10 Data concentration prediction device, data concentration prediction method, and recording medium recording program thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012200440 2012-09-12
JP2012-200440 2012-09-12

Publications (1)

Publication Number Publication Date
WO2014042147A1 true WO2014042147A1 (ja) 2014-03-20

Family

ID=50278258

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/074367 Ceased WO2014042147A1 (ja) 2012-09-12 2013-09-10 データ集中予測装置、データ集中予測方法、及びそのプログラム

Country Status (3)

Country Link
US (1) US20150235133A1 (ja)
JP (1) JPWO2014042147A1 (ja)
WO (1) WO2014042147A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016099738A (ja) * 2014-11-19 2016-05-30 国立大学法人静岡大学 予測システム、予測方法、および予測プログラム
JPWO2015151789A1 (ja) * 2014-03-31 2017-04-13 日本電気株式会社 教師データ生成装置、電気機器監視システム、教師データ生成方法及びプログラム
JP2019159957A (ja) * 2018-03-14 2019-09-19 オムロン株式会社 学習支援装置
CN112734137A (zh) * 2021-01-27 2021-04-30 国网电力科学研究院武汉能效测评有限公司 基于智能电表数据的短期楼宇电力负荷预测方法及系统
JP2021089463A (ja) * 2019-12-02 2021-06-10 Kddi株式会社 異常値検出装置、異常値検出方法及び異常値検出プログラム
JP2021174335A (ja) * 2020-04-28 2021-11-01 株式会社マネーフォワード 情報処理装置及びプログラム
WO2022030041A1 (ja) * 2020-08-03 2022-02-10 オムロン株式会社 予測システム、情報処理装置および情報処理プログラム
WO2024262072A1 (ja) * 2023-06-21 2024-12-26 三菱電機株式会社 学習装置及び推論装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150309965A1 (en) * 2014-04-28 2015-10-29 Elwha Llc Methods, systems, and devices for outcome prediction of text submission to network based on corpora analysis
JP6384590B2 (ja) * 2015-03-26 2018-09-05 日本電気株式会社 学習モデル生成システム、方法およびプログラム
CN107153882B (zh) * 2016-03-03 2021-10-15 北京嘀嘀无限科技发展有限公司 乘客打车时刻分布区间的预测方法和系统
WO2018118982A1 (en) * 2016-12-20 2018-06-28 Estia, Inc. Time series modeling for network predictions
WO2018118986A1 (en) * 2016-12-20 2018-06-28 Estia, Inc. Multi-source modeling for network predictions
US11359471B2 (en) 2016-12-28 2022-06-14 Upwing Energy, Inc. Integrated control of downhole and surface blower systems
JP6670418B2 (ja) * 2018-02-26 2020-03-18 株式会社日立情報通信エンジニアリング 状態予測装置および状態予測制御方法
CN110472741B (zh) * 2019-06-27 2022-06-03 广东工业大学 一种三域模糊小波宽度学习滤波系统及方法
US11321115B2 (en) 2019-10-25 2022-05-03 Vmware, Inc. Scalable and dynamic data collection and processing
US11379694B2 (en) * 2019-10-25 2022-07-05 Vmware, Inc. Scalable and dynamic data collection and processing
US11551024B1 (en) * 2019-11-22 2023-01-10 Mastercard International Incorporated Hybrid clustered prediction computer modeling
CN115858509A (zh) * 2022-11-17 2023-03-28 深圳达实旗云健康科技有限公司 医疗数据波动率监测方法、装置、设备及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7757250B1 (en) * 2001-04-04 2010-07-13 Microsoft Corporation Time-centric training, inference and user interface for personalized media program guides

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TOSHIMITSU TAKAHASHI ET AL.: "Topic Emergence Detection in Social Network Using Probabilistic Models of Links", IEICE TECHNICAL REPORT, vol. 110, no. 476, 21 March 2011 (2011-03-21), pages 169 - 176 *
YUTAKA HIROKAWA ET AL.: "Traffic Leap Detection for Internet Backbone", IEICE TECHNICAL REPORT, vol. 106, no. 577, 1 March 2007 (2007-03-01), pages 403 - 408 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10466283B2 (en) 2014-03-31 2019-11-05 Nec Corporation Training data generation device, electrical device monitoring system, training data generation method, and non-transitory storage medium
JPWO2015151789A1 (ja) * 2014-03-31 2017-04-13 日本電気株式会社 教師データ生成装置、電気機器監視システム、教師データ生成方法及びプログラム
JP2016099738A (ja) * 2014-11-19 2016-05-30 国立大学法人静岡大学 予測システム、予測方法、および予測プログラム
CN111684475B (zh) * 2018-03-14 2023-10-20 欧姆龙株式会社 学习支援装置、处理系统、学习支援方法以及存储介质
CN111684475A (zh) * 2018-03-14 2020-09-18 欧姆龙株式会社 学习支援装置
US12229638B2 (en) 2018-03-14 2025-02-18 Omron Corporation Learning assistance device, processing system, learning assistance method, and storage medium
WO2019176480A1 (ja) * 2018-03-14 2019-09-19 オムロン株式会社 学習支援装置
JP2019159957A (ja) * 2018-03-14 2019-09-19 オムロン株式会社 学習支援装置
JP7324131B2 (ja) 2019-12-02 2023-08-09 Kddi株式会社 異常値検出装置、異常値検出方法及び異常値検出プログラム
JP2021089463A (ja) * 2019-12-02 2021-06-10 Kddi株式会社 異常値検出装置、異常値検出方法及び異常値検出プログラム
JP7511379B2 (ja) 2020-04-28 2024-07-05 株式会社マネーフォワード 情報処理装置及びプログラム
JP2021174335A (ja) * 2020-04-28 2021-11-01 株式会社マネーフォワード 情報処理装置及びプログラム
JP2022028338A (ja) * 2020-08-03 2022-02-16 オムロン株式会社 予測システム、情報処理装置および情報処理プログラム
WO2022030041A1 (ja) * 2020-08-03 2022-02-10 オムロン株式会社 予測システム、情報処理装置および情報処理プログラム
JP7596660B2 (ja) 2020-08-03 2024-12-10 オムロン株式会社 予測システム、情報処理装置および情報処理プログラム
CN112734137A (zh) * 2021-01-27 2021-04-30 国网电力科学研究院武汉能效测评有限公司 基于智能电表数据的短期楼宇电力负荷预测方法及系统
WO2024262072A1 (ja) * 2023-06-21 2024-12-26 三菱電機株式会社 学習装置及び推論装置

Also Published As

Publication number Publication date
US20150235133A1 (en) 2015-08-20
JPWO2014042147A1 (ja) 2016-08-18

Similar Documents

Publication Publication Date Title
WO2014042147A1 (ja) データ集中予測装置、データ集中予測方法、及びそのプログラム
US12341792B2 (en) Statistical analysis of network behavior using event vectors to identify behavioral anomalies using a composite score
US20100138368A1 (en) Methods and systems for self-improving reasoning tools
Domb et al. Lightweight adaptive Random-Forest for IoT rule generation and execution
US12499130B2 (en) Alert-based learning for multi-dimensional data processing
CN120316134A (zh) 基于大模型赋能erp-mes体系的设备数据采集查询优化方法
JP2019212043A (ja) 計算機システム及び学習制御方法
Vetriveeran et al. Optimized Multi‐Scale Attention Convolutional Neural Network for Micro‐Grid Energy Management System Employing in Internet of Things
GB2465861A (en) A reasoning inference making tool for recommending actions based on a hybridisation of a data driven model and knowledge based logic.
CN116862085A (zh) 一种基于狼群算法的自动寻优控制方法及系统
CN117631615A (zh) 基于物联网设备的生产车间数据采集与处理方法及系统
Cai et al. A Novel Power-sum Time-varying Grey Prediction Model and Its Applications.
JP2010079325A (ja) モデルの構築方法、構築システム及び構築用プログラム
Abdel-Kader et al. Efficient noise reduction system in industrial IoT data streams
Malhotra et al. A metric suite for predicting software maintainability in data intensive applications
Fan et al. Unsupervised online concept drift detection based on divergence and EWMA
Roy et al. A comprehensive study of various outlier detection approaches
Zheng et al. Research of QoC based management for complex sensor networks applications
CN117350607B (zh) 改进型knn算法模型的国际物流运输路径规划系统
CN117370834B (zh) 用户分类模型优化方法、系统、电子设备及存储介质
Diqi et al. Machine Learning for Environmental Health: Optimizing ConcaveLSTM for Air Quality Prediction
Maslyiak et al. Concept of Using Cloud to Improve Accuracy and Metrological Reliability of IoT Based Data Acquisition Systems
Jin et al. Special issue on “Data-driven evolutionary optimization”
CN121967249A (zh) 一种算力网络需求评估方法、装置、计算机可读存储介质
Liashenko et al. A Method for Dynamic Graph Weight Adaptation in IoV Networks Using Fuzzy-Based Exponential Smoothing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13837433

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014535547

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14427038

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13837433

Country of ref document: EP

Kind code of ref document: A1