WO2018047655A1 - 時系列データ特徴量抽出装置、時系列データ特徴量抽出方法及び時系列データ特徴量抽出プログラム - Google Patents

時系列データ特徴量抽出装置、時系列データ特徴量抽出方法及び時系列データ特徴量抽出プログラム Download PDF

Info

Publication number
WO2018047655A1
WO2018047655A1 PCT/JP2017/030743 JP2017030743W WO2018047655A1 WO 2018047655 A1 WO2018047655 A1 WO 2018047655A1 JP 2017030743 W JP2017030743 W JP 2017030743W WO 2018047655 A1 WO2018047655 A1 WO 2018047655A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
series data
model
feature
layer
Prior art date
Application number
PCT/JP2017/030743
Other languages
English (en)
French (fr)
Inventor
央 倉沢
勝義 林
昭典 藤野
小笠原　隆行
真澄 山口
信吾 塚田
中島　寛
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to EP17848596.7A priority Critical patent/EP3511871A4/en
Priority to US16/330,346 priority patent/US11449732B2/en
Priority to JP2018538357A priority patent/JP6574527B2/ja
Priority to CN201780054018.1A priority patent/CN109643397B/zh
Publication of WO2018047655A1 publication Critical patent/WO2018047655A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Definitions

  • the present invention relates to a time-series data feature extraction device, a time-series data feature extraction method, and a time-series data feature extraction program.
  • This application claims priority based on Japanese Patent Application No. 2016-174065 for which it applied on September 6, 2016, and uses the content here.
  • Time-series data is data in which values observed by sensors are converted to data in a temporal order. It is often the case that time series data cannot be observed (measured) for some reason, or the observed (measured) value is lost and is not observed (measured) at certain time intervals. Such time series data is referred to as unequal interval time series data.
  • the pair of time and observation value is (10 o'clock, 20 degrees), (11 o'clock). , 21 degrees), (12:00, 24 degrees), (14:00, 28 degrees), (17:00, 19 degrees).
  • the following events occur in an IoT (Internet of Things) / M2M (Machine to Machine) environment. That is, it may not be possible to observe due to a sensor terminal failure or battery exhaustion, or congestion may occur in the network and data may be lost. In such a case, it is difficult to obtain all observation data at regular time intervals. Further, in a system that is always worn by a person and observes biological information, the observation device is not always worn due to the convenience of the measurement subject such as bathing, sleeping, and changing clothes. For this reason, measurement tends to be fragmented. Furthermore, data such as a specimen test for handling human blood and urine is affected by the convenience of the measurement subject and the measurement performer and the availability of the test means. For this reason, it is difficult to make the measurement time interval constant.
  • IoT Internet of Things
  • M2M Machine to Machine
  • the first method extracts feature quantities regardless of the time interval of the observation data.
  • a loss estimation process interpolation or extrapolation
  • a feature amount representing a change over time is extracted.
  • a temporal change is modeled as a synthesis of fluctuation components by a state space model, and parameters of the fluctuation components are extracted as feature amounts.
  • the feature quantity may be a maximum value, a minimum value, an average, a variance value, or the like. Although these feature quantities can roughly represent the state of a certain period, they cannot correctly represent changes over time.
  • spline interpolation is an example of the loss estimation method.
  • the feature amount representing the change over time include conversion to frequency components such as discrete Fourier transform and wavelet transform, and symbol conversion such as SymbolSAggregate approximation (SAX) (Non-Patent Document 1).
  • SAX SymbolSAggregate approximation
  • the defect estimation process and the feature quantity extraction are independent processes, there is a problem that the feature quantity is greatly affected by the accuracy of the defect estimation process. For example, if there is a large deviation in the time interval of the observation data, the variation in the accuracy of the loss estimation processing also increases, and a feature amount to which noise depending on the time interval of the observation data or the loss estimation processing is added is extracted.
  • the temporal change of the temperature change of 3 hours from 14:00 to 17:00 is interpreted as a linear change by interpolation of the linear function, which becomes noise.
  • the state space model consists of a state model and an observation model.
  • the state model assumes Markov property, and the current state is expressed as a function of past states, explanatory variables, and system noise.
  • the observation model is expressed as a function of the current state, explanatory variables, and observation noise.
  • the state model is designed based on the fluctuation component assuming linear independence. Examples of the fluctuation component include a trend component, a day-of-week fluctuation component of a one-week cycle, an autoregressive process, and a self-decay process (Non-Patent Document 2). This method has a problem that it is difficult to extract as a feature amount other than the fluctuation component designed as a state model, and is treated as noise.
  • the conventional technique has a problem in that the feature quantity representing the temporal change of the data cannot be correctly extracted from the time series data observed at unequal intervals due to the accuracy of the defect estimation processing and the design of the fluctuation component.
  • An example of an object of the present invention is a time-series data feature amount extraction device, a time-series data feature amount extraction method, and time-series data that extract a feature amount representing a temporal change of data from time-series data observed at unequal intervals. It is to provide a feature amount extraction program.
  • a time-series data feature amount extraction device includes a training data reception unit that receives a non-uniformly spaced time-series data group for training, an input time-series data length, and an observation A model design receiving unit that receives a minimum interval and a feature amount extraction size, the received unequal-interval time-series data group, including a defect based on the received input time-series data length and the received observation minimum interval, etc.
  • a neural network model having an interval time series data group and a data processing unit for processing into a missing information group indicating the presence / absence of a defect, an input layer, an output layer, and an intermediate layer, and the equally spaced time series data including the defect
  • a matrix obtained by combining a group and a missing information group indicating the presence / absence of the missing is input to the input layer, and a matrix of equally spaced time series data groups of input time series data length is output from the output layer.
  • the received feature amount extraction size is the intermediate layer, and the difference between the elements of the matrix of the equidistant time series data group including the defect and the element of the output result of the output layer with respect to the model And learning a weight vector of each layer of the model, storing the weight vector in a storage unit as a model parameter, accepting time series data of a feature quantity extraction target, and accepting the received feature quantity extraction target
  • the model parameter stored in the storage unit is used to calculate the value of the intermediate layer of the model, and the calculated value of the intermediate layer is used as the data over time.
  • a feature amount extraction unit that outputs the feature amount representing the change.
  • the feature quantity extraction unit outputs the value of the intermediate layer together with the time-series data from which the feature quantity has been extracted. Information on the difference between the missing element and the output result element of the output layer of the model may also be output.
  • a time-series data feature amount extraction method is a time-series data feature amount extraction method performed by a time-series data feature amount extraction apparatus that extracts a feature amount of time-series data, and includes training inequality.
  • Accept interval time-series data group accept input time-series data length, observation minimum interval, and feature size extraction size, accept accepted unequal-interval time-series data group, accept accepted input time-series data length, and accept observation Based on the minimum interval, a model of a neural network having an input layer, an output layer, and an intermediate layer processed into an equally spaced time series data group including a defect and a defect information group indicating the presence or absence of the defect,
  • a matrix in which a group of equidistant time series data including a missing information group indicating the presence or absence of the missing data is input to the input layer, and the matrix of the equidistant time series data group of the input time series data length is the output layer.
  • the difference between the output element and the element that is not missing in the matrix of the equidistant time-series data group including the defect is output to the model in which the received feature extraction size is the intermediate layer.
  • the weight vector of each layer of the model is learned, the weight vector is stored in a storage unit as a model parameter, time series data for feature quantity extraction is received, and the received time series data for feature quantity extraction is
  • the model parameter stored in the storage unit is used to calculate the value of the intermediate layer of the model, and the calculated value of the intermediate layer is a feature amount representing a change in data over time As output.
  • the time series data feature amount extraction program causes a computer to function as the time series data feature amount extraction device.
  • the time-series data feature quantity extraction device of the present embodiment learns a model that outputs equidistant time-series data from time-series data observed at unequal intervals, and accurately extracts the model intermediate layer and feature quantity extraction as feature quantities. Outputs a value representing gender.
  • FIG. 1 is a block diagram of a time-series data feature amount extraction apparatus 1 according to the present embodiment.
  • the time-series data feature amount extraction apparatus 1 includes a training data reception unit 11, a model design reception unit 12, a data processing unit 13, a model learning unit 14, A memory 15 and a feature amount extraction unit 16 are provided.
  • the training data receiving unit 11 receives (inputs) an unequal interval time series data group for training.
  • the model design receiving unit 12 receives (inputs) the input time-series data length, the observation minimum interval, and the feature amount extraction size.
  • the data processing unit 13 sets the unequal interval time-series data group received by the training data reception unit 11 based on the input time-series data length and the observation minimum interval received by the model design reception unit 12 at equal intervals including a defect. It is processed into a series information group and a missing information group indicating the presence or absence of the missing data.
  • the model learning unit 14 uses, as an input to the input layer, a matrix obtained by combining an equally spaced time series data group including a defect and a missing information group indicating the presence or absence of a defect, and a matrix of an equally spaced time series data group having an input time series data length. Is the output from the output layer. Then, the model learning unit 14 is a non-missing element of the matrix of the equidistant time series data group including the deficiency with respect to the model of the neural network in which the feature amount extraction size received by the model design receiving unit 12 is an intermediate layer. And the difference between the output result elements as errors, the weight vectors of each layer are learned, and model parameters are generated.
  • the memory 15 stores model parameters.
  • the feature quantity extraction unit 16 accepts time series data for feature quantity extraction, and uses the received time series data as an input of the model.
  • the feature amount extraction unit 16 calculates the value of the intermediate layer of the model using the stored model parameter, and outputs a feature amount representing a change with time of the data.
  • the training step a training unequal interval time-series data group is received, the weight vectors of each layer are learned, and model parameters are generated.
  • the memory 15 stores model parameters.
  • steps S101 to S107 shown in FIG. 2 are executed.
  • the training data receiving unit 11 receives a time series data group for training (step S101).
  • FIG. 3 shows an example of a time series data group for training.
  • the time series data group for training is composed of a total of N series (series “1” to series “N”), and the pair of time and observation value of the series “1” is (10:00, 20 Degrees, (11 o'clock, 21 degrees), (12 o'clock, 24 degrees), (14 o'clock, 28 degrees), (17 o'clock, 19 degrees).
  • the model design receiving unit 12 receives the input time-series data length, the observation minimum interval, and the feature amount extraction size (step S102).
  • FIG. 4 shows an example of the input time-series data length, the observation minimum interval, and the feature amount extraction size.
  • the input time-series data length is 4 hours
  • the minimum observation interval is 1 hour
  • the feature amount extraction size is “2”.
  • the input time series data length, the observation minimum interval, and the feature amount extraction size can be arbitrarily set.
  • the data processing unit 13 processes the training time-series data group into an equally-spaced time-series data group including a defect and a defect information group indicating the presence or absence of the defect (step S103).
  • FIG. 5 shows an example of equally spaced time series data and missing information of the series “1”. A case where data of the series “1” is acquired as illustrated in part (A) of FIG. 5 will be described. In this case, since the minimum observation interval is 1 hour, the sequence “1” is interpreted as missing at 7 o'clock, 8 o'clock, 9 o'clock, 13 o'clock, 15 o'clock, and 16 o'clock. As shown in part (B) of FIG.
  • the model handled by the model learning unit 14 is a neural network.
  • This model is a model composed of three or more layers that always have three layers of an input layer, an output layer, and an intermediate layer.
  • the input to the model learning unit 14 is information obtained by combining an equally spaced time series data group including a defect (see part (B) in FIG. 5) and a defect information group (see part (C) in FIG. 5) indicating the presence or absence of the defect. And For this reason, the input layer has a size twice as long as the input time-series data length. In the example of FIG. 4, the input time-series data length is 4 hours and the minimum observation interval is 1 hour, so the size of the input layer is “8”.
  • the output layer of the model learning unit 14 is assumed to be time-sequential data with equal intervals of the input time-series data length. For this reason, the output layer has the size of the input time-series data length. In the example of FIG. 4, the size of the output layer is “4”.
  • the intermediate layer is set to “2” in the example of FIG. 4 in order to use the feature amount extraction size received by the model design receiving unit 12.
  • FIG. 6 shows an example of a model handled by the model learning unit 14.
  • This model is a model composed of an input layer, an output layer, and four intermediate layers.
  • the value to the input layer is X 1
  • the value to the intermediate layer “1” is X 2
  • the value to the intermediate layer “2” is X 3
  • the value to the intermediate layer “3” is X 4
  • the intermediate layer “4” The value to is called X 5
  • the value to the output layer is called X 6 .
  • the values X 1 to X 6 are expressed as the following formulas (1a) to (1f), respectively.
  • X 1 x 1,1 , x 1,2 ,. . . , X 1,8 (1a)
  • X 2 x 2,1 , x 2,2,. . . , X 2,8 (1b)
  • X 3 x 3,1 , x 3,2 , x 3,3 , x 3,4
  • X 4 x 4,1 , x 4,2 (1d)
  • X 5 x 5,1 , x 5,2 , x 5,3 , x 5,4 (1e)
  • X 6 x 6,1 , x 6,2 , x 6,3 , x 6,4 (1f)
  • each layer is expressed by a recurrence formula like the following formula (2).
  • X i + 1 f i (A i X i + B i ) (2)
  • a i represents a weight parameter
  • B i represents a bias parameter
  • f i represents an activation function
  • the activation function is composed of f 1, f 3, f 4, and f 5 of linear combination (simple perceptron) and f 2 of ReLU (ramp function).
  • relationship f 1, f 3, f 4 is represented by the following formula (3a).
  • f 2 is expressed as the following formula (3b).
  • Output values X 6 from the output layer is expressed by the following equation (4).
  • the layer configuration, size, and activation function are not limited to the above examples.
  • the activation function may be a step function, a sigmoid function, a polynomial, an absolute value, maxout, a soft sign, a soft plus, or the like.
  • propagation from an intermediate layer before a temporary point may be incorporated in the design, as in a recurrent neural network represented by Long short-term memory (LSTM).
  • LSTM Long short-term memory
  • the model learning unit 14 learns the weight vector of each layer constituting the model so that the error is minimized (step S105).
  • the equidistant time-series data is referred to as P
  • the missing information is referred to as Q
  • the equidistant time-series data group and the missing information group indicating the presence or absence of the missing data are combined to be referred to as R.
  • the value X 1 of the input layer, data R that combines the defect information indicating the presence or absence of defects and equally spaced time-series data group is inputted. Learning is performed so that the output value X 6 (shown in Expression (4)) of the output layer and the equally spaced time series data P are as close as possible with respect to the values that are not missing.
  • the error function is calculated as a square error between a value PQ that is not missing in the equally spaced time series data P and a value X 6 Q that is not missing in the output layer, as in equation (5).
  • any value can be taken in the output layer value X 6 without taking into account the error.
  • an error function is designed for the purpose of learning the values not missing in the equally spaced time series data P so that the value X 6 of the output layer becomes the same value.
  • the model parameters are optimized by the gradient method so that the error is minimized. Adam is used as the gradient method.
  • the gradient method in this embodiment is not limited to this.
  • any method of the probabilistic gradient descent method such as SGD or AdaDelta may be used.
  • step S106 determines whether the error gradient has converged. If the error gradient has not converged (step S106: No), the process returns to step S105. If the error gradient has converged (step S106: Yes), the optimization ends.
  • FIG. 7 is a flowchart of the feature amount extraction process.
  • steps S201 to S204 are executed.
  • the feature quantity extraction unit 16 receives time-series data for feature quantity extraction (step S202).
  • FIG. 8 shows an example of time-series data from which feature amounts are extracted.
  • the feature amount extraction unit 16 processes the equally-spaced time series data including the defect and the defect information indicating the presence / absence of the defect (step S203).
  • FIG. 9 shows an example of processing time-series data that is a feature quantity extraction target. Equidistant time series data is referred to as P ', missing information indicating the presence or absence of defects is referred to as Q', and information obtained by combining the equally spaced time series data group and the missing information group indicating the presence or absence of defects is referred to as R '.
  • the feature quantity extraction unit 16 outputs the value of the intermediate layer and the magnitude of the error as a feature quantity that represents a change with time (step S204).
  • the value of the intermediate layer is as shown in equation (6).
  • Equation (7) the magnitude of the error between the element of the matrix of the equidistant time series data group including the defect and the element of the output result of the output layer of the model is expressed by Equation (7).
  • the non-uniform time series data group for training is converted into two groups, a uniform time series data group including a deficiency and a deficient information group indicating the presence or absence of deficiency.
  • a uniform time series data group including a deficiency and a deficient information group indicating the presence or absence of deficiency.
  • the expression learning is performed by the self-encoder, it is possible to reduce the influence due to the coverage of the fluctuation component in the model design. Further, when the size of the intermediate layer of the model is smaller than the input time-series data length, it is possible to extract feature quantities expressed in a low rank.
  • the feature quantity extraction unit 16 outputs the value of the intermediate layer together with the time series data from which the feature quantity has been extracted, and further, the elements of the matrix of the equally spaced time series data group including the missing and the model output layer Information on the difference from the element of the output result may also be output.
  • the time-series data observed at unequal intervals is restored from the feature value that represents the time-dependent change of the data, and the size of the difference from the original time-series data is output as a new feature value, so that the time-dependent data feature Unequally spaced time series data can be analyzed with the accuracy of quantity extraction. Moreover, it can be used for analysis as an index indicating whether or not the feature amount representing the change with time can sufficiently represent the original time-series data.
  • the defect estimation processing and feature amount extraction are performed in a batch, thereby The accuracy of analysis such as classification by machine learning is improved by avoiding that the feature quantity is greatly affected by accuracy.
  • the time-series data that has been observed or measured in the order of time or the time sequence data that has been observed (measured) cannot be observed for some reason, or the observed (measured) value is lost. It is possible to realize analysis such as classification by machine learning with high accuracy from unequally spaced time series data that is not observed (measured) at intervals.
  • a program for realizing all or part of the functions of the time-series data feature extraction apparatus 1 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed. The processing of each unit may be performed as necessary.
  • the “computer system” here includes an OS and hardware such as peripheral devices.
  • the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
  • “Computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in a computer system.
  • the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. And those that hold a program for a certain period of time, such as a volatile memory inside a computer system serving as a server or client in that case.
  • the program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
  • the present invention may be applied to a time series data feature quantity extraction device, a time series data feature quantity extraction method, and a time series data feature quantity extraction program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

時系列データ特徴量抽出装置は、受け付けた不等間隔時系列データ群を、受け付けた入力時系列データ長と受け付けた観測最小間隔に基づいて、欠損を含む等間隔時系列データ群と欠損の有無を表す欠損情報群に加工するデータ加工部と、モデルに対して、前記欠損を含む等間隔時系列データ群の行列の欠損していない要素と前記モデルの出力層の出力結果の要素との差異を誤差として、前記モデルの各層の重みベクトルを学習し、前記重みベクトルをモデルパラメータとして記憶部に保存するモデル学習部と、特徴量抽出対象の時系列データを受け付け、前記受け付けた特徴量抽出対象の時系列データを前記モデルへ入力することにより、前記記憶部に保存されていた前記モデルパラメータを用いて前記モデルの中間層の値を算出し、前記算出された中間層の値をデータの経時変化を表す特徴量として出力する特徴量抽出部とを備える。

Description

時系列データ特徴量抽出装置、時系列データ特徴量抽出方法及び時系列データ特徴量抽出プログラム
　本発明は、時系列データ特徴量抽出装置、時系列データ特徴量抽出方法及び時系列データ特徴量抽出プログラムに関する。
　本願は、２０１６年９月６日に出願された特願２０１６－１７４０６５号に基づき優先権を主張し、その内容をここに援用する。
　時系列データとは、センサで観測された値が時間的な順序を保ってデータ化されたデータである。時系列データが、何らかの都合で観測（計測）できなかったり、観測（計測）した値を失ったりして、一定の時間間隔で観測（計測）されていないことはたびたび起こりうる。このような時系列データを不等間隔時系列データと呼ぶ。
　不等間隔時系列データの一例を挙げると、「時刻」と「気温の観測値」で構成されたレコードの群において、時刻と観測値の対が、（１０時、２０度）、（１１時、２１度）、（１２時、２４度）、（１４時、２８度）、（１７時、１９度）であったとする。このとき、観測時間の間隔は１時間と２時間、３時間と３通り存在していて、一定でない。
　不等間隔時系列データが生成される状況の例を挙げると、ＩｏＴ（Internet of Things）／Ｍ２Ｍ（Machine to Machine）環境においては、以下のような事象が発生する。すなわち、センサ端末の故障やバッテリ切れで観測できなかったり、ネットワークで輻輳がおきてデータを失ったりすることがある。このような場合、一定な時間間隔ですべての観測データを得るのが難しい。また、人に常時装着して生体情報を観測するシステムにおいては、入浴時や睡眠時、着替えといった計測対象者の都合によって必ずしも常時観測機器を装着しない。このため、計測は断片的になりやすい。さらに、人の血液や尿を取り扱う検体検査のようなデータにおいては、計測対象者と計測実行者の都合や検査手段の空き状況の影響を受ける。このため、計測の時間間隔を一定にすることは難しい。
　不等間隔時系列データから機械学習による分類といった分析を行う場合、不等間隔時系列データからの特徴量抽出が必要となる。特徴量抽出に関しては、１つめの方式では、観測データの時間間隔を問わない特徴量を抽出する。２つめの方式では、時間間隔が一定となるように欠損推定処理（内挿や外挿）をしたうえで経時変化を表す特徴量を抽出する。３つめの方式では、状態空間モデルによって経時変化を変動成分の合成としてモデル化したうえでそれら変動成分のパラメータを特徴量として抽出する。このように、特徴量抽出に関しては、３つの方式が存在する。
　１つめの観測データの時間間隔を問わない特徴量を抽出する方式に関して、特徴量は、最大値や最小値、平均、分散値などが例として挙げられる。これらの特徴量はある期間の状態を大まかに表現することはできるが、経時変化を正しく表現することができない。
　２つめの方式に関して、欠損推定手法はスプライン補間などが例として挙げられる。また、経時変化を表す特徴量は、離散フーリエ変換やウェーブレット変換のような周波数成分への変換や、Symbolic Aggregate approximation (SAX)のような記号変換が例として挙げられる（非特許文献１）。上述した不等間隔時系列データの例では、１次関数による内挿処理後に離散フーリエ変換をした場合、欠損推定処理の内挿によって（１３時、２６度）、（１５時、２５度）、（１６時、２２度）の３つのレコードが追加されたうえで、離散フーリエ変換によって（１８５、－１５．７７８－４．１２１ｉ、２－１ｉ、０．２２２－０．１２１ｉ、３、０．２２２＋０．１２１ｉ、２＋１ｉ、－１５．７７８＋４．１２１ｉ）が得られる。この方式は、欠損推定処理と特徴量抽出がそれぞれ独立した処理であるがゆえ、欠損推定処理の精度に特徴量が大きく影響を受ける問題がある。例えば、観測データの時間間隔に大きな偏りがあると欠損推定処理の精度のばらつきも大きくなり、観測データの時間間隔や欠損推定処理に依存したノイズが加わった特徴量が抽出されてしまう。上述の例では、１４時から１７時の３時間の気温変化の経時変化が１次関数の内挿によって直線的な変化に解釈されてしまい、それがノイズとなってしまう。
　３つめの方式に関して、状態空間モデルは状態モデルと観測モデルから構成される。状態モデルはマルコフ性を仮定していて、現在の状態は過去の状態と説明変数とシステムノイズの関数で表される。観測モデルは現在の状態と説明変数と観測ノイズの関数で表される。状態モデルは線形独立を仮定した変動成分をもとに設計する。変動成分として、トレンド成分や、１週間周期の曜日変動成分、自己回帰過程、自己減衰過程などが例として挙げられる（非特許文献２）。この方式は、状態モデルとして設計した変動成分以外は特徴量として抽出することが難しく、ノイズとして扱われてしまう問題がある。
Lin, J., Keogh, E., Lonardi, S. and Chiu, B. A Symbolic Representation of Time Series, with Implications for Streaming Algorithms. In proceedings of the 8th ACM SIGMOD Workshop on Research Issues in Data Mining and Knowledge Discovery. San Diego, CA. 2003. 村田眞哉，高屋典子，市川裕介，内山匡，"ECサイトにおけるセールシミュレーション",日本応用数理学会論文誌，Vol.23, Issue 2, 2013.
　前述したように、従来の技術では、欠損推定処理の精度や変動成分の設計によって、不等間隔で観測された時系列データからデータの経時変化を表す特徴量を正しく抽出できないという問題がある。
　本発明は上記事情に着目してなされた。本発明の目的の一例は、不等間隔で観測された時系列データから、データの経時変化を表す特徴量を抽出する時系列データ特徴量抽出装置、時系列データ特徴量抽出方法及び時系列データ特徴量抽出プログラムを提供することにある。
　上述の課題を解決するために、本発明の一態様に係る時系列データ特徴量抽出装置は、訓練用の不等間隔時系列データ群を受け付ける訓練データ受付部と、入力時系列データ長と観測最小間隔と特徴量抽出サイズを受け付けるモデル設計受付部と、前記受け付けた不等間隔時系列データ群を、前記受け付けた入力時系列データ長と前記受け付けた観測最小間隔に基づいて、欠損を含む等間隔時系列データ群と欠損の有無を表す欠損情報群に加工するデータ加工部と、入力層と出力層と中間層とを有するニューラルネットワークのモデルであって、前記欠損を含む等間隔時系列データ群と前記欠損の有無を表す欠損情報群を結合した行列が前記入力層へ入力され、入力時系列データ長の等間隔時系列データ群の行列が前記出力層から出力され、前記受け付けた特徴量抽出サイズが前記中間層である、前記モデルに対して、前記欠損を含む等間隔時系列データ群の行列の欠損していない要素と前記出力層の出力結果の要素との差異を誤差として、前記モデルの各層の重みベクトルを学習し、前記重みベクトルをモデルパラメータとして記憶部に保存するモデル学習部と、特徴量抽出対象の時系列データを受け付け、前記受け付けた特徴量抽出対象の時系列データを前記モデルへ入力することにより、前記記憶部に保存されていた前記モデルパラメータを用いて前記モデルの中間層の値を算出し、前記算出された中間層の値をデータの経時変化を表す特徴量として出力する特徴量抽出部とを備える。
　前記時系列データ特徴量抽出装置において、前記特徴量抽出部は、前記中間層の値を特徴量が抽出された時系列データとともに出力し、さらに、欠損を含む等間隔時系列データ群の行列の欠損していない要素と前記モデルの出力層の出力結果の要素との差異の情報も出力してもよい。
　本発明の一態様に係る時系列データ特徴量抽出方法は、時系列データの特徴量を抽出する時系列データ特徴量抽出装置が行う時系列データ特徴量抽出方法であって、訓練用の不等間隔時系列データ群を受け付け、入力時系列データ長と観測最小間隔と特徴量抽出サイズを受け付け、前記受け付けた不等間隔時系列データ群を、前記受け付けた入力時系列データ長と前記受け付けた観測最小間隔に基づいて、欠損を含む等間隔時系列データ群と欠損の有無を表す欠損情報群に加工し、入力層と出力層と中間層とを有するニューラルネットワークのモデルであって、前記欠損を含む等間隔時系列データ群と前記欠損の有無を表す欠損情報群を結合した行列が前記入力層へ入力され、入力時系列データ長の等間隔時系列データ群の行列が出力層から出力され、前記受け付けた特徴量抽出サイズが前記中間層である、前記モデルに対して、前記欠損を含む等間隔時系列データ群の行列の欠損していない要素と出力結果の要素との差異を誤差として、前記モデルの各層の重みベクトルを学習し、前記重みベクトルをモデルパラメータとして記憶部に保存し、特徴量抽出対象の時系列データを受け付け、前記受け付けた特徴量抽出対象の時系列データを前記モデルへ入力することにより、前記記憶部に保存されていた前記モデルパラメータを用いて前記モデルの中間層の値を算出し、前記算出された中間層の値をデータの経時変化を表す特徴量として出力することを含む。
　本発明の一態様に係る時系列データ特徴量抽出プログラムは、コンピュータを、前記時系列データ特徴量抽出装置として機能させる。
　本発明によれば、不等間隔で観測された時系列データから、データの経時変化を表す特徴量を抽出することができるという有利な効果が得られる。
本実施形態に係る時系列データ特徴量抽出装置の一例を示す構成図である。 本実施形態における、時系列データ特徴量抽出方法における訓練ステップの一例を示すフローチャートである。 本実施形態における、訓練用の時系列データ群の一例を示す説明図である。 本実施形態における、入力時系列データ長と観測最小間隔と特徴量抽出サイズの一例を示す説明図である。 本実施形態における、等間隔時系列データと欠損情報の一例を示す説明図である。 本実施形態における、モデルの一例を示す説明図である。 本実施形態における、時系列データ特徴量抽出方法における特徴量抽出ステップの一例を示すフローチャートである。 本実施形態における、特徴量抽出対象の時系列データの一例を示す説明図である。 本実施形態における、特徴量抽出対象の時系列データを加工した一例を示す説明図である。
　以下、本発明の実施の形態について図面を参照しながら説明する。本実施形態の時系列データ特徴量抽出装置は、不等間隔で観測された時系列データから等間隔時系列データを出力するモデルを学習し、特徴量としてモデルの中間層および特徴量抽出の正確性を表す値を出力する。
　図１は、本実施形態に係る時系列データ特徴量抽出装置１のブロック図である。図１に示すように、本発明の実施形態に係る時系列データ特徴量抽出装置１は、訓練データ受付部１１と、モデル設計受付部１２と、データ加工部１３と、モデル学習部１４と、メモリ１５と、特徴量抽出部１６とを備える。
　訓練データ受付部１１は、訓練用の不等間隔時系列データ群を受け付ける（入力する）。モデル設計受付部１２は、入力時系列データ長と観測最小間隔と特徴量抽出サイズを受け付ける（入力する）。データ加工部１３は、訓練データ受付部１１で受け付けた不等間隔時系列データ群を、モデル設計受付部１２で受け付けた入力時系列データ長と観測最小間隔に基づいて、欠損を含む等間隔時系列データ群と欠損の有無を表す欠損情報群に加工する。
　モデル学習部１４は、欠損を含む等間隔時系列データ群と欠損の有無を表す欠損情報群を結合した行列を入力層への入力とし、入力時系列データ長の等間隔時系列データ群の行列を出力層からの出力とする。そして、モデル学習部１４は、モデル設計受付部１２で受け付けた特徴量抽出サイズが中間層となるニューラルネットワークのモデルに対して、欠損を含む等間隔時系列データ群の行列の欠損していない要素と出力結果の要素との差異を誤差として、各層の重みベクトルを学習し、モデルパラメータを生成する。メモリ１５は、モデルパラメータを保存する。
　特徴量抽出部１６は、特徴量抽出対象の時系列データを受け付けて、受け付けた時系列データをモデルの入力とする。特徴量抽出部１６は、保存していたモデルパラメータを用いてモデルの中間層の値を算出し、データの経時変化を表す特徴量を出力する。
　本実施形態に係る時系列データ特徴量抽出装置１では、訓練ステップで、訓練用の不等間隔時系列データ群を受け付け、各層の重みベクトルを学習し、モデルパラメータを生成する。メモリ１５は、モデルパラメータを保存する。訓練ステップでは、図２に示すステップＳ１０１からＳ１０７の処理を実行する。
　訓練データ受付部１１は、訓練用の時系列データ群を受け付ける（ステップＳ１０１）。図３に訓練用の時系列データ群の一例を示す。この例では、訓練用の時系列データ群は合計Ｎ個の系列（系列「１」～系列「Ｎ」）で構成され、系列「１」の時刻と観測値の対が、（１０時、２０度）、（１１時、２１度）、（１２時、２４度）、（１４時、２８度）、（１７時、１９度）である。
　次に、モデル設計受付部１２は、入力時系列データ長と観測最小間隔と特徴量抽出サイズを受け付ける（ステップＳ１０２）。図４に入力時系列データ長と観測最小間隔と特徴量抽出サイズの一例を示す。この例では、入力時系列データ長は４時間、観測最小間隔は１時間、特徴量抽出サイズは「２」である。なお、入力時系列データ長と観測最小間隔と特徴量抽出サイズは任意に自由な値を設定できる。
　データ加工部１３は、訓練用の時系列データ群を、欠損を含む等間隔時系列データ群と、欠損の有無を表す欠損情報群に加工する（ステップＳ１０３）。図５に系列「１」の等間隔時系列データと欠損情報の一例を示す。図５の部分（Ａ）に示すように、系列「１」のデータが取得された場合について説明する。この場合、観測最小間隔が１時間であったため、系列「１」は７時と、８時、９時、１３時、１５時、１６時を欠損と解釈される。図５の部分（Ｂ）に示すように、入力時系列データ長が４時間であったため、７時から１０時、８時から１１時、９時から１２時、といったように４時間単位に時系列データが区切られ、等間隔時系列データに加工される。図５の部分（Ｃ）に示すように、等間隔時系列データへの加工と同時に、データが欠損していなければ「１」が示され、データが欠損していれば「０」が示される欠損情報も生成する。訓練用の時系列データ群の各系列について同様の処理を実行する。
　モデル学習部１４で取り扱うモデルはニューラルネットワークとする。このモデルは、入力層、出力層、中間層の３層を必ず持つ、３層以上の層から構成されるモデルとする。モデル学習部１４に対する入力は、欠損を含む等間隔時系列データ群（図５の部分（Ｂ）参照）と欠損の有無を表す欠損情報群（図５の部分（Ｃ）参照）を結合した情報とする。このため、入力層は入力時系列データ長の２倍の長さのサイズとする。図４の例では入力時系列データ長が４時間、観測最小間隔が１時間であったため、入力層のサイズは「８」となる。モデル学習部１４の出力層は、入力時系列データ長の等間隔時系列データとする。このため、出力層は入力時系列データ長のサイズとする。図４の例では出力層のサイズは「４」となる。中間層はモデル設計受付部１２で受け付けた特徴量抽出サイズとするため、図４の例では「２」とする。
　図６にモデル学習部１４で取り扱うモデルの一例を示す。このモデルは、入力層と出力層と４つの中間層から構成されるモデルである。入力層への値をＸ１、中間層「１」への値をＸ２、中間層「２」への値をＸ３、中間層「３」への値をＸ４、中間層「４」への値をＸ５、及び出力層への値をＸ６と称する。値Ｘ１～Ｘ６は、それぞれ、以下の式（１ａ）～（１ｆ）のように表される。
Ｘ１＝ｘ１，１，ｘ１，２，．．．，ｘ１，８　　　　　　…（１ａ）
Ｘ２＝ｘ２，１，ｘ２，２，．．．，ｘ２，８　　　　　　…（１ｂ）
Ｘ３＝ｘ３，１，ｘ３，２，ｘ３，３，ｘ３，４　　　　　　…（１ｃ）
Ｘ４＝ｘ４，１，ｘ４，２　　　　　　　　　　　　　　…（１ｄ）
Ｘ５＝ｘ５，１，ｘ５，２，ｘ５，３，ｘ５，４　　　　　　…（１ｅ）
Ｘ６＝ｘ６，１，ｘ６，２，ｘ６，３，ｘ６，４　　　　　　…（１ｆ）
　また、各層の値は、以下の（２）式の様な漸化式で表される。
Ｘｉ＋１＝ｆｉ（ＡｉＸｉ＋Ｂｉ）　　　　…（２）
　ここで、Ａｉは重みパラメータ、Ｂｉはバイアスパラメータ、ｆｉは活性化関数を表す。
　この例では、活性化関数は、線形結合（単純パーセプトロン）のｆ１、ｆ３、ｆ４、ｆ５と、ＲｅＬＵ（ランプ関数）のｆ２とで構成する。ｆ１、ｆ３、ｆ４の関係は、以下の式（３ａ）のように表される。ｆ２は、以下の式（３ｂ）のように表される。
ｆ１（ｘ）＝ｆ３（ｘ）＝ｆ４（ｘ）＝ｆ５（ｘ）＝ｘ　　…（３ａ）
ｆ２（ｘ）＝ｍａｘ（０，ｘ）　　　　　　　　　　　　…（３ｂ）
　出力層からの出力値Ｘ６は、以下の（４）式のように表される。
Ｘ６ ＝（ｆ５（Ａ５（ｆ４（Ａ４（ｆ３（Ａ３（ｆ２（Ａ２（ｆ１（Ａ１Ｘ１＋Ｂ１）
）＋Ｂ２））＋Ｂ３））＋Ｂ４））＋Ｂ５））　　　　…（４）
　本実施形態のモデルに関して、層の構成やサイズ、活性化関数は上述の例に限定されない。別の具体例として、活性化関数はステップ関数や、シグモイド関数、多項式、絶対値、ｍａｘｏｕｔ、ソフトサイン、ソフトプラス、などであっても良い。層の構成に関しては、Ｌｏｎｇ　ｓｈｏｒｔ－ｔｅｒｍ　 ｍｅｍｏｒｙ（ＬＳＴＭ）に代表されるリカレントニューラルネットワークのように一時点前の中間層からの伝搬を設計に組み込んでも良い。
　次に、モデル学習部１４は、モデルパラメータを初期化する（ステップＳ１０４）。モデルパラメータの重みパラメータＡｉとバイアスパラメータＢｉ（ｉ＝１，２，３，４，５）にランダムな値を代入する。さらに、この等間隔時系列データの欠損値には「０」が代入される。本実施形態では「０」を欠損値に代入したがこの例に限定されない。平均値や中央値、欠損処理結果を欠損値に代入してもよい。
　次に、モデル学習部１４は、誤差が最小となるように、モデルを構成する各層の重みベクトルを学習する（ステップＳ１０５）。具体的には、等間隔時系列データをＰ、欠損情報をＱ、等間隔時系列データ群と欠損の有無を表す欠損情報群を結合したでデータをＲと称する。入力層への値Ｘ１には、等間隔時系列データ群と欠損の有無を表す欠損情報群を結合したデータＲが入力される。出力層の出力値Ｘ６（式（４）に示す）と等間隔時系列データＰとが欠損していない値に関して限りなく近づくように学習が行われる。誤差関数は、（５）式のように、等間隔時系列データＰの欠損していない値ＰＱと、出力層の欠損していない値Ｘ６Ｑとの二乗誤差で算出する。
（Ｘ６Ｑ－ＰＱ）２　　　…（５）
　すなわち、等間隔時系列データＰの欠損している値に関しては出力層の値Ｘ６ではいかなる値をとっても誤差には加味しない。そして、等間隔時系列データＰの欠損していない値については出力層の値Ｘ６でも同一の値となるように学習することを目的とし、誤差関数を設計する。誤差が最小となるように勾配法でモデルパラメータを最適化する。勾配法としてはＡｄａｍを用いる。本実施形態における勾配法はこれに限定されない。勾配法として、ＳＧＤ、ＡｄａＤｅｌｔａなど、確率的勾配降下法のいかなる手法を用いてもよい。
　次に、モデル学習部１４は、誤差の勾配が収束したかを判定する。誤差の勾配が収束していない場合には（ステップＳ１０６：Ｎｏ）、処理をステップＳ１０５に戻る。誤差の勾配が収束している場合には（ステップＳ１０６：Ｙｅｓ）、最適化を終了する。
　次に、モデル学習部１４は、誤差の勾配が収束したときのモデルパラメータのＡｉとＢｉ（ｉ＝１，２，３，４，５）を保存する（ステップＳ１０７）。
　次に、特徴量抽出処理について説明する。図７は、特徴量抽出処理のフローチャートである。特徴量抽出処理では、ステップＳ２０１からＳ２０４を実行する。
　まず、特徴量抽出部１６は、メモリ１５からモデルパラメータのＡｉとＢｉ（ｉ＝１，２，３，４，５）を読み込む（ステップＳ２０１）。
　次に、特徴量抽出部１６は、特徴量抽出対象の時系列データを受け付ける（ステップＳ２０２）。図８に特徴量抽出対象の時系列データの一例を示す。
　次に、特徴量抽出部１６は、欠損を含む等間隔時系列データと欠損の有無を表す欠損情報に加工する（ステップＳ２０３）。図９に特徴量抽出対象の時系列データを加工した一例を示す。等間隔時系列データをＰ’、欠損の有無を表す欠損情報をＱ’、等間隔時系列データ群と欠損の有無を表す欠損情報群を結合した情報をＲ’と称する。
　次に、特徴量抽出部１６は、中間層の値と誤差の大きさを経時変化を表す特徴量として出力する（ステップＳ２０４）。中間層の値は、（６）式のようになる。
（ｆ３（Ａ３（ｆ２（Ａ２（ｆ１（Ａ１Ｒ’＋Ｂ１））＋Ｂ２））＋Ｂ３））　　　…（６）
　また、欠損を含む等間隔時系列データ群の行列の欠損していない要素とモデルの出力層の出力結果の要素との誤差の大きさは、（７）式のようになる。
（（ｆ５（Ａ５（ｆ４（Ａ４（ｆ３（Ａ３（ｆ２（Ａ２（ｆ１（Ａ１Ｒ’＋Ｂ１））＋Ｂ２））＋Ｂ３））＋Ｂ４））＋Ｂ５））Ｑ’－Ｐ’Ｑ’）２　　　…（７）
　以上説明したように、本実施形態では、訓練用の不等間隔時系列データ群から欠損を含む等間隔時系列データ群と欠損の有無を表す欠損情報群の２つに変換し、それら２つを入力とし、欠損を含む等間隔時系列データ群が出力となるような自己符号化器として学習し、その中間層の値を経時変化を表す特徴量として出力することができる。つまり、不等間隔で観測された時系列データから欠損推定することなく経時変化を表す特徴量を抽出するため、欠損推定処理に依存したノイズの影響を緩和できる。また、自己符号化器によって表現学習をするため、モデル設計における変動成分の網羅性による影響も緩和できる。さらに、モデルの中間層のサイズが入力時系列データ長よりも小さいとき、低ランク表現された特徴量の抽出も可能とする。
　特徴量抽出部１６は、中間層の値を特徴量が抽出された時系列データとともに出力し、更に、欠損を含む等間隔時系列データ群の行列の欠損していない要素とモデルの出力層の出力結果の要素との差異の情報も出力しても良い。データの経時変化を表す特徴量から不等間隔で観測された時系列データを復元し、オリジナルの時系列データとの差分の大きさを新たな特徴量として出力することで、データの経時変化特徴量抽出の正確性を加味した不等間隔時系列データの分析ができる。また、経時変化を表す特徴量がオリジナルの時系列データを十分に表せているかを示す指標として分析に使える。
　この構成によれば、不等間隔で観測された時系列データからデータの経時変化を表す特徴量を抽出するにあたって、欠損推定処理と特徴量抽出を一括して処理することで、欠損推定処理の精度に特徴量が大きく影響を受けることを避け、機械学習による分類といった分析の精度が向上する。また、何らかの都合で観測（計測）できなかったり、観測（計測）した値を失ったりして、センサで観測された値か時間的な順序を保ってデータ化された時系列データが一定の時間間隔で観測（計測）されていない不等間隔時系列データからの精度の高い機械学習による分類といった分析を実現できる。
　時系列データ特徴量抽出装置１の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。ここでいう「コンピュータシステム」は、ＯＳや周辺機器等のハードウェアを含む。
　「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含む。
　「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
　以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
　本発明は、時系列データ特徴量抽出装置、時系列データ特徴量抽出方法及び時系列データ特徴量抽出プログラムに適用してもよい。
１１…訓練データ受付部
１２…モデル設計受付部
１３… データ加工部
１４…モデル学習部
１５…メモリ
１６…特徴量抽出部

Claims (4)

  1. 　訓練用の不等間隔時系列データ群を受け付ける訓練データ受付部と、
    　入力時系列データ長と観測最小間隔と特徴量抽出サイズを受け付けるモデル設計受付部と、
    　前記受け付けた不等間隔時系列データ群を、前記受け付けた入力時系列データ長と前記受け付けた観測最小間隔に基づいて、欠損を含む等間隔時系列データ群と欠損の有無を表す欠損情報群に加工するデータ加工部と、
    　入力層と出力層と中間層とを有するニューラルネットワークのモデルであって、前記欠損を含む等間隔時系列データ群と前記欠損の有無を表す欠損情報群を結合した行列が前記入力層へ入力され、入力時系列データ長の等間隔時系列データ群の行列が前記出力層から出力され、前記受け付けた特徴量抽出サイズが前記中間層である、前記モデルに対して、前記欠損を含む等間隔時系列データ群の行列の欠損していない要素と前記出力層の出力結果の要素との差異を誤差として、前記モデルの各層の重みベクトルを学習し、前記重みベクトルをモデルパラメータとして記憶部に保存するモデル学習部と、
    　特徴量抽出対象の時系列データを受け付け、前記受け付けた特徴量抽出対象の時系列データを前記モデルへ入力することにより、前記記憶部に保存されていた前記モデルパラメータを用いて前記モデルの中間層の値を算出し、前記算出された中間層の値をデータの経時変化を表す特徴量として出力する特徴量抽出部と
    　を備える時系列データ特徴量抽出装置。
  2. 　前記特徴量抽出部は、前記中間層の値を特徴量が抽出された時系列データとともに出力し、さらに、欠損を含む等間隔時系列データ群の行列の欠損していない要素と前記モデルの出力層の出力結果の要素との差異の情報を出力する請求項１に記載の時系列データ特徴量抽出装置。
  3. 　時系列データの特徴量を抽出する時系列データ特徴量抽出装置が行う時系列データ特徴量抽出方法であって、
    　訓練用の不等間隔時系列データ群を受け付け、
    　入力時系列データ長と観測最小間隔と特徴量抽出サイズを受け付け、
    　前記受け付けた不等間隔時系列データ群を、前記受け付けた入力時系列データ長と前記受け付けた観測最小間隔に基づいて、欠損を含む等間隔時系列データ群と欠損の有無を表す欠損情報群に加工し、
    　入力層と出力層と中間層とを有するニューラルネットワークのモデルであって、前記欠損を含む等間隔時系列データ群と前記欠損の有無を表す欠損情報群を結合した行列が前記入力層へ入力され、入力時系列データ長の等間隔時系列データ群の行列が出力層から出力され、前記受け付けた特徴量抽出サイズが前記中間層である、前記モデルに対して、前記欠損を含む等間隔時系列データ群の行列の欠損していない要素と出力結果の要素との差異を誤差として、前記モデルの各層の重みベクトルを学習し、前記重みベクトルをモデルパラメータとして記憶部に保存し、
    　特徴量抽出対象の時系列データを受け付け、
    　前記受け付けた特徴量抽出対象の時系列データを前記モデルへ入力することにより、前記記憶部に保存されていた前記モデルパラメータを用いて前記モデルの中間層の値を算出し、
    　前記算出された中間層の値をデータの経時変化を表す特徴量として出力する
    　ことを含む時系列データ特徴量抽出方法。
  4. 　コンピュータを、請求項１または２に記載の時系列データ特徴量抽出装置として機能させるための時系列データ特徴量抽出プログラム。
PCT/JP2017/030743 2016-09-06 2017-08-28 時系列データ特徴量抽出装置、時系列データ特徴量抽出方法及び時系列データ特徴量抽出プログラム WO2018047655A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17848596.7A EP3511871A4 (en) 2016-09-06 2017-08-28 DEVICE, METHOD AND PROGRAM FOR EXTRACTING CHARACTERISTIC QUANTITIES OF DATA IN CHRONOLOGICAL SERIES
US16/330,346 US11449732B2 (en) 2016-09-06 2017-08-28 Time-series-data feature extraction device, time-series-data feature extraction method and time-series-data feature extraction program
JP2018538357A JP6574527B2 (ja) 2016-09-06 2017-08-28 時系列データ特徴量抽出装置、時系列データ特徴量抽出方法及び時系列データ特徴量抽出プログラム
CN201780054018.1A CN109643397B (zh) 2016-09-06 2017-08-28 时间序列数据特征量提取装置、时间序列数据特征量提取方法和时间序列数据特征量提取程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016174065 2016-09-06
JP2016-174065 2016-09-06

Publications (1)

Publication Number Publication Date
WO2018047655A1 true WO2018047655A1 (ja) 2018-03-15

Family

ID=61561446

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/030743 WO2018047655A1 (ja) 2016-09-06 2017-08-28 時系列データ特徴量抽出装置、時系列データ特徴量抽出方法及び時系列データ特徴量抽出プログラム

Country Status (5)

Country Link
US (1) US11449732B2 (ja)
EP (1) EP3511871A4 (ja)
JP (1) JP6574527B2 (ja)
CN (1) CN109643397B (ja)
WO (1) WO2018047655A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109375116A (zh) * 2018-08-09 2019-02-22 上海国际汽车城（集团）有限公司 一种基于自编码器的电池系统异常电池识别方法
JP2020052886A (ja) * 2018-09-28 2020-04-02 日本電信電話株式会社 データ処理装置、データ処理方法およびプログラム
JP2020052915A (ja) * 2018-09-28 2020-04-02 日本電信電話株式会社 データ処理装置、データ処理方法、及びプログラム
JP2020074826A (ja) * 2018-11-05 2020-05-21 キヤノンメディカルシステムズ株式会社 Ｘ線ｃｔ装置および検出器ユニット
JP2020522774A (ja) * 2018-05-10 2020-07-30 平安科技（深▲せん▼）有限公司Ｐｉｎｇ Ａｎ Ｔｅｃｈｎｏｌｏｇｙ （Ｓｈｅｎｚｈｅｎ） Ｃｏ．，Ｌｔｄ． サーバ、金融時系列データの処理方法及び記憶媒体

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11775873B2 (en) * 2018-06-11 2023-10-03 Oracle International Corporation Missing value imputation technique to facilitate prognostic analysis of time-series sensor data
US11302446B2 (en) * 2018-11-13 2022-04-12 Google Llc Prediction of future adverse health events using neural networks by pre-processing input sequences to include presence features
KR102501530B1 (ko) * 2018-12-31 2023-02-21 한국전자통신연구원 시계열 데이터 처리 장치 및 이의 동작 방법
US11157692B2 (en) * 2019-03-29 2021-10-26 Western Digital Technologies, Inc. Neural networks using data processing units
WO2021042250A1 (zh) * 2019-09-02 2021-03-11 西门子（中国）有限公司 用于确定生产设备的生产周期的方法和装置
CN110974211A (zh) * 2019-12-09 2020-04-10 上海数创医疗科技有限公司 高阶多项式激活函数的st段分类神经网络及其应用
US11156969B1 (en) 2020-04-24 2021-10-26 MakinaRocks Co., Ltd. Environment factor control device and training method thereof
KR102472920B1 (ko) * 2020-04-24 2022-12-01 주식회사 마키나락스 환경 인자 조절 장치 및 그 훈련 방법
CN115698956B (zh) * 2020-07-03 2024-09-10 三菱电机株式会社 数据处理装置
CN112380268B (zh) * 2020-10-27 2022-03-18 国网宁夏电力有限公司经济技术研究院 等间隔时间序列压缩方法、装置、设备和存储介质
JP7542459B2 (ja) * 2021-02-22 2024-08-30 三菱電機株式会社 データ分析装置、データ分析システムおよびプログラム
US20220318615A1 (en) * 2021-04-06 2022-10-06 International Business Machines Corporation Time-aligned reconstruction recurrent neural network for multi-variate time-series
KR20220145654A (ko) * 2021-04-22 2022-10-31 한국전자통신연구원 불규칙성을 갖는 시계열 데이터를 처리하도록 구성된 시계열 데이터 처리 장치
CN117092526B (zh) * 2023-10-20 2023-12-15 广东采日能源科技有限公司 电池故障预警模型的训练方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163521A (ja) * 2004-12-02 2006-06-22 Research Organization Of Information & Systems 時系列データ分析装置および時系列データ分析プログラム
JP2014063432A (ja) * 2012-09-24 2014-04-10 Nippon Telegr & Teleph Corp <Ntt> 欠損値予測装置、欠損値予測方法、欠損値予測プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08212184A (ja) 1995-02-01 1996-08-20 Fujitsu Ltd 認識装置および欠損値推定／学習方法
US7424150B2 (en) * 2003-12-08 2008-09-09 Fuji Xerox Co., Ltd. Systems and methods for media summarization
US9250625B2 (en) * 2011-07-19 2016-02-02 Ge Intelligent Platforms, Inc. System of sequential kernel regression modeling for forecasting and prognostics
WO2014132402A1 (ja) * 2013-02-28 2014-09-04 株式会社東芝 データ処理装置および物語モデル構築方法
JP5846165B2 (ja) * 2013-07-11 2016-01-20 カシオ計算機株式会社 特徴量抽出装置、方法、およびプログラム
EP3188041B1 (en) * 2015-12-31 2021-05-05 Dassault Systèmes Update of a machine learning system
CN105678422A (zh) * 2016-01-11 2016-06-15 广东工业大学 基于经验模态神经网络的混沌时间序列预测方法
US10832162B2 (en) * 2016-09-08 2020-11-10 International Business Machines Corporation Model based data processing
US11301773B2 (en) * 2017-01-25 2022-04-12 International Business Machines Corporation Method and system for time series representation learning via dynamic time warping
JP7003880B2 (ja) * 2018-09-05 2022-02-10 日本電信電話株式会社 予測装置、方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163521A (ja) * 2004-12-02 2006-06-22 Research Organization Of Information & Systems 時系列データ分析装置および時系列データ分析プログラム
JP2014063432A (ja) * 2012-09-24 2014-04-10 Nippon Telegr & Teleph Corp <Ntt> 欠損値予測装置、欠損値予測方法、欠損値予測プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3511871A4 *
YOSUKE SUZUKI ET AL.: "Experimental Evaluation of Input Vector Complemention for Autoencoder- based Recommendation Systems", DAI 108 KAI SPECIAL INTERNET GROUP ON KNOWLEDGE-BASED SOFTWARE SHIRYO (SIG-KBS-B504), 1 June 2016 (2016-06-01), pages 6 - 11, XP055593681 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020522774A (ja) * 2018-05-10 2020-07-30 平安科技（深▲せん▼）有限公司Ｐｉｎｇ Ａｎ Ｔｅｃｈｎｏｌｏｇｙ （Ｓｈｅｎｚｈｅｎ） Ｃｏ．，Ｌｔｄ． サーバ、金融時系列データの処理方法及び記憶媒体
CN109375116A (zh) * 2018-08-09 2019-02-22 上海国际汽车城（集团）有限公司 一种基于自编码器的电池系统异常电池识别方法
CN109375116B (zh) * 2018-08-09 2021-12-14 上海国际汽车城（集团）有限公司 一种基于自编码器的电池系统异常电池识别方法
JP2020052886A (ja) * 2018-09-28 2020-04-02 日本電信電話株式会社 データ処理装置、データ処理方法およびプログラム
JP2020052915A (ja) * 2018-09-28 2020-04-02 日本電信電話株式会社 データ処理装置、データ処理方法、及びプログラム
WO2020066724A1 (ja) * 2018-09-28 2020-04-02 日本電信電話株式会社 データ処理装置、データ処理方法およびプログラム
JP7014119B2 (ja) 2018-09-28 2022-02-01 日本電信電話株式会社 データ処理装置、データ処理方法、及びプログラム
JP7056493B2 (ja) 2018-09-28 2022-04-19 日本電信電話株式会社 データ処理装置、データ処理方法およびプログラム
JP2020074826A (ja) * 2018-11-05 2020-05-21 キヤノンメディカルシステムズ株式会社 Ｘ線ｃｔ装置および検出器ユニット
JP7242255B2 (ja) 2018-11-05 2023-03-20 キヤノンメディカルシステムズ株式会社 Ｘ線ｃｔ装置および検出器ユニット

Also Published As

Publication number Publication date
US11449732B2 (en) 2022-09-20
US20190228291A1 (en) 2019-07-25
EP3511871A4 (en) 2020-06-24
JP6574527B2 (ja) 2019-09-11
CN109643397A (zh) 2019-04-16
EP3511871A1 (en) 2019-07-17
JPWO2018047655A1 (ja) 2019-02-28
CN109643397B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
JP6574527B2 (ja) 時系列データ特徴量抽出装置、時系列データ特徴量抽出方法及び時系列データ特徴量抽出プログラム
US11551153B2 (en) Localized learning from a global model
EP3579153A1 (en) Learned model provision method and learned model provision device
Zou et al. A spatial rank‐based multivariate EWMA control chart
JP2020009410A (ja) パラメータの多次元時系列を分類するためのシステムおよび方法
CN115046944B (zh) 多元校准模型维护的聚焦线性模型校正和线性模型校正
US20210397951A1 (en) Data processing apparatus, data processing method, and program
US20170083818A1 (en) Information processing apparatus, information processing method and storage medium
Ma et al. Structural response recovery based on improved multi-scale principal component analysis considering sensor performance degradation
CN115769237A (zh) 优化问题解决方法和优化问题解决设备
JP7024687B2 (ja) データ分析システム、学習装置、方法、及びプログラム
CN107004167B (zh) 公开招聘标准化和重复数据删除
CN111859810B (zh) 基于加权字典学习的温度场重构方法、装置、设备及介质
CN111862081B (zh) 图像评分方法、分数预测网络的训练方法、装置
CN113948185A (zh) 远程训练方案的推送方法、装置、计算机设备和存储介质
US20240007807A1 (en) System and method for performing consumer hearing aid fittings
JP2021056928A (ja) 最適解獲得プログラム、最適解獲得方法および情報処理装置
JP2017004493A (ja) データ分析方法、データ分析装置およびプログラム
JP2021196731A (ja) 演算処理装置、情報処理装置及び演算処理方法
CN114399355B (zh) 基于用户转化率的信息推送方法、装置和电子设备
WO2023021612A1 (ja) 目的変数推定装置、方法およびプログラム
JP7135025B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7237895B2 (ja) 情報処理装置、情報処理プログラム及び情報処理方法
CN106651579A (zh) 股票分析方法和系统
Tucker et al. Updating stochastic networks to integrate cross-sectional and longitudinal studies

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018538357

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17848596

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017848596

Country of ref document: EP

Effective date: 20190408