WO2024093207A1 - 一种时序数据处理方法、装置、设备及非易失性可读存储介质 - Google Patents

一种时序数据处理方法、装置、设备及非易失性可读存储介质 Download PDF

Info

Publication number
WO2024093207A1
WO2024093207A1 PCT/CN2023/095897 CN2023095897W WO2024093207A1 WO 2024093207 A1 WO2024093207 A1 WO 2024093207A1 CN 2023095897 W CN2023095897 W CN 2023095897W WO 2024093207 A1 WO2024093207 A1 WO 2024093207A1
Authority
WO
WIPO (PCT)
Prior art keywords
time series
series data
data
target
model
Prior art date
Application number
PCT/CN2023/095897
Other languages
English (en)
French (fr)
Inventor
张潇澜
李峰
殷涛
Original Assignee
苏州元脑智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 苏州元脑智能科技有限公司 filed Critical 苏州元脑智能科技有限公司
Publication of WO2024093207A1 publication Critical patent/WO2024093207A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present disclosure relates to the field of computer application technology, and in particular to a time series data processing method, device, equipment and non-volatile readable storage medium.
  • Time series data analysis is an important research direction in the field of artificial intelligence and is widely used in many fields such as intelligent operation and maintenance, natural language processing, video analysis, and speech recognition, etc. Specifically, it can be used for performance monitoring, anomaly detection, capacity prediction, and fault diagnosis of hardware equipment, natural language analysis and understanding, and video and speech pattern analysis and recognition.
  • multiple indicators are usually used to describe time series data.
  • the future development trend of the data can be predicted by analyzing the indicator data.
  • the dimensions in the indicator data are often redundant, and their importance is also different. A large amount of redundant information has brought great interference to the accuracy of the algorithm, increased the time complexity of the algorithm, and reduced the prediction effect and processing efficiency of the algorithm.
  • the purpose of the present disclosure is to provide a time series data processing method, device, equipment and non-volatile readable storage medium, which can automatically select the optimal window and model, so that the final target model can automatically extract the key features of the time series data in many dimensions of different indicators.
  • a feature extraction method comprising:
  • the time series data is divided to obtain multiple training sets
  • the models output by each of the autoencoders are optimally selected to obtain a target model
  • Target time series data is acquired, and target features of the target time series data are extracted using the target model.
  • the models output by each of the autoencoders are optimally selected to obtain a target model, including:
  • test time series data is segmented to obtain a plurality of test sets
  • the reconstruction error is used to select the best model from the plurality of models to obtain the target model.
  • the reconstruction error is used to select the best of the multiple models to obtain the target model, including:
  • the model with the smallest sum of squares is determined as the target model.
  • the time series data is segmented according to a plurality of different window sizes to obtain a plurality of training sets, including:
  • window range parameter Using the window range parameter, generating a plurality of different window sizes
  • the time series data is segmented according to different window sizes to obtain multiple training sets.
  • the window range parameter is used to generate a plurality of different window sizes, including:
  • the window range parameters are input into a grid search algorithm for calculation to obtain a plurality of different window sizes.
  • the training set is respectively input into a plurality of autoencoders for training, including:
  • encoding the input data using the trained feature extraction network in the autoencoder includes:
  • the input data is encoded using the residual network trained in the autoencoder.
  • encoding the input data using the trained feature extraction network in the autoencoder includes:
  • the trained The CNN network extracts features from the input data to obtain a feature map, and reduces the dimension of the feature map to obtain one-dimensional data.
  • reducing the dimension of the feature map to obtain one-dimensional data includes:
  • the feature map is transformed using a fully connected layer to obtain the one-dimensional data.
  • the step of calculating a loss value corresponding to the decoded data and adjusting the model using the loss value includes:
  • the mean of the sum of squares of the reconstruction errors is determined as the loss value.
  • determining the mean of the sum of squares of the reconstruction errors as the loss value comprises:
  • the average of the losses of all the window data is determined as the loss value.
  • extracting target features of the target time series data using the target model includes:
  • the time series data obtained after segmentation are sequentially input into the target model for feature extraction to obtain the target features.
  • a time series data processing device comprising:
  • the data preprocessing module is configured to segment the time series data according to a plurality of different window sizes to obtain a plurality of training sets;
  • a model training module is configured to input the training set into a plurality of autoencoders for training respectively; wherein one autoencoder corresponds to one window size;
  • a model selection module is configured to select the best model output by each of the autoencoders after training is completed to obtain a target model
  • the feature extraction module is configured to obtain target time series data and extract target features of the target time series data using the target model.
  • An electronic device comprising:
  • a processor is used to implement the steps of the above-mentioned time series data processing method when executing the computer program.
  • a non-volatile readable storage medium having a computer program stored thereon, wherein When the computer program is executed by a processor, the steps of the above-mentioned time series data processing method are implemented.
  • the time series data is segmented according to multiple different window sizes to obtain multiple training sets; the training sets are input into multiple autoencoders for training; wherein one autoencoder corresponds to one window size; after the training is completed, the models output by each autoencoder are selected to obtain a target model; the target time series data is obtained, and the target features of the target time series data are extracted using the target model.
  • the time series data is first segmented based on a plurality of different window sizes to obtain training sets corresponding to a plurality of different window sizes; and then these training sets are respectively input into the autoencoder for training. Since one autoencoder corresponds to one window size, after the training of each autoencoder is completed, models corresponding to a plurality of different window sizes can be obtained. By selectively selecting these models, an optimal model with the optimal window size, that is, the target model, can be obtained. In this way, after obtaining the target time series data, the target features of the target time series data can be directly extracted based on the target model. That is, the present disclosure realizes the automated feature extraction of time series data with multiple indicators and each indicator having multiple dimensions while automatically selecting the optimal window.
  • the embodiments of the present disclosure also provide a time series data processing device, equipment and non-volatile readable storage medium corresponding to the above-mentioned time series data processing method, which have the above-mentioned technical effects and will not be repeated here.
  • FIG1 is a flowchart of a method for processing time series data in an embodiment of the present disclosure
  • FIG2 is a schematic diagram of video data in an embodiment of the present disclosure.
  • FIG3 is a schematic diagram of a training set in an embodiment of the present disclosure.
  • FIG4 is a schematic diagram of model training in an autoencoder in an embodiment of the present disclosure.
  • FIG5 is a schematic diagram of a model in an embodiment of the present disclosure.
  • FIG6 is a schematic diagram of a specific implementation of a time series data processing method according to an embodiment of the present disclosure.
  • FIG7 is a schematic diagram of the structure of a time series data processing device according to an embodiment of the present disclosure.
  • FIG8 is a schematic diagram of the structure of an electronic device according to an embodiment of the present disclosure.
  • FIG. 9 is a schematic diagram of a specific structure of an electronic device in an embodiment of the present disclosure.
  • CNN network Convolutional Neural Network, Convolutional Neural Network.
  • LSTM network Long Short-Term Memory network, Long Short-Term Memory, a time recursive neural network.
  • VGG network a type of convolutional neural network, Visual Geometry Group.
  • ResNet network residual network, a type of convolutional neural network.
  • the pattern of historical data is usually analyzed first, and then this pattern is used to predict future data.
  • the basic process is: set the window size of the historical data to be selected, and build the pattern of time series data based on machine learning or deep learning methods (including: based on parameter estimation/non-parameter estimation, or based on the network, etc.); use this pattern to predict the data that may appear in the future, or compare the size relationship between the predicted data and the current data to determine whether the current data is abnormal.
  • machine learning uses domain experts to analyze the dimensions of data, remove redundant dimensions, keep key features, and construct new dimensional features, and then conduct model training.
  • Deep learning builds a neural network, takes all dimensions of historical data as input, and obtains key features after neural network processing and compression.
  • experts need to have sufficient domain knowledge. Faced with high-dimensional data, this is often time-consuming and labor-intensive, and the analysis cannot be guaranteed to be comprehensive enough.
  • deep learning methods to extract features, more emphasis is placed on studying multiple dimensional information of an indicator.
  • the present disclosure discloses a time series data processing method, which can realize the automatic feature extraction of time series data with multiple indicators and multiple dimensions for each indicator, and can automatically select the data of the optimal window.
  • the time series data processing method can be applied to feature extraction in many fields, such as anomaly detection, natural language processing, speech or video data analysis, etc.
  • Figure 1 is a schematic diagram of the present disclosure.
  • Time series data refers to time series data, such as video data. As shown in Figure 2, there are multiple dimensions and indicators in video data, which are sorted based on time.
  • multiple different window sizes can be set, and then the time series data can be segmented according to the different window sizes to obtain multiple training sets.
  • the size of each sample corresponds to the same window size. That is, if there are several different window sizes, the time series data will be divided into several training sets in the end.
  • the time series data A is segmented with a window size of 3 to obtain a training set A1 with a window size of 3; the time series data A is segmented with a window size of 4 to obtain a training set A2 with a window size of 4; the time series data A is segmented with a window size of 5 to obtain a training set A3 with a window size of 5.
  • window sizes there are at least two different window sizes, and specifically several different window sizes, which can be set and generated according to actual needs.
  • step S101 divides the time series data into multiple window sizes to obtain multiple training sets, including:
  • Step 1 Get window range parameters
  • Step 2 Generate multiple different window sizes using window range parameters
  • the window range parameter may be input into a grid search algorithm for calculation to obtain a plurality of different window sizes.
  • Step 3 Split the time series data according to different window sizes to obtain multiple training sets.
  • the window range parameter is obtained, which can be obtained by receiving user input.
  • the window range parameters include [min, max, ⁇ ], where min is the minimum value of the selectable window, max is the maximum value of the selectable window, and ⁇ is the step size, all of which are positive integers.
  • k window parameters window ⁇ w1, w2, ..., wk ⁇ are generated with a step size of ⁇ .
  • the window size represents the number of data to be selected for continuous time series data. For example, for continuous video time series data, the number of pictures to be selected is, for example, wk.
  • the window overlap parameter (overlap) can be set, so that the training data set for each window size can be generated by segmenting the video time series data.
  • the overlap parameter characterizes the degree of overlap between two adjacent specific window data, overlap ⁇ N.
  • wi,
  • four training data set forms with different sampling windows are given. In each training set, each sample is a data packet containing wi time series data.
  • one autoencoder corresponds to one window size.
  • autoencoder is a type of artificial neural networks (ANNs) used in semi-supervised learning and unsupervised learning. Its function is to perform representation learning on the input information by taking the input information as the learning target.
  • ANNs artificial neural networks
  • one autoencoder corresponds to one window size, and thus the number of autoencoders corresponds to the number of different window sizes used in step S101.
  • the training set corresponds to different window sizes, and therefore, when training is performed, the training set is input into the autoencoder of the same window size for training. For example, if there are 5 training sets, there are 5 corresponding autoencoders; training set 1 is used to train autoencoder 1 of the same window size, training set 2 is used to train autoencoder 2 of the same window size, training set 3 is used to train autoencoder 3 of the same window size, training set 4 is used to train autoencoder 4 of the same window size, and training set 5 is used to train autoencoder 5 of the same window size.
  • the training process can be performed in parallel without having to repeatedly adjust the window size to find the optimal window size.
  • the relevant definition and implementation scheme of the autoencoder which is not limited in this embodiment.
  • step S102 inputs the training set into a plurality of autoencoders for training, including:
  • Step 1 Input the training set into the autoencoder
  • Step 2 Encode the input data using the trained feature extraction network in the autoencoder
  • Step 3 Use the LSTM network in the autoencoder to decode the encoded data
  • Step 4 Calculate the loss value corresponding to the decoded data and use the loss value to adjust the model.
  • the autoencoder includes an encoding part and a decoding part. That is, after the training set is input into the autoencoder, the input data can be encoded using the trained feature extraction network in the autoencoder, and the encoded data can be decoded using the LSTM network in the autoencoder. Then the loss value corresponding to the decoded data is calculated, and the model is adjusted based on the loss value. After the training is completed, the trained model can be obtained. For example, the model shown in Figure 5 can be obtained, the input of the model is the time series data, and the output is the key features of the time series data.
  • the encoding part can be specifically a residual network or VGG. That is, the above step 2 uses the feature extraction network trained in the autoencoder to encode the input data, which can be specifically using the residual network trained in the autoencoder to encode the input data.
  • the above-mentioned step 2 uses a feature extraction network that has been trained in the autoencoder to encode the input data, including: if the time series data is video time series data, then using the CNN network that has been trained in the autoencoder to extract features from the input data to obtain a feature map, and reducing the dimension of the feature map to obtain one-dimensional data.
  • the step of reducing the dimension of the feature map to obtain one-dimensional data includes: using a fully connected layer to transform the feature map to obtain one-dimensional data.
  • the video time series data is actually a continuous set of image data. Therefore, in the encoding stage, the CNN network mainly encodes the multi-dimensional data of the three indicators (i.e., the RGB three channels) of each image to obtain the feature map, which is then converted through a fully connected layer (such as an Affine layer) and flattened into 1D data, which is input into the decoder.
  • the decoder can be composed of multiple LSTM networks to restore the input 1D data.
  • step 4 calculates the loss value corresponding to the decoded data and uses the loss value to adjust the model, which may specifically include:
  • Step 1 Calculate the reconstruction error of each indicator using the input data and the decoded data
  • Step 2 Determine the mean of the sum of squares of the reconstruction error as the loss value.
  • the loss function is defined as the mean sum of squares of the reconstruction errors of all input and output indicators, that is, for the input data diwi, the loss function calculation formula is:
  • Loss is the loss value used to measure the error between the true value and the predicted value
  • Wi is the size of the i-th window, that is, the number of data in a training sample
  • index represents an indicator, such as the number of channels
  • Indexi represents the i-th indicator
  • It represents the jth input sample, and the corresponding window size for generating this sample is wi
  • the mean of the sum of squares of the reconstruction errors is determined as the loss value, including:
  • the loss of each window data is calculated separately; the average of the losses of all window data is determined as the loss value.
  • the loss function is the average of the loss values of all window data.
  • the encoder CNN can use mature networks such as VGG and Resnet, and use them to learn the optimal weights on public data sets to obtain good encoding effects and extract better features.
  • the target model After the training is completed, multiple models corresponding to different window sizes can be obtained. At this time, these models can be selected and the resulting model is called the target model.
  • step S103 selects the best model output by each autoencoder to obtain a target model, including:
  • Step 1 Segment the test time series data according to multiple different window sizes to obtain multiple test sets
  • Step 2 Input the test set into the corresponding model for testing, and obtain the reconstruction error corresponding to each model;
  • Step 3 Use the reconstruction error to select the best model from multiple models and obtain the target model.
  • test sets can be generated based on the test time series data.
  • the method of obtaining the test set is similar to the method of obtaining the training set.
  • the method of obtaining the test set can specifically refer to the method of obtaining the training set.
  • the corresponding test sets are input into the model for processing, and the reconstruction errors corresponding to the models can be obtained.
  • the reconstruction error of the model please refer to the relevant calculation method of the reconstruction error. This embodiment does not limit the specific calculation method of the reconstruction error.
  • the model with the smallest reconstruction error can be selected as the target model based on the reconstruction error.
  • the reconstruction error is used to select the best model from multiple models in step 3 to obtain the target model, including: calculating the sum of squares of all reconstruction errors of each model; and determining the model with the smallest sum of squares as the target model.
  • the reconstruction error corresponding to each indicator can participate in the selection of the final target model.
  • k models will be output first, corresponding to k training data sets with different window sizes.
  • the validation set (valid set, i.e. test time series data) will be divided according to the window size, and then input into the corresponding k models for testing, and all reconstruction errors will be calculated.
  • the model with the smallest sum of squared reconstruction errors is taken as the best model best_model, which is outputted, corresponding to the best window size best_window.
  • the result output by the encoder part of best_model is the key feature of the input video time series data.
  • S104 Acquire target time series data, and use the target model to extract target features of the target time series data.
  • the target model After obtaining the target model, when it is necessary to extract key features of the target time series data, the target model can be directly used to extract the target features of the target time series data.
  • the target model is used to extract target features of the target time series data, including:
  • Step 1 Split the target time series data according to the window size corresponding to the target model
  • Step 2 Input the time series data obtained after segmentation into the target model in sequence for feature extraction to obtain target features.
  • the target time series data needs to be segmented according to the window size corresponding to the target model, and the segmented time series data is input into the target model in sequence for extraction, so that the corresponding key features (that is, target features) can be obtained.
  • This key feature can be further used to replace the target time series data for related analysis and processing. Depending on the content, it can realize performance monitoring, anomaly detection, capacity prediction and fault diagnosis of hardware equipment, natural language analysis and understanding, video and voice pattern analysis and recognition, etc. For example, if the target time series data corresponds to the performance-related data of the hardware equipment, the performance monitoring, anomaly detection, capacity prediction and fault diagnosis of the hardware equipment can be carried out based on the key features.
  • the target features do not have a lot of redundant information compared to the target time series data, they will not interfere with the accuracy of the relevant processing algorithms. They can also reduce the time complexity of the algorithms and improve the prediction effect and processing efficiency of the algorithms.
  • the time series data is segmented according to multiple different window sizes to obtain multiple training sets; the training sets are input into multiple autoencoders for training; wherein one autoencoder corresponds to one window size; after the training is completed, the models output by each autoencoder are selected to obtain a target model; the target time series data is obtained, and the target features of the target time series data are extracted using the target model.
  • the time series data is first segmented based on a plurality of different window sizes to obtain training sets corresponding to a plurality of different window sizes; and then these training sets are respectively input into the autoencoder for training. Since one autoencoder corresponds to one window size, after the training of each autoencoder is completed, models corresponding to a plurality of different window sizes can be obtained. By selectively selecting these models, an optimal model with the optimal window size, that is, the target model, can be obtained. In this way, after obtaining the target time series data, the target features of the target time series data can be directly extracted based on the target model. That is, the present disclosure realizes the automated feature extraction of time series data with multiple indicators and each indicator having multiple dimensions while automatically selecting the optimal window.
  • time series data processing method is described in detail below with reference to a specific application scenario as an example.
  • Figure 6 is a schematic diagram of a specific implementation of a time series data processing method in an embodiment of the present disclosure; divided by bold arrows, the first part in Figure 6 corresponds to the time series data, the second part is the grid search algorithm, the third part is data in different time windows, and the fourth part is the autoencoder.
  • video data is a typical time series data. For a given video data, sampling at a specific time interval will obtain a discrete time series data sequence, each data is a frame of image information collected. Each data includes I indicators (Index), and each indicator has multiple dimensions to characterize (Dim), as shown in Figure 2. For the i-th indicator, its data format is shown in the following table.
  • each data is a picture, and the index of the picture is three channels, namely red, blue and green (RGB).
  • the dimension of each index is the pixel value of the corresponding channel. Since each channel has many pixel values, its dimension is very high.
  • the time series data processing method provided in the embodiment of the present disclosure is used to extract key features from video data, which is specifically implemented as follows:
  • the original training data set is ⁇ t1, t2, t3, ..., tn ⁇
  • the original verification data set is ⁇ v1, v2, v3, ... vm ⁇ , where si or vi is a picture, and each picture examines three indicators (i.e., three-channel RGB), and the data of each indicator corresponds to the value of the pixel. In both sets, all pictures are arranged in chronological order, and the size of each picture is exactly the same.
  • Use window wi 2 to split the original training data set to obtain the set ⁇ (t1, t2), (t3, t4), ..., (t(n-1), tn) ⁇ , which is the training data set.
  • (t1, t2) is the first data, which is recorded as d1wi and sorted accordingly later.
  • the input is a piece of collected video time series data
  • the output is a set ⁇ (wi, datai)
  • the window overlap parameter overlap is set to generate its own window size for each window size.
  • the Overlap parameter is used to determine the degree of overlap of adjacent data when segmenting video data according to the window size. This parameter can change dynamically.
  • k parallel experiments can be constructed. Each experiment uses a window size of training data trainwi to train the model.
  • the reconstruction error can be used as the loss function to update the model parameters.
  • the trained residual network (Resnet) can be used, and the decoder uses the LSTM connected network.
  • Set batch_size 1, that is, process one piece of data at a time.
  • the number of training epoches 50, and after processing each piece of data, calculate its loss value.
  • the autoencoder is trained using the training data set, and the training process is stopped when the loss value tends to be stable and no longer fluctuates greatly.
  • Model training of different window sizes can be performed in parallel or sequentially, and the present disclosure does not limit the order of model training.
  • the validation set can be input into k models respectively, and the size of the reconstruction error can be calculated.
  • the model with the smallest reconstruction error is taken as the optimal model, and the result output by its autoencoder is the key feature of the video time series data, and its optimal window size is wi.
  • x is the data set corresponding to a certain window size after preprocessing.
  • the configuration parameters config include parameters such as window size wi, number of training epoches, learning rate lr, batch size batch_size, etc.
  • k parallel experiments are started. The goal of each experiment is to minimize the reconstruction error min(xf(x)). Input the generated 5 validation sets into the corresponding 5 models respectively to obtain 5 loss values.
  • the optimal model corresponding to the minimum loss value as the optimal model (best_model), corresponding to the optimal window (best_window).
  • the output of the encoder in the optimal model is the feature of the video timing data. It can be seen that in the present disclosure, when the optimal model is determined, the optimal window is also confirmed, without repeatedly debugging the window size of the same model, which is more convenient in specific implementation.
  • the embodiment of the present disclosure further provides a time series data processing device, and the time series data processing device described below and the time series data processing method described above can refer to each other.
  • the device includes the following modules:
  • the data preprocessing module 101 is configured to segment the time series data according to a plurality of different window sizes to obtain a plurality of training sets;
  • the model training module 102 is configured to input the training set into a plurality of autoencoders for training respectively; wherein one autoencoder corresponds to one window size;
  • the model selection module 103 is configured to select the best model output by each autoencoder after training is completed to obtain a target model
  • the feature extraction module 104 is configured to obtain target time series data and extract target features of the target time series data using a target model.
  • the time series data is segmented according to multiple different window sizes to obtain multiple training sets; the training sets are input into multiple autoencoders for training; wherein one autoencoder corresponds to one window size; after the training is completed, the models output by each autoencoder are selected to obtain a target model; the target time series data is obtained, and the target features of the target time series data are extracted using the target model.
  • the time series data is first segmented based on a plurality of different window sizes to obtain training sets corresponding to a plurality of different window sizes; and then these training sets are respectively input into the autoencoder for training. Since one autoencoder corresponds to one window size, after the training of each autoencoder is completed, models corresponding to a plurality of different window sizes can be obtained. By selectively selecting these models, an optimal model with the optimal window size, that is, the target model, can be obtained. In this way, after obtaining the target time series data, the target features of the target time series data can be directly extracted based on the target model. That is, the present disclosure automatically selects the optimal In the case of an optimal window, automatic feature extraction of time series data with multiple indicators and multiple dimensions for each indicator is realized.
  • the model selection module 103 is specifically configured to segment the test time series data according to a plurality of different window sizes to obtain a plurality of test sets;
  • the reconstruction error is used to select the best model from multiple models to obtain the target model.
  • the model selection module 103 is specifically configured to calculate the sum of squares of all reconstruction errors of each model respectively;
  • the model with the smallest sum of squares is determined as the target model.
  • the data preprocessing module 101 is specifically configured to obtain a window range parameter
  • the time series data is divided according to different window sizes to obtain multiple training sets.
  • the data preprocessing module 101 is specifically configured to input the window range parameter into a grid search algorithm for calculation to obtain a plurality of different window sizes.
  • model training module 102 is specifically configured to input the training set into the autoencoder
  • the model training module 102 is specifically configured to encode the input data using the residual network trained in the autoencoder.
  • the model training module 102 is specifically configured to use the trained CNN network in the autoencoder to extract features from the input data if the time series data is video time series data to obtain a feature map, and then reduce the dimension of the feature map to obtain one-dimensional data.
  • the model training module 102 is specifically configured to transform the feature map using a fully connected layer to obtain one-dimensional data.
  • model training module 102 is specifically configured to calculate the reconstruction error of each indicator using the input data and the decoded data;
  • the mean of the sum of squares of the reconstruction errors is determined as the loss value.
  • the model training module 102 is specifically configured to calculate the loss of each window data separately if the input data of multiple consecutive windows are processed simultaneously;
  • the loss value is determined as the mean of the losses of all window data.
  • the feature extraction module 104 is configured to segment the target time series data according to the window size corresponding to the target model
  • the time series data obtained after segmentation are sequentially input into the target model for feature extraction to obtain the target features.
  • the embodiment of the present disclosure further provides an electronic device.
  • the electronic device described below and the time series data processing method described above can refer to each other.
  • the electronic device includes:
  • the processor 322 is used to implement the steps of the time series data processing method of the above method embodiment when executing a computer program.
  • FIG. 9 is a schematic diagram of the specific structure of an electronic device provided in this embodiment.
  • the electronic device may have relatively large differences due to different configurations or performances, and may include one or more processors (central processing units, CPU) 322 (for example, one or more processors) and a memory 332, and the memory 332 stores one or more computer applications 342 or data 344.
  • the memory 332 can be a temporary storage or a permanent storage.
  • the program stored in the memory 332 may include one or more modules (not shown in the figure), and each module may include a series of instruction operations in the data processing device.
  • the central processor 322 can be configured to communicate with the memory 332 to execute a series of instruction operations in the memory 332 on the electronic device 301.
  • the electronic device 301 may further include one or more power supplies 326 , one or more wired or wireless network interfaces 350 , one or more input and output interfaces 358 , and/or one or more operating systems 341 .
  • the steps in the time series data processing method described above can be implemented by the structure of an electronic device.
  • the embodiment of the present disclosure further provides a non-volatile readable storage medium.
  • the non-volatile readable storage medium described below and the time series data processing method described above can refer to each other.
  • a non-volatile readable storage medium stores a computer program, and when the computer program is executed by a processor, the steps of the time series data processing method of the above method embodiment are implemented.
  • the non-volatile readable storage medium may specifically be a U disk, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk or an optical disk, and other non-volatile readable storage media that can store program codes.
  • the steps of the method or algorithm described in conjunction with the embodiments disclosed herein may be implemented directly using hardware, a software module executed by a processor, or a combination of the two.
  • the software module may be placed in a random access memory (RAM), a memory, a read-only memory (ROM), an electrically programmable ROM, an electrically erasable programmable ROM, a register, a hard disk, a removable disk, a CD-ROM, or any other form of storage medium known in the art.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本公开属于计算机应用领域，具体公开了一种时序数据处理方法、装置、设备及非易失性可读存储介质，该方法包括：按照多个不同的窗口大小，分别对时序数据进行分割，得到多个训练集；将训练集分别输入至多个自编码器中进行训练；其中，一个自编码器对应一个窗口大小；训练完成后，对各个自编码器输出的模型进行择优选择，得到目标模型；获取目标时序数据，并利用目标模型提取目标时序数据的目标特征。本公开在自动选择最优窗口的情况下，实现了对多个指标且每个指标有多个维度的时序数据的自动化特征提取。

Description

一种时序数据处理方法、装置、设备及非易失性可读存储介质
相关申请的交叉引用
本公开要求于2022年11月02日提交中国专利局，申请号为202211361310.7，申请名称为“一种时序数据处理方法、装置、设备及可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本公开中。
技术领域
本公开涉及计算机应用技术领域，特别是涉及一种时序数据处理方法、装置、设备及非易失性可读存储介质。
背景技术
时序数据分析是人工智能领域的重要研究方向，被广泛应用于智能运维、自然语言处理、视频分析以及语音识别等多个领域。具体如对硬件设备的性能监控、异常检测、容量预测以及故障诊断，自然语言分析及理解，视频及语音模式分析及识别等。
在实际应用中，通常使用多个指标(每个指标中使用多个维度)来描述时序数据。通过对指标数据的分析，来预测数据未来的发展趋势。然而，指标数据中的维度往往是冗余的，其重要性程度也是不同的，大量冗余信息为算法的准确度带来了很大的干扰，增加了算法的时间复杂度，降低算法的预测效果及处理效率。
因此，如何能够在不同指标的众多维度中自动提取到数据的关键特征，是目前本领域技术人员急需解决的技术问题。
发明内容
本公开的目的是提供一种时序数据处理方法、装置、设备及非易失性可读存储介质，可以自动选择最优窗口和模型，从而使得最终得到的目标模型能够在不同指标的众多维度中自动提取到时序数据的关键特征。
为解决上述技术问题，本公开提供如下技术方案：
一种特征提取方法，包括：
按照多个不同的窗口大小，分别对时序数据进行分割，得到多个训练集；
将所述训练集分别输入至多个自编码器中进行训练；其中，一个所述自编码器对应一个所述窗口大小；
训练完成后，对各个所述自编码器输出的模型进行择优选择，得到目标模型；
获取目标时序数据，并利用所述目标模型提取所述目标时序数据的目标特征。
在一些实施例中，对各个所述自编码器输出的模型进行择优选择，得到目标模型，包括：
按照多个不同的所述窗口大小，分别对测试时序数据进行分割，得到多个测试集；
将所述测试集分别输入至对应的所述模型中进行测试，得各个所述模型对应的重构误差；
利用所述重构误差，对多个所述模型进行择优选择，得到所述目标模型。
在一些实施例中，利用所述重构误差，对多个所述模型进行择优选择，得到所述目标模型，包括：
分别计算每一个所述模型的全部所述重构误差的平方和；
将所述平方和最小的模型确定为所述目标模型。
在一些实施例中，所述按照多个不同的窗口大小，分别对时序数据进行分割，得到多个训练集，包括：
获取窗口范围参数；
利用所述窗口范围参数，生成多个不同的所述窗口大小；
分别按照不同的所述窗口大小，对所述时序数据进行分割，得到多个所述训练集。
在一些实施例中，利用所述窗口范围参数，生成多个不同的所述窗口大小，包括：
将所述窗口范围参数输入至网格搜索算法进行计算，得到多个不同的所述窗口大小。
在一些实施例中，将所述训练集分别输入至多个自编码器中进行训练，包括：
将所述训练集输入至所述自编码器；
利用所述自编码器中已训练好的特征提取网络对输入数据进行编码；
利用所述自编码器中的LSTM网络对编码后数据进行解码；
计算解码所得数据对应的损失值，并利用所述损失值调整模型。
在一些实施例中，利用所述自编码器中已训练好的特征提取网络对输入数据进行编码，包括：
利用所述自编码器中训练好的残差网络，对所述输入数据进行编码。
在一些实施例中，利用所述自编码器中已训练好的特征提取网络对输入数据进行编码，包括：
在所述时序数据为视频时序数据的情况下，利用所述自编码器中已训练好的所述 CNN网络对所述输入数据进行特征提取，得到特征图，并对所述特征图进行降维，得到一维数据。
在一些实施例中，对所述特征图进行降维，得到一维数据，包括：
利用全连接层对所述特征图进行转换，得到所述一维数据。
在一些实施例中，所述计算解码所得数据对应的损失值，并利用所述损失值调整模型，包括：
利用所述输入数据和所述解码所得数据，计算各个指标的重构误差；
将所述重构误差的平方和均值确定为所述损失值。
在一些实施例中，将所述重构误差的平方和均值确定为所述损失值，包括：
在同时处理多个连续窗口的所述输入数据的情况下，分别计算每一个窗口数据的损失；
将所有所述窗口数据的损失的均值确定为所述损失值。
在一些实施例中，利用所述目标模型提取所述目标时序数据的目标特征，包括：
按照所述目标模型对应的窗口大小，分割所述目标时序数据；
将分割后得到的时序数据依次输入至所述目标模型中进行特征提取，得到所述目标特征。
一种时序数据处理装置，包括：
数据预处理模块，被配置为按照多个不同的窗口大小，分别对时序数据进行分割，得到多个训练集；
模型训练模块，被配置为将所述训练集分别输入至多个自编码器中进行训练；其中，一个所述自编码器对应一个所述窗口大小；
模型选择模块，被配置为训练完成后，对各个所述自编码器输出的模型进行择优选择，得到目标模型；
特征提取模块，被配置为获取目标时序数据，并利用所述目标模型提取所述目标时序数据的目标特征。
一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述时序数据处理方法的步骤。
一种非易失性可读存储介质，所述非易失性可读存储介质上存储有计算机程序，所述 计算机程序被处理器执行时实现上述时序数据处理方法的步骤。
应用本公开实施例所提供的方法，按照多个不同的窗口大小，分别对时序数据进行分割，得到多个训练集；将训练集分别输入至多个自编码器中进行训练；其中，一个自编码器对应一个窗口大小；训练完成后，对各个自编码器输出的模型进行择优选择，得到目标模型；获取目标时序数据，并利用目标模型提取目标时序数据的目标特征。
在本公开中，为了有效提取目标时序数据的目标特征，首先基于多个不同的窗口大小，分别对时序数据进行分割，得到多个不同窗口大小分别对应的训练集；然后再将这些训练集分别输入到自编码器中进行训练。由于一个自编码器对应一个窗口大小，因而各个自编码器训练结束后，可以得到多个不同的窗口大小所对应的模型。通过对这些模型进行择优选择，可以得到窗口大小最优的最优模型，即目标模型。如此，在获取到目标时序数据之后，便可直接基于该目标模型提取该目标时序数据的目标特征。即，本公开在自动选择最优窗口的情况下，实现了对多个指标且每个指标有多个维度的时序数据的自动化特征提取。
相应地，本公开实施例还提供了与上述时序数据处理方法相对应的时序数据处理装置、设备和非易失性可读存储介质，具有上述技术效果，在此不再赘述。
附图说明
为了更清楚地说明本公开实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例中一种时序数据处理方法的实施流程图；
图2为本公开实施例中一种视频数据示意图；
图3为本公开实施例中训练集示意图；
图4为本公开实施例中一种自编码器中模型训练示意图；
图5为本公开实施例中一种模型示意图；
图6为本公开实施例中一种时序数据处理方法的具体实施示意图；
图7为本公开实施例中一种时序数据处理装置的结构示意图；
图8为本公开实施例中一种电子设备的结构示意图；
图9为本公开实施例中一种电子设备的具体结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本公开方案，下面结合附图和具体实施方式对本公开作进一步的详细说明。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
为便于理解本公开实施例所提供的时序数据处理方法，下面对相关技术术语以及技术进行说明：
CNN网络：卷积神经网络，Convolutional Neural Network。
LSTM网络：长短期记忆网络，Long Short-Term Memory，一种时间递归神经网络。
VGG网络：卷积神经网络的一种，Visual Geometry Group。
ResNet网络：残差网络，卷积神经网络的一种。
在时序数据预测或者异常检测领域，通常会首先分析历史数据的模式，然后使用这个模式来预测未来时间的数据。基本过程为：设定所要选择历史数据的窗口大小，基于机器学习或者深度学习的方法(包括：基于参数估计/非参估计、或者基于网络等)，来构建时序数据的模式；使用这个模式来预测未来可能出现的数据，或者通过比较预测数据和当前数据的大小关系，来决定当前数据是否异常。在此类方案中，需要事先设计所要采集的历史数据的窗口大小，并对其效果进行测试。如果效果不好，则进行手动修改，进行其他的尝试。这样导致了尝试的盲目性，获取最优窗口的不确定性，降低了最优窗口的选择及评估效率，同时增加了很高的人力成本，无法实现窗口数据的自动测试并且调优。
在对时序数据进行特征提取的时候，通常有机器学习和深度学习。其中，机器学习通过领域专家对数据的维度进行特征分析，去掉冗余维度，留下关键特征，并且构造新的维度特征，然后再进行模型训练。深度学习，构建神经网络，将历史数据的所有维度作为输入，经过神经网络处理、压缩后，得到关键特征。此类方案中，使用机器学习方法来提取时序数据的关键特征时，需要专家要有足够的领域知识，面对高维数据，这往往会比较耗时耗力，分析无法保证足够全面。使用深度学习方法来提取特征时，更多侧重于研究一个指标的多个维度信息。
针对上述方案的不足，本公开公开了一种时序数据处理方法，一方面可以实现对多个指标且每个指标有多个维度的时序数据的自动化特征提取，另一方面，可以自动选择最优窗口的数据。该时序数据处理方法可以应用在诸多领域的特征提取方面，诸如异常检测、自然语言处理、语音或者视频数据分析等。具体的实现过程请参考图1，图1为本公开实 施例中一种时序数据处理方法的流程图，该方法包括以下步骤：
S101、按照多个不同的窗口大小，分别对时序数据进行分割，得到多个训练集。
时序数据是指时间序列数据，例如视频数据。如图2所示，视频数据中维度有多个，指标也有多个，并基于时间进行排序。
在本公开中，可设置多个不同的窗口大小，然后在分别按照不同的窗口大小对时序数据进行分割，从而得到多个训练集。
在同一个训练集中，每个样本的大小都与同一个窗口大小对应。即，有几个不同的窗口大小，分个时序数据，最终也得到几个的训练集。
举例说明：若有3，4，和5这3个不同的窗口大小，则以窗口大小为3，对时序数据A进行分割，得到窗口大小为3的训练集A1；以窗口大小为4，对时序数据A进行分割，得到窗口大小为4的训练集A2；以窗口大小为5，对时序数据A进行分割，得到窗口大小为5的训练集A3。
在本公开实施例中，至少存在2个不同的窗口大小，具体有几个不同的窗口大小，可根据实际需求而进行设置，并产生。
在本公开中的一种具体实施方式中，步骤S101按照多个不同的窗口大小，分别对时序数据进行分割，得到多个训练集，包括：
步骤一、获取窗口范围参数；
步骤二、利用窗口范围参数，生成多个不同的窗口大小；
具体的，可将窗口范围参数输入至网格搜索算法进行计算，得到多个不同的窗口大小。
步骤三、分别按照不同的窗口大小，对时序数据进行分割，得到多个训练集。
为便于描述，下面将上述三个步骤结合起来进行说明。
首先，获取窗口范围参数，可通过接收用户输入的方式获取。然后，再根据窗口范围参数，使用网格搜索算法(Grid Search)来自动生成有限个不同大小的窗口集合window＝{w1，w2，…，wk}。
其中，窗口范围参数包括[min，max，Δ]，其中min是可选窗口的最小值，max是可选窗口的最大值，Δ是步长，三者均为正整数。在这个范围内以步长Δ生成k个窗口参数window＝{w1，w2，…，wk}。其中，窗口大小表示，对于连续的时序数据，供选择的数据个数。例如，对于连续的视频时序数据，供选择的图片个数，比如wk个。
在分割时序数据时，可设定窗口重叠参数(overlap)，从而通过分割视频时序数据为每个窗口大小生成自己的训练数据集。其中，overlap参数刻画相邻的两个特定窗口数据的可重叠程度，overlap∈N。举例说明：对于一段视频时序数据Data，使用窗口wi来分割，其采样后生成的训练数据集记为trainwi＝{dwi 1，dwi 2，…，dwi n}，其中|dwi k|＝wi，|dwi j∩dwi (j+1)|＝overlap，(dwi 1∪·dwi 2∪…∪dwi n)＝Data。如图3所示给出了四种不同采样窗口的训练数据集形式。在每个训练集中，每个样本为包含了wi条时序数据的数据包。
S102、将训练集分别输入至多个自编码器中进行训练。
其中，一个自编码器对应一个窗口大小。
其中，自编码器(autoencoder，AE)是一类在半监督学习和非监督学习中使用的人工神经网络(Artificial Neural Networks，ANNs)，其功能是通过将输入信息作为学习目标，对输入信息进行表征学习(representation learning)。
在本实施例中，一个自编码器对应一个窗口大小，因而在步骤S101中采用了多少个不同的窗口大小，则对应有多少个自编码器。
在本公开实施例中，训练集是对应不同的窗口大小的，因而，在进行训练时，则将训练集输入至同一窗口大小的自编码器中的进行训练。例如，若存在5个训练集，则对应存在5个自编码器；利用训练集1训练同窗口大小的自编码器1，利用训练集2训练同窗口大小的自编码器2，利用训练集3训练同窗口大小的自编码器3，利用训练集4训练同窗口大小的自编码器4，利用训练集5训练同窗口大小的自编码器5。
由于不同窗口大小对应不同的自编码器，因而此训练过程可以并行进行，而不必反复调整窗口大小来寻找最优窗口大小。对于具体如何利用训练集在自编码器中进行训练，而得到相应窗口大小的模型，则可参照自编码器的相关定义和实现方案，本实施例对此并不做限定。
在本公开中的一种具体实施方式中，请参考图4，步骤S102将训练集分别输入至多个自编码器中进行训练，包括：
步骤一、将训练集输入至自编码器；
步骤二、利用自编码器中已训练好的特征提取网络对输入数据进行编码；
步骤三、利用自编码器中的LSTM网络对编码后数据进行解码；
步骤四、计算解码所得数据对应的损失值，并利用损失值调整模型。
为便于描述，下面将上述四个步骤结合起来进行说明。
自编码器包括编码部分和解码部分，即训练集输入到自编码器后，可以利用自编码器中已训练好的特征提取网络对输入数据进行编码，利用自编码器中的LSTM网络对编码后数据进行解码。然后计算解码所得数据对应的损失值，并基于损失值来对模型进行调整，训练结束，即可得到所训练的模型。例如，可得到如图5所示的模型，该模型的输入即为时序数据，输出即为时序数据的关键特征。
其中，编码部分可以具体为残差网络或VGG。即上述步骤二利用自编码器中已训练好的特征提取网络对输入数据进行编码，可以具体为利用自编码器中训练好的残差网络，对输入数据进行编码。
在本公开中的一种具体实施方式中，上述步骤二利用自编码器中已训练好的特征提取网络对输入数据进行编码，包括：若时序数据为视频时序数据，则利用自编码器中已训练好的CNN网络对输入数据进行特征提取，得到特征图，并对特征图进行降维，得到一维数据。
其中，对特征图进行降维，得到一维数据，包括：利用全连接层对特征图进行转换，得到一维数据。
以训练集对应视频时序数据为例，视频时序数据其实是连续的图片数据集合，因此在编码阶段，CNN网络主要针对每个图片的三个指标(即RGB三通道)的多维数据进行编码，得到特征图，然后通过全连接层(如Affine层)进行转换，扁平化为1维数据，输入到解码器中。解码器可由多个LSTM网络构成，将输入的1维数据进行还原。
在本公开中的一种具体实施方式中，步骤四计算解码所得数据对应的损失值，并利用损失值调整模型，可具体包括：
步骤1、利用输入数据和解码所得数据，计算各个指标的重构误差；
步骤2、将重构误差的平方和均值确定为损失值。
对于一个窗口的数据，损失函数定义为输入和输出所有指标的重构误差的平方和均值，即对于输入数据diwi，损失函数计算公式为：
其中是输入数据在第i个指标对应的所有维度值，经过自编码器模型后输出为具体的，Loss，损失值，用来衡量真实值和预测值之间的误差；Wi是第i个窗口的大小，即一个训练样本的数据个数；index代表指标，如通道数；Indexi代表第i个指标；表示第j输入个样本，对应生成这个样本的窗口大小为wi；表示模型对第j个样本的处理后重构数据。
输入真实样本和对齐重构结果的差值的平方是为误差。计算所有维度(通道)的误差之和，然后求wi个数据的平均值，即为最终的损失值Loss。
进一步的，将重构误差的平方和均值确定为损失值，包括：
若同时处理多个连续窗口的输入数据，则分别计算每一个窗口数据的损失；将所有窗口数据的损失的均值确定为损失值。也就是说，当使用批处理时(mini-batch)，即同时处理多个连续窗口的数据时，损失函数为所有窗口数据损失值的均值。
在实际应用中，编码器CNN可以使用VGG，Resnet等成熟网络，并且使用其在公开数据集上学习最优的权重，从而获得好的编码效果，提取出更好的特征。
S103、训练完成后，对各个自编码器输出的模型进行择优选择，得到目标模型。
在训练完成之后，便可得到多个不同窗口大小对应的模型。此时，可对这些模型进行择优选择，并将出的模型称之为目标模型。
具体的，在本公开中的一种具体实施方式中，步骤S103对各个自编码器输出的模型进行择优选择，得到目标模型，包括：
步骤一、按照多个不同的窗口大小，分别对测试时序数据进行分割，得到多个测试集；
步骤二、将测试集分别输入至对应的模型中进行测试，得各个模型对应的重构误差；
步骤三、利用重构误差，对多个模型进行择优选择，得到目标模型。
为便于描述，下面将上述三个步骤结合起来进行说明。
也就是说，当训练出模型之后，可以基于测试时序数据产生多个测试集。该测试集的获取方式与训练集获取方式近似，获取测试集的方式可具体参照训练集的获取方式。
针对不同的模型，将其对应的测试集输入至模型中进行处理，可以得到各个模型对应的重构误差。对于模型的重构误差具体如何计算，可具体参照重构误差的相关计算方式，本实施例对重构误差的具体计算方式并不做限定。
得到模型的各个重构误差之后，便可基于重构误差选出重构误差最小的模型作为目标模型。
具体的，对于上述步骤三利用重构误差，对多个模型进行择优选择，得到目标模型，包括：分别计算每一个模型的全部重构误差的平方和；将平方和最小的模型确定为目标模型。也就是说，每一个指标对应的重构误差都可参与最终目标模型的抉择。
也就是说，训练结束后，首先会输出k个模型，对应k个不同窗口大小的训练数据集。将验证集(valid集合，即测试时序数据)分别按照窗口大小进行分割后，输入到对应的k个模型中进行测试，计算所有的重构误差。重构误差平方和最小的模型作为最优模型best_model，将其输出，对应最优窗口大小best_window。best_model的编码器部分输出的结果即为输入视频时序数据的关键特征。
S104、获取目标时序数据，并利用目标模型提取目标时序数据的目标特征。
得到目标模型之后，当需要对目标时序数据进行关键特征提取，则可直接利用目标模型提取目标时序数据的目标特征。
具体的，利用目标模型提取目标时序数据的目标特征，包括：
步骤一、按照目标模型对应的窗口大小，分割目标时序数据；
步骤二、将分割后得到的时序数据依次输入至目标模型中进行特征提取，得到目标特征。
也就是说，使用目标模型进行关键特征提取时，需将目标时序数据按照目标模型对应的窗口大小进行分割，并将分割得到的时序数据依次输入至目标模型中进行提取，如此便可得到对应的关键特征(也即目标特征)。
该关键特征可以进一步用于替换目标时序数据进行相关分析处理。根据目标时序数据 的内容不同，可实现对硬件设备的性能监控、异常检测、容量预测以及故障诊断，自然语言分析及理解，视频及语音模式分析及识别等。例如，若目标时序数据对应硬件设备的性能相关数据，则可基于该关键特征对硬件设备进行性能监控、异常检测、容量预测以及故障诊断。
由于目标特征相对于目标时序数据而言，目标特征不存在大量冗余信息，因而不会给相关处理算法的准确度带来干扰，也可降低算法的时间复杂度，提升算法的预测效果及处理效率。
应用本公开实施例所提供的方法，按照多个不同的窗口大小，分别对时序数据进行分割，得到多个训练集；将训练集分别输入至多个自编码器中进行训练；其中，一个自编码器对应一个窗口大小；训练完成后，对各个自编码器输出的模型进行择优选择，得到目标模型；获取目标时序数据，并利用目标模型提取目标时序数据的目标特征。
在本公开中，为了有效提取目标时序数据的目标特征，首先基于多个不同的窗口大小，分别对时序数据进行分割，得到多个不同窗口大小分别对应的训练集；然后再将这些训练集分别输入到自编码器中进行训练。由于一个自编码器对应一个窗口大小，因而各个自编码器训练结束后，可以得到多个不同的窗口大小所对应的模型。通过对这些模型进行择优选择，可以得到窗口大小最优的最优模型，即目标模型。如此，在获取到目标时序数据之后，便可直接基于该目标模型提取该目标时序数据的目标特征。即，本公开在自动选择最优窗口的情况下，实现了对多个指标且每个指标有多个维度的时序数据的自动化特征提取。
为便于本领域技术人员更好地理解本公开实施例所提供的时序数据处理方法，下面结合具体应用场景为例，对时序数据处理方法进行详细说明。
请参考图6，图6为本公开实施例中一种时序数据处理方法的具体实施示意图；以加粗箭头分割，图6中的第一部分对应时序数据，第二部分为网格搜索算法，第三部分为不同时窗数据，第四部分为自编码器。
其中，如图2所示，视频数据是一种典型的时序数据。对于给定的一段视频数据，进行特定时间间隔的采样，会得到一个离散的时序数据序列，每个数据为采集到的一帧图片信息。每个数据包括I个指标(Index)，每个指标有多个维度来刻画(Dim)，如图2所示。对于第i个指标，其数据形式如下表所示。
其中，每个指标包含多个维度值，Indexi＝{dim1，dim2，……}。对于视频时序数据，每个数据即为一张图片，而图片的指标是3个通道，即红、蓝和绿(RGB)，每个指标的维度是对应通道的像素值。由于每个通道的像素值很多，导致其维度很高。
采用本公开实施例所提供的时序数据处理方法，来提取视频数据中的关键特征，具体实施如下：
首先，给定采集后的视频时序数据集合。训练原始数据集{t1，t2，t3，……，tn}，验证原始数据集{v1，v2，v3，……vm}，其中si或vi均为一张图片，每个图片考察三个指标(即三通道RGB)，每个指标的数据对应像素点的值。在两个集合中，所有图片按照时间先后排列，并且每张图片的尺寸完全一样。
设置窗口初始参数[min，max，Δ]＝[2，10，2]，利用网格搜索算法得到窗口大小集合window＝{2，4，6，8，10}，共5种窗口情形。
设置重叠参数overlap＝0，针对每种窗口大小wi对原始数据进行预处理，得到对应的训练集(train)和验证集(valid)和验证生成对应的训练数据，以窗口wi＝2和生成对应的训练集为例来说明，其他窗口及对应验证集的生成流程一致。
使用窗口wi＝2对训练原始数据集进行分割，得到集合{(t1，t2)，(t3，t4)，……，(t(n-1)，tn)}，即为训练数据集，(t1，t2)为第一条数据，将其记为d1wi，后面以此排序。
也就是说，在数据预处理阶段，输入为采集到的一段视频时序数据，输出为集合{(wi，datai)|wi∈N+}，其中，datai是数据集合，集合中每个元素的长度为窗口大小wi。具体的，可使用网格搜索算法(Grid Search)来自动生成有限个不同的窗口大小集合window＝{w1，w2，…，wk}。然后，设定窗口重叠参数overlap，为每个窗口大小生成自己的 训练数据集(wi，datai)。Overlap参数用于在按照窗口大小对视频数据进行分割的时候，相邻数据的可重叠程度，这个参数可以动态变化。即对于历史多指标多维度的视频时序数据Data，重叠参数overlap，窗口大小wi，其训练数据集合为trainwi＝{dwi1，dwi2，…，dwin}，其中|dwij∩dwi(j+1)|＝overlap，(dwi1∪dwi2∪…∪dwin)＝Data。
在模型训练阶段。可构建k个并行执行的试验，每个试验使用一个窗口大小的训练数据trainwi，训练模型，可使用重构误差作为损失函数对模型参数进行更新。具体的，可在自编码器中，可使用训练好的残差网络(Resnet)，解码器使用LSTM链接的网络。设置batch_size＝1，即每次处理一条数据。训练次数epoches＝50，每处理一条数据之后，计算其损失值，这里的index取值为R，G和B三个通道，wi＝2。使用训练数据集对自编码器进行训练，当损失值趋于平稳，并且不再出现大的波动的情况下，将训练过程停止。
不同窗口大小的模型训练可以并行执行也可以依次执行，本公开对模型训练的先后顺序并不做限定。
模型训练完成后，可将验证集(valid集合)分别输入k个模型，并计算重构误差的大小。将最小重构误差的模型作为最优模型，其自编码器输出的结果即为视频时序数据的关键特征，对应其最优的窗口大小为wi。
举例说明：可开启5个并行的试验，并行执行上述过程，训练后得到5个模型。其中，一个试验定义为一个映射：其中x为预处理后某个窗口大小对应的数据集，在本公开中有两种情况：训练阶段的数据集以及验证阶段的数据集。配置参数config是包括窗口大小wi、训练次数epoches、学习率lr、批处理大小batch_size等等参数。对于k个窗口大小的训练集启动k个并行试验，每个试验的目标是最小化重构误差 min(x-f(x))。将生成的5个验证集分别输入对应的5个模型中，得到5个损失值，选择最小损失值对应的模型为最优模型(best_model)，对应最优的窗口(best_window)。最优模型中编码器的输出即为视频时序数据的特征。可见，在本公开中，当最优模型确定好之后，最优窗口也一并确认，而无需反复调试同一个模型的窗口大小，在具体实现上更为便捷。
相应于上面的方法实施例，本公开实施例还提供了一种时序数据处理装置，下文描述的时序数据处理装置与上文描述的时序数据处理方法可相互对应参照。
参见图7所示，该装置包括以下模块：
数据预处理模块101，被配置为按照多个不同的窗口大小，分别对时序数据进行分割，得到多个训练集；
模型训练模块102，被配置为将训练集分别输入至多个自编码器中进行训练；其中，一个自编码器对应一个窗口大小；
模型选择模块103，被配置为训练完成后，对各个自编码器输出的模型进行择优选择，得到目标模型；
特征提取模块104，被配置为获取目标时序数据，并利用目标模型提取目标时序数据的目标特征。
应用本公开实施例所提供的装置，按照多个不同的窗口大小，分别对时序数据进行分割，得到多个训练集；将训练集分别输入至多个自编码器中进行训练；其中，一个自编码器对应一个窗口大小；训练完成后，对各个自编码器输出的模型进行择优选择，得到目标模型；获取目标时序数据，并利用目标模型提取目标时序数据的目标特征。
在本公开中，为了有效提取目标时序数据的目标特征，首先基于多个不同的窗口大小，分别对时序数据进行分割，得到多个不同窗口大小分别对应的训练集；然后再将这些训练集分别输入到自编码器中进行训练。由于一个自编码器对应一个窗口大小，因而各个自编码器训练结束后，可以得到多个不同的窗口大小所对应的模型。通过对这些模型进行择优选择，可以得到窗口大小最优的最优模型，即目标模型。如此，在获取到目标时序数据之后，便可直接基于该目标模型提取该目标时序数据的目标特征。即，本公开在自动选择最 优窗口的情况下，实现了对多个指标且每个指标有多个维度的时序数据的自动化特征提取。
在本公开的一种具体实施方式中，模型选择模块103，具体被配置为按照多个不同的窗口大小，分别对测试时序数据进行分割，得到多个测试集；
将测试集分别输入至对应的模型中进行测试，得各个模型对应的重构误差；
利用重构误差，对多个模型进行择优选择，得到目标模型。
在本公开的一种具体实施方式中，模型选择模块103，具体被配置为分别计算每一个模型的全部重构误差的平方和；
将平方和最小的模型确定为目标模型。
在本公开的一种具体实施方式中，数据预处理模块101，具体被配置为获取窗口范围参数；
利用窗口范围参数，生成多个不同的窗口大小；
分别按照不同的窗口大小，对时序数据进行分割，得到多个训练集。
在本公开的一种具体实施方式中，数据预处理模块101，具体被配置为将窗口范围参数输入至网格搜索算法进行计算，得到多个不同的窗口大小。
在本公开的一种具体实施方式中，模型训练模块102，具体被配置为将训练集输入至自编码器；
利用自编码器中已训练好的特征提取网络对输入数据进行编码；
利用自编码器中的LSTM网络对编码后数据进行解码；
计算解码所得数据对应的损失值，并利用损失值调整模型。
在本公开的一种具体实施方式中，模型训练模块102，具体被配置为利用自编码器中训练好的残差网络，对输入数据进行编码。
在本公开的一种具体实施方式中，模型训练模块102，具体被配置为若时序数据为视频时序数据，则利用自编码器中已训练好的CNN网络对输入数据进行特征提取，得到特征图，并对特征图进行降维，得到一维数据。
在本公开的一种具体实施方式中，模型训练模块102，具体被配置为利用全连接层对特征图进行转换，得到一维数据。
在本公开的一种具体实施方式中，模型训练模块102，具体被配置为利用输入数据和解码所得数据，计算各个指标的重构误差；
将重构误差的平方和均值确定为损失值。
在本公开的一种具体实施方式中，模型训练模块102，具体被配置为若同时处理多个连续窗口的输入数据，则分别计算每一个窗口数据的损失；
将所有窗口数据的损失的均值确定为损失值。
在本公开的一种具体实施方式中，特征提取模块104，被配置为按照目标模型对应的窗口大小，分割目标时序数据；
将分割后得到的时序数据依次输入至目标模型中进行特征提取，得到目标特征。
相应于上面的方法实施例，本公开实施例还提供了一种电子设备，下文描述的一种电子设备与上文描述的一种时序数据处理方法可相互对应参照。
参见图8所示，该电子设备包括：
存储器332，用于存储计算机程序；
处理器322，用于执行计算机程序时实现上述方法实施例的时序数据处理方法的步骤。
具体的，请参考图9，图9为本实施例提供的一种电子设备的具体结构示意图，该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，存储器332存储有一个或一个以上的计算机应用程序342或数据344。其中，存储器332可以是短暂存储或持久存储。存储在存储器332的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储器332通信，在电子设备301上执行存储器332中的一系列指令操作。
电子设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。
上文所描述的时序数据处理方法中的步骤可以由电子设备的结构实现。
相应于上面的方法实施例，本公开实施例还提供了一种非易失性可读存储介质，下文描述的一种非易失性可读存储介质与上文描述的一种时序数据处理方法可相互对应参照。
一种非易失性可读存储介质，非易失性可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的时序数据处理方法的步骤。
该非易失性可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的非易失性可读存储介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施 例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本领域技术人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本公开的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中术语包括、包含或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本公开的限制。

Claims (20)

  1. 一种时序数据处理方法，其中，包括：
    按照多个不同的窗口大小，分别对时序数据进行分割，得到多个训练集；
    将所述训练集分别输入至多个自编码器中进行训练；其中，一个所述自编码器对应一个所述窗口大小；
    训练完成后，对各个所述自编码器输出的模型进行择优选择，得到目标模型；
    获取目标时序数据，并利用所述目标模型提取所述目标时序数据的目标特征。
  2. 根据权利要求1所述的时序数据处理方法，其中，对各个所述自编码器输出的模型进行择优选择，得到目标模型，包括：
    按照多个不同的所述窗口大小，分别对测试时序数据进行分割，得到多个测试集；
    将所述测试集分别输入至对应的所述模型中进行测试，得各个所述模型对应的重构误差；
    利用所述重构误差，对多个所述模型进行择优选择，得到所述目标模型。
  3. 根据权利要求2所述的时序数据处理方法，其中，利用所述重构误差，对多个所述模型进行择优选择，得到所述目标模型，包括：
    分别计算每一个所述模型的全部所述重构误差的平方和；
    将所述平方和最小的模型确定为所述目标模型。
  4. 根据权利要求1所述的时序数据处理方法，其中，所述按照多个不同的窗口大小，分别对时序数据进行分割，得到多个训练集，包括：
    获取窗口范围参数；
    利用所述窗口范围参数，生成多个不同的所述窗口大小；
    分别按照不同的所述窗口大小，对所述时序数据进行分割，得到多个所述训练集。
  5. 根据权利要求4所述的时序数据处理方法，其中，利用所述窗口范围参数，生成多个不同的所述窗口大小，包括：
    将所述窗口范围参数输入至网格搜索算法进行计算，得到多个不同的所述窗口大小。
  6. 根据权利要求1所述的时序数据处理方法，其中，将所述训练集分别输入至多个自编码器中进行训练，包括：
    将所述训练集输入至所述自编码器；
    利用所述自编码器中已训练好的特征提取网络对输入数据进行编码；
    利用所述自编码器中的LSTM网络对编码后数据进行解码；
    计算解码所得数据对应的损失值，并利用所述损失值调整模型。
  7. 根据权利要求6所述的时序数据处理方法，其中，利用所述自编码器中已训练好的特征提取网络对输入数据进行编码，包括：
    利用所述自编码器中训练好的残差网络，对所述输入数据进行编码。
  8. 根据权利要求6所述的时序数据处理方法，其中，利用所述自编码器中已训练好的特征提取网络对输入数据进行编码，包括：
    在所述时序数据为视频时序数据的情况下，利用所述自编码器中已训练好的CNN网络对所述输入数据进行特征提取，得到特征图，并对所述特征图进行降维，得到一维数据。
  9. 根据权利要求8所述的时序数据处理方法，其中，对所述特征图进行降维，得到一维数据，包括：
    利用全连接层对所述特征图进行转换，得到所述一维数据。
  10. 根据权利要求6所述的时序数据处理方法，其中，所述计算解码所得数据对应的损失值，并利用所述损失值调整模型，包括：
    利用所述输入数据和所述解码所得数据，计算各个指标的重构误差；
    将所述重构误差的平方和均值确定为所述损失值。
  11. 根据权利要求10所述的时序数据处理方法，其中，将所述重构误差的平方和均值确定为所述损失值，包括：
    在同时处理多个连续窗口的所述输入数据的情况下，分别计算每一个窗口数据的损失；
    将所有所述窗口数据的损失的均值确定为所述损失值。
  12. 根据权利要求1至11任一项所述的时序数据处理方法，其中，利用所述目标模型提取所述目标时序数据的目标特征，包括：
    按照所述目标模型对应的窗口大小，分割所述目标时序数据；
    将分割后得到的时序数据依次输入至所述目标模型中进行特征提取，得到所述目标特征。
  13. 一种时序数据处理装置，其中，包括：
    数据预处理模块，用于按照多个不同的窗口大小，分别对时序数据进行分割，得到多个训练集；
    模型训练模块，用于将所述训练集分别输入至多个自编码器中进行训练；其中，一个所述自编码器对应一个所述窗口大小；
    模型选择模块，用于训练完成后，对各个所述自编码器输出的模型进行择优选择，得到目标模型；
    特征提取模块，用于获取目标时序数据，并利用所述目标模型提取所述目标时序数据的目标特征。
  14. 一种电子设备，其中，包括：
    存储器，用于存储计算机程序；
    处理器，用于执行所述计算机程序时实现如权利要求1至12任一项所述时序数据处理方法的步骤。
  15. 一种非易失性可读存储介质，其中，所述非易失性可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至12任一项所述时序数据处理方法的步骤。
  16. 根据权利要求4所述的时序数据处理方法，其中，获取窗口范围参数，包括：通过接收用户输入的方式获取所述窗口范围参数。
  17. 根据权利要求4所述的时序数据处理方法，其中，分别按照不同的所述窗口大小，对所述时序数据进行分割，得到多个所述训练集，包括：
    设定窗口重叠参数，通过分割所述时序数据为每个所述窗口大小生成自己的训练数据集，其中，所述窗口重叠参数用于表征在按照所述窗口大小对所述时序数据进行分割的时候，相邻数据的可重叠程度。
  18. 根据权利要求6所述的时序数据处理方法，其中，利用所述自编码器中已训练好的特征提取网络对输入数据进行编码，包括：
    利用所述自编码器中训练好的VGG，对所述输入数据进行编码。
  19. 根据权利要求6所述的时序数据处理方法，其中，计算解码所得数据对应的损失值，包括：
    根据损失函数计算公式：
    计算解码所得数据对应的所述损失值，其中，是输入数据在第i个指标对应的所有维度值，经过自编码器模型后输出为wi是第i个窗口的大小，index代表指标，Indexi代表第i个指标，表示第j输入个样本，对应生成这个样本的窗口大小为wi；表示模型对第j个样本的处理后重构数据。
  20. 根据权利要求1至11任一项所述的时序数据处理方法，其中，在获取目标时序数据，并利用所述目标模型提取所述目标时序数据的目标特征之后，所述方法还包括：
    根据所述目标时序数据，对硬件设备进行以下至少之一：性能监控，异常检测，容量预测以及故障诊断，自然语言分析及理解，视频及语音模式分析及识别。
PCT/CN2023/095897 2022-11-02 2023-05-23 一种时序数据处理方法、装置、设备及非易失性可读存储介质 WO2024093207A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211361310.7 2022-11-02
CN202211361310.7A CN115422264B (zh) 2022-11-02 2022-11-02 一种时序数据处理方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
WO2024093207A1 true WO2024093207A1 (zh) 2024-05-10

Family

ID=84207989

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/095897 WO2024093207A1 (zh) 2022-11-02 2023-05-23 一种时序数据处理方法、装置、设备及非易失性可读存储介质

Country Status (2)

Country Link
CN (1) CN115422264B (zh)
WO (1) WO2024093207A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115422264B (zh) * 2022-11-02 2023-05-05 苏州浪潮智能科技有限公司 一种时序数据处理方法、装置、设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798018A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 行为预测方法、装置、存储介质及电子设备
CN112702329A (zh) * 2020-12-21 2021-04-23 四川虹微技术有限公司 一种流量数据异常检测方法、装置和存储介质
CN113837812A (zh) * 2021-10-09 2021-12-24 广东电力交易中心有限责任公司 节点电价联合概率预测方法及装置
CN113850916A (zh) * 2021-09-26 2021-12-28 浪潮电子信息产业股份有限公司 模型训练、点云缺失补全方法、装置、设备及介质
CN115422264A (zh) * 2022-11-02 2022-12-02 苏州浪潮智能科技有限公司 一种时序数据处理方法、装置、设备及可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157760A (zh) * 2020-01-22 2021-07-23 阿里巴巴集团控股有限公司 目标数据确定方法及装置
CN112461537B (zh) * 2020-10-16 2022-06-17 浙江工业大学 基于长短时神经网络与自动编码机的风电齿轮箱状态监测方法
CN113435124A (zh) * 2021-06-29 2021-09-24 北京工业大学 一种基于长短时记忆和径向基函数神经网络的水质时空关联预测方法
CN114492826A (zh) * 2021-11-22 2022-05-13 杭州电子科技大学 一种基于多元时序流数据的无监督异常检测分析解决方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798018A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 行为预测方法、装置、存储介质及电子设备
CN112702329A (zh) * 2020-12-21 2021-04-23 四川虹微技术有限公司 一种流量数据异常检测方法、装置和存储介质
CN113850916A (zh) * 2021-09-26 2021-12-28 浪潮电子信息产业股份有限公司 模型训练、点云缺失补全方法、装置、设备及介质
CN113837812A (zh) * 2021-10-09 2021-12-24 广东电力交易中心有限责任公司 节点电价联合概率预测方法及装置
CN115422264A (zh) * 2022-11-02 2022-12-02 苏州浪潮智能科技有限公司 一种时序数据处理方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN115422264B (zh) 2023-05-05
CN115422264A (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
CN109587713B (zh) 一种基于arima模型的网络指标预测方法、装置及存储介质
CN109344921B (zh) 一种基于深度神经网络模型的图像识别方法、装置及设备
WO2024093207A1 (zh) 一种时序数据处理方法、装置、设备及非易失性可读存储介质
CN110726898B (zh) 一种配电网故障类型识别方法
US20230326468A1 (en) Audio processing of missing audio information
CN112509583A (zh) 一种基于调度操作票系统的辅助监督方法及系统
CN113505610B (zh) 基于模型增强的语音翻译模型训练方法、系统及语音翻译方法和设备
Alacaoglu et al. Random extrapolation for primal-dual coordinate descent
CN111949707A (zh) 一种基于影场的隐马尔可夫模型的非侵入式负荷分解方法
CN114565149A (zh) 一种基于cga融合模型的时间序列数据预测方法、装置及计算机设备
CN113988156A (zh) 一种时间序列聚类方法、系统、设备以及介质
CN114357171A (zh) 一种应急事件处理方法、装置、存储介质及电子设备
CN110995375B (zh) 一种无线信道的衰落特征提取方法及提取装置
van Dijk et al. A skeleton-based approach to learning Bayesian networks from data
CN116630448A (zh) 基于窗口注意力的神经数据依赖变换的图像压缩方法
CN116934117A (zh) 一种碳排放峰值预测方法及系统
CN113257238B (zh) 预训练模型的训练方法、编码特征获取方法及相关装置
CN115661539A (zh) 一种嵌入不确定性信息的少样本图像识别方法
CN112199285B (zh) 一种测试案例优选方法、装置及电子设备
CN115358473A (zh) 基于深度学习的电力负荷预测方法及预测系统
US11797372B2 (en) Method and apparatus for generating time series data based on multi-condition constraints, and medium
CN116491115A (zh) 用于视频编码的具有反馈控制的速率控制机器学习模型
CN113158134A (zh) 非侵入式负荷辨识模型的构建方法、装置和存储介质
Dhondea et al. DFTS2: Simulating deep feature transmission over packet loss channels
CN113420165A (zh) 二分类模型的训练、多媒体数据的分类方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23884147

Country of ref document: EP

Kind code of ref document: A1