WO2023116111A1 - 一种磁盘故障预测方法及装置 - Google Patents

一种磁盘故障预测方法及装置 Download PDF

Info

Publication number
WO2023116111A1
WO2023116111A1 PCT/CN2022/122337 CN2022122337W WO2023116111A1 WO 2023116111 A1 WO2023116111 A1 WO 2023116111A1 CN 2022122337 W CN2022122337 W CN 2022122337W WO 2023116111 A1 WO2023116111 A1 WO 2023116111A1
Authority
WO
WIPO (PCT)
Prior art keywords
disk
failure prediction
index data
disks
information
Prior art date
Application number
PCT/CN2022/122337
Other languages
English (en)
French (fr)
Inventor
赵利强
Original Assignee
郑州云海信息技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 郑州云海信息技术有限公司 filed Critical 郑州云海信息技术有限公司
Publication of WO2023116111A1 publication Critical patent/WO2023116111A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present application relates to the field of storage, and in particular to a disk failure prediction method and device.
  • the present application provides a disk failure prediction method, including:
  • a deep neural network model including a feature network structure and a classification network structure; wherein, the feature network structure is used to extract the characteristic information of the disk based on the information of the disk; the classification network structure is used to determine whether the disk is faulty based on the characteristic information of the disk;
  • the deep neural network model is trained to obtain a trained disk failure prediction model
  • the information of the target disk to be predicted for failure is obtained, and the information of the target disk is input into the disk failure prediction model to obtain the failure prediction result of the target disk.
  • the failure information of the disk and the preset failure prediction lead time label the various index data of the disk one by one to indicate whether the index data is fault data
  • the invalid data in the various index data of the disk is erased, and Perform normalization processing on various index data of the disk after erasing processing, so as to combine various index data of the disk after normalization processing and their corresponding labels to form a training data set.
  • a deep neural network model including a feature network structure and a classification network structure
  • the deep neural network model is trained based on the training data set, and the trained deep neural network model is obtained;
  • construct a feature network structure sequentially composed of the first fully connected layer and multiple residual layers including:
  • F out is the output vector of the first fully connected layer
  • X is the input vector of the first fully connected layer
  • W is the network of the first fully connected layer Weight
  • b is the bias of the first fully connected layer
  • the deep neural network model is trained based on the training data set to obtain a trained deep neural network model, including:
  • the XGBoost classifier used to replace the second fully connected layer is trained to obtain a trained XGBoost classifier, including:
  • the disk failure prediction method further includes:
  • the structure parameters of the disk failure prediction model are adjusted according to the optimal structure parameters, so as to input the information of the target disk into the disk failure prediction model of the optimal structure.
  • the optimal structural parameters of the disk failure prediction model are learned according to a preset heuristic genetic algorithm, including:
  • the vector priority queue is a large root heap structure, and the order of the large root heap structure key is the false alarm rate score value corresponding to each parameter vector;
  • param new (param 1 +param 2 )/2 to obtain the disk failure prediction model in the parameter vector
  • param 1 and param 2 are two parameter vectors in each parameter vector pair;
  • the parameter vector with the smallest false alarm rate score is selected from the final vector priority queue as the optimal structural parameter.
  • the present application also provides a disk failure prediction device, including:
  • One or more processors configured to implement the steps of the disk failure prediction method provided by any of the above embodiments when executing the above computer-readable instructions.
  • the present application also provides a non-volatile computer-readable storage medium, on which computer-readable instructions are stored, and the computer-readable instructions are stored by one or more
  • the processor implements the steps of the disk failure prediction method provided in any one of the above embodiments when executing.
  • FIG. 1 is a flowchart of a disk failure prediction method provided by one or more embodiments of the present application
  • FIG. 2 is a schematic diagram of a feature network structure provided by one or more embodiments of the present application.
  • FIG. 3 is a schematic diagram of a disk failure prediction model provided by one or more embodiments of the present application.
  • FIG. 4 is a schematic diagram of a residual layer provided by one or more embodiments of the present application.
  • Fig. 5 is a diagram of variation probability of a variation with the number of iterations provided by one or more embodiments of the present application;
  • Fig. 6 is an internal structure diagram of a disk failure prediction device provided by the present application according to one or more embodiments.
  • the core of the present application is to provide a disk failure prediction method and device.
  • the disk failure prediction model can simultaneously predict failures of different types of disks, and has good versatility.
  • FIG. 1 is a flow chart of a disk failure prediction method provided by an embodiment of the present application.
  • the disk failure prediction method includes:
  • Step S1 Obtain the information of different types of disks, and construct a training data set based on the information of the disks.
  • the present application obtains the information of different types of disks, and constructs a training data set DataSet1 based on the information of different types of disks (used by training a deep neural network model for predicting disk failures)
  • Step S2 Construct a deep neural network model including a feature network structure and a classification network structure, and train the deep neural network model based on the training data set to obtain a trained disk failure prediction model.
  • the present application constructs a deep neural network model including a feature network structure and a classification network structure, wherein the feature network structure is used to extract the characteristic information of the disk based on the information of the disk; the classification network structure is used to determine the characteristics of the disk based on the characteristic information of the disk Whether it is faulty or not, that is, the information of a disk is input into the deep neural network model, and the deep neural network model can output the fault prediction result of this disk.
  • This application trains the deep neural network model based on the training data set DataSet1.
  • the purpose is to improve the accuracy of model prediction by training the deep neural network model, and finally obtain a disk failure prediction model with high accuracy.
  • Step S3 Obtain the information of the target disk to be predicted for failure, and input the information of the target disk into the disk failure prediction model to obtain the failure prediction result of the target disk.
  • the present application can obtain the information of the target disk to be fault predicted, and then input the information of the target disk to be fault predicted into the disk failure prediction model, and the target disk can be obtained failure prediction results.
  • the disk failure prediction model of the present application can predict the failure of different types of disks at the same time, and has good versatility.
  • the information of different types of disks is obtained, and the training data set is constructed based on the information of the disks, including:
  • the failure information of the disk and the preset failure prediction lead time label the various index data of the disk one by one to indicate whether the index data is fault data
  • the construction process of the training data set of the present application includes: 1) Obtaining various index data of different types of disks at different times (that is, SMART data information of different types of disks at different times, also available from Backblaze (cloud storage) ) open source disk data set to obtain index data), and obtain the failure information of different types of disks (you can know the date of disk failure); 2) according to the failure information of any type of disk and the preset failure prediction lead time, All kinds of index data of this type of disk are tagged to indicate whether the index data is fault data.
  • the failure prediction lead time is set to 14 days
  • all kinds of The index data is marked with a label (such as 1) indicating that the index data is fault data one by one, and the index data of the disks in the rest of the time is marked with a label (such as 0) indicating that the index data is normal data;
  • Various index data of time and their corresponding labels are combined to form the training data set DataSet 1 .
  • obtaining information of different types of disks and constructing a training data set based on the information of the disks also includes:
  • the invalid data in the various index data of the disk is erased, and Perform normalization processing on various index data of the disk after erasing processing, so as to combine various index data of the disk after normalization processing and their corresponding labels to form a training data set.
  • construct a deep neural network model that includes a feature network structure and a classification network structure; train the deep neural network model based on the training data set, and obtain a disk failure prediction model that has been trained, including:
  • the deep neural network model is trained based on the training data set, and the trained deep neural network model is obtained;
  • the construction process of the disk failure prediction model of the present application includes: 1) as shown in Figure 2, the construction consists of the first FC (Fully Connected, fully connected) layer and multiple RESNET (Residual Network, residual network) layers in sequence
  • the high-dimensional hidden features of different types of disks at different times and their corresponding labels are combined to form a new training data set DataSet2; 6) Based on the new training data set DataSet2, XGBoost (Extreme Gradient Boosting, extreme Gradient promotion) classifier is trained to obtain the trained XGBoost classifier; 7) The trained XGBoost classifier is replaced with the second FC layer in the trained deep neural network model, and the replaced deep neural network model is used as The disk failure prediction model, that is, the final disk failure prediction model is a feature network structure FeatureNet+XGBoost classifier (as shown in Figure 3), which is used for disk failure prediction.
  • FeatureNet+XGBoost feature network structure
  • constructing a feature network structure sequentially composed of the first fully connected layer and multiple residual layers including:
  • F out is the output vector of the first fully connected layer
  • X is the input vector of the first fully connected layer
  • W is the network of the first fully connected layer Weight
  • b is the bias of the first fully connected layer
  • the input of the first fully connected layer is the information of the target disk to be fault predicted; W is the network weight of the first fully connected layer; b is the bias of the first fully connected layer.
  • the deep neural network model is trained based on the training data set, and the trained deep neural network model is obtained, including:
  • the training process of the deep neural network model of the present application includes: 1) inputting various index data of the disk in the training data set DataSet 1 to the deep neural network model to obtain the failure prediction result of the disk; Substituting the labels corresponding to the prediction results and various index data of the disk into the preset loss calculation function (such as the CrossEntropy (cross-entropy) function) for loss calculation to obtain the first loss; 3)
  • the optimization goal is to reduce the first loss to 0 ( That is, the disk failure prediction result of the deep neural network model is as consistent as possible with the actual disk failure situation as the optimization goal), and the preset backpropagation algorithm is used to optimize and adjust the adjustable parameters of the neural network model until the training data set DataSet 1 All the training is completed on the neural network model, and the trained deep neural network model is obtained.
  • the XGBoost classifier used to replace the second fully connected layer is trained to obtain the trained XGBoost classifier, including:
  • the training process of the XGBoost classifier of the present application includes: 1) Input the high-dimensional hidden features of the disk in the new training data set DataSet2 to the XGBoost classifier to obtain the fault classification result of the disk; 2) The fault classification result of the disk The labels corresponding to the high-dimensional hidden features of the disk are substituted into the preset loss calculation function (such as the CrossEntropy function) for loss calculation to obtain the second loss; 3) The optimization goal is to reduce the second loss to 0 (that is, the The disk failure classification result is as consistent as possible with the actual disk failure situation as the optimization goal), using the preset backpropagation algorithm to optimize and adjust the adjustable parameters of the XGBoost classifier until the new training data set DataSet2 is fully trained on the XGBoost classifier Finished, get the trained XGBoost classifier.
  • the preset loss calculation function such as the CrossEntropy function
  • this application uses the deep neural network to extract the high-dimensional hidden features of various index data of the disk, and uses the XGBoost classifier to replace the fully connected classification layer of the deep neural network, while retaining the excellent feature extraction ability of the deep neural network, using A better function approximation tool constructs a better classifier, which greatly reduces the false alarm rate while ensuring a relatively high prediction accuracy.
  • the disk failure prediction method before inputting the information of the target disk into the disk failure prediction model, the disk failure prediction method further includes:
  • the optimal structural parameters of the disk failure prediction model are learned
  • the structure parameters of the disk failure prediction model are adjusted according to the optimal structure parameters, so as to input the information of the target disk into the disk failure prediction model of the optimal structure.
  • the present application can also learn the optimal structural parameters of the disk failure prediction model according to the preset heuristic genetic algorithm (such as learning the neurons of the first fully connected layer The number m, the number of layers L of the residual network, the batch size batch_size of model training, the number n of XGboost decision trees and the optimal parameter value of the maximum depth k of each decision tree), and adjust the disk failure prediction according to the optimal structural parameters
  • the structural parameters of the model are used to input the information of the target disk into the disk failure prediction model of the optimal structure for fault prediction.
  • the optimal structural parameters of the disk failure prediction model are learned according to a preset heuristic genetic algorithm, including:
  • the vector priority queue is a large root heap structure, and the order of the large root heap structure key is the false alarm rate score value corresponding to each parameter vector;
  • param new (param 1 +param 2 )/2 to obtain the disk failure prediction model in the parameter vector
  • param 1 and param 2 are two parameter vectors in each parameter vector pair;
  • the parameter vector with the smallest false alarm rate score is selected from the final vector priority queue as the optimal structural parameter.
  • the learning process of the optimal structural parameters of the disk failure prediction model of the present application includes: 1) Combining the structural parameters of the disk failure prediction model into a parameter vector, such as the number of neurons m in the first fully connected layer, the residual The number of layers L of the network, the batch size batch_size of model training, the number n of XGboost decision trees, and the maximum depth k of each decision tree are combined into a 5-dimensional parameter vector [m, L, batch_size, n, k], which is recorded as param , and randomly initialize the parameter vector param, and add the initialized parameter vector param to the preset vector priority queue queue queue; wherein, the vector priority queue queue is a big root heap structure (the big root heap is a complete binary tree), and the sort key of the big root heap structure (node key value) is the false alarm rate score value corresponding to each parameter vector; 2) Adjust the structural parameters (m, L, batch_size, n, k) of the disk failure prediction model according to the initialized parameter vector param to
  • this strategy solves the optimal model parameter search problem in disk failure prediction.
  • the heuristic genetic algorithm in this application optimizes the mutation and selection strategy, and the mutation probability decreases with the increase of the number of iterations, and Combined with the heuristic search method of the priority queue, it can quickly search for solutions in various dimensions and approach the optimal solution as fast as possible.
  • this application uses a deep neural network to learn a large number of samples of various index data features of the disk, mine the characteristics of each feature and the implicit correlation between different feature combinations, and extract higher-dimensional features, and then according to These features use the integrated tree model for fault prediction, and use the automatic learning strategy based on genetic algorithm to learn the optimal network structure, which greatly reduces the false alarm rate while maintaining a high recognition accuracy.
  • the deep learning-based disk failure prediction method of this application is applicable to cloud platforms, storage service providers, government data centers, and other operation and maintenance scenarios with large disk usage and a lot of data, and can perform fault analysis and analysis on complex disk data information. Prediction, discovering problematic disks in advance and making corresponding preparations and maintenance can improve the efficiency of operation and maintenance personnel, reduce operation and maintenance costs, and improve product competitiveness.
  • the present application also provides a disk failure prediction device, including:
  • One or more processors configured to implement the steps of the disk failure prediction method provided by any of the above embodiments when executing computer-readable instructions.
  • the internal structure diagram of the disk failure prediction device may be as shown in FIG. 6 .
  • the disk failure prediction device includes a processor, a memory, a network interface and a database connected through a system bus. Wherein, the processor of the disk failure prediction device is used to provide calculation and control capabilities.
  • the memory of the disk failure prediction device includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system, computer readable instructions and a database.
  • the internal memory provides an environment for the execution of the operating system and computer readable instructions in the non-volatile storage medium.
  • the database of the disk failure prediction device is used to store data such as disk information, and for specific stored data, please refer to the definitions in the foregoing method embodiments.
  • the network interface of the disk failure prediction device is used to communicate with external terminals through a network connection. When the computer-readable instructions are executed by the processor, a disk failure prediction method is realized.
  • FIG. 5 is only a block diagram of a part of the structure related to the solution of this application, and does not constitute a limitation on the disk failure prediction device to which the solution of this application is applied.
  • the specific disk The failure prediction device may include more or fewer components than shown in the figures, or combine certain components, or have a different arrangement of components.
  • the present application also provides a non-volatile computer-readable storage medium, where computer-readable instructions are stored on the non-volatile computer-readable storage medium, and when the computer-readable instructions are executed by one or more processors, the above-mentioned Steps of the disk failure prediction method provided by any embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种磁盘故障预测方法及装置，获取不同型号的磁盘的信息，并基于磁盘的信息构建训练数据集；构建包含特征网络结构和分类网络结构的深度神经网络模型；其中，特征网络结构用于基于磁盘的信息提取出磁盘的特征信息；分类网络结构用于基于磁盘的特征信息判定磁盘是否故障；基于训练数据集对深度神经网络模型进行训练，得到训练完成的磁盘故障预测模型；获取待故障预测的目标磁盘的信息，并将目标磁盘的信息输入至磁盘故障预测模型，得到目标磁盘的故障预测结果。

Description

一种磁盘故障预测方法及装置
相关申请的交叉引用
本申请要求于2021年12月22日提交中国专利局，申请号为202111582363.7，申请名称为“一种磁盘故障预测方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及存储领域，特别是涉及一种磁盘故障预测方法及装置。
背景技术
随着云计算、区块链等新兴技术的发展，对存储系统的需求越来越大。目前，在存储系统中，磁盘仍然是主流存储设备。现有方案中，通常采用S.M.A.R.T.(Self-Monitoring Analysis and Reporting Technology，自我监测、分析及报告技术)技术预测存储系统中的磁盘是否故障，其故障预测原理为：为磁盘的各类指标数据一一设定正常阈值区间，当磁盘出现正常阈值区间以外的指标值时，认为磁盘预出现故障。但是，发明人意识到，同一存储系统中磁盘型号可能不止一种，不同存储系统的磁盘型号也可能不同，而不同型号的磁盘的各类指标数据的分布并不相同，所以往往需要对不同型号的磁盘的各类指标数据设定不同的正常阈值区间，导致这种磁盘故障预测方式的通用性较差。
因此，如何提供一种解决上述技术问题的方案是本领域的技术人员目前需要解决的问题。
发明内容
为解决上述技术问题，本申请提供了一种磁盘故障预测方法，包括：
获取不同型号的磁盘的信息，并基于磁盘的信息构建训练数据集；
构建包含特征网络结构和分类网络结构的深度神经网络模型；其中，特征网络结构用于基于磁盘的信息提取出磁盘的特征信息；分类网络结构用于基于磁盘的特征信息判定磁盘是否故障；
基于训练数据集对深度神经网络模型进行训练，得到训练完成的磁盘故障预测模 型；及
获取待故障预测的目标磁盘的信息，并将目标磁盘的信息输入至磁盘故障预测模型，得到目标磁盘的故障预测结果。
可选地，获取不同型号的磁盘的信息，并基于磁盘的信息构建训练数据集，包括：
获取不同型号的磁盘在不同时间的各类指标数据，并获取磁盘的故障信息；
根据磁盘的故障信息及预设故障预测提前时间，对磁盘的各类指标数据一一打上表示指标数据是否为故障数据的标签；及
将磁盘的各类指标数据及其对应的标签组合起来，构成训练数据集。
可选地，获取不同型号的磁盘的信息，并基于磁盘的信息构建训练数据集，还包括：
在获取不同型号的磁盘在不同时间的各类指标数据之后，在将磁盘的各类指标数据及其对应的标签组合起来之前，对磁盘的各类指标数据中的无效数据进行擦除处理，并对擦除处理后的磁盘的各类指标数据进行归一化处理，以将归一化处理后的磁盘的各类指标数据及其对应的标签组合起来，构成训练数据集。
可选地，构建包含特征网络结构和分类网络结构的深度神经网络模型；基于训练数据集对深度神经网络模型进行训练，得到训练完成的磁盘故障预测模型，包括：
构建依次由第一全连接层和多个残差层组成的特征网络结构；其中，特征网络结构用于基于磁盘的各类指标数据提取出与指标数据一一对应的高维隐含特征；
构建由第二全连接层组成的分类网络结构；其中，分类网络结构的输出维度为2，分别对应故障和正常；
将构建好的特征网络结构和分类网络结构组合起来，得到深度神经网络模型；
基于训练数据集对深度神经网络模型进行训练，得到训练完成的深度神经网络模型；
将磁盘的高维隐含特征及其对应的标签组合起来，构成新训练数据集，并基于新训练数据集对用于替换第二全连接层的XGBoost分类器进行训练，得到训练完成的XGBoost分类器；及
将训练完成的XGBoost分类器替换训练完成的深度神经网络模型中的第二全连接层，并将替换后的深度神经网络模型作为磁盘故障预测模型。
可选地，构建依次由第一全连接层和多个残差层组成的特征网络结构，包括：
基于F out＝X*W+b构建第一全连接层；其中，F out为第一全连接层的输出向量；X为第一全连接层的输入向量；W为第一全连接层的网络权重；b为第一全连接层的偏置；
基于x a+1＝x a+F(x a,W a)、F(x a,W a)＝Relu(x a*W a)构建L个残差层；其中，x a+1为第a层残差层的输出；x a为第a层残差层的输入；F(x a,W a)为第a层的残差学习函数；Relu为激活函数，Relu(x)＝max(0,x)；1≤a≤L且a为整数；及
将构建好的第一全连接层和L个残差层组合起来，得到特征网络结构。
可选地，基于训练数据集对深度神经网络模型进行训练，得到训练完成的深度神经网络模型，包括：
将训练数据集内磁盘的各类指标数据输入至深度神经网络模型，得到磁盘的故障预测结果；
将磁盘的故障预测结果和磁盘的各类指标数据对应的标签代入预设损失计算函数进行损失计算，得到第一损失；及
以将第一损失降低至0为优化目标，利用预设反向传播算法对神经网络模型的可调参数进行优化调整，直至训练数据集全部在神经网络模型上训练完成，得到训练完成的深度神经网络模型。
可选地，基于新训练数据集对用于替换第二全连接层的XGBoost分类器进行训练，得到训练完成的XGBoost分类器，包括：
将新训练数据集内磁盘的各高维隐含特征输入至XGBoost分类器，得到磁盘的故障分类结果；
将磁盘的故障分类结果和磁盘的各高维隐含特征对应的标签代入预设损失计算函数进行损失计算，得到第二损失；及
以将第二损失降低至0为优化目标，利用预设反向传播算法对XGBoost分类器的可调参数进行优化调整，直至新训练数据集全部在XGBoost分类器上训练完成，得到训练完成的XGBoost分类器。
可选地，在将目标磁盘的信息输入至磁盘故障预测模型之前，磁盘故障预测方法还包括：
根据预设启发式遗传算法学习出磁盘故障预测模型的最优结构参数；及
按照最优结构参数调整磁盘故障预测模型的结构参数，以将目标磁盘的信息输入至最优结构的磁盘故障预测模型。
可选地，根据预设启发式遗传算法学习出磁盘故障预测模型的最优结构参数，包括：
将磁盘故障预测模型的结构参数组合成一个参数向量，并随机初始化参数向量，且将初始化后的参数向量添加至预设向量优先队列；其中，向量优先队列为大根堆结构， 大根堆结构的排序key为每个参数向量对应的误报率得分值；
按照初始化后的参数向量调整磁盘故障预测模型的结构参数，以得到磁盘故障预测模型在当前结构参数下的误报率得分值，并返回执行随机初始化参数向量的步骤，直至初始化次数到达预设次数阈值；
从向量优先队列中随机选择预设第一数量的参数向量对，并将每个参数向量对按照param new＝(param 1+param 2)/2进行交叉运算，以得到磁盘故障预测模型在参数向量param new下的新误报率得分值；其中，param 1和param 2为每个参数向量对中的两个参数向量；
将新误报率得分值和向量优先队列当前对应的误报率得分值一起从小到大排序，只将排序在前的预设第二数量的参数向量保留在向量优先队列中；
遍历向量优先队列中的所有参数向量，并基于变异概率p＝e iteration/3将每个参数向量param按照param var＝param+rand*step进行变异，以得到磁盘故障预测模型在参数向量param var下的变异误报率得分值；其中，iteration为迭代次数；step为各参数向量的变异基本单位；rand为每次变异过程中产生的随机数；
将变异误报率得分值和向量优先队列当前对应的误报率得分值一起从小到大排序，只将排序在前的预设第二数量的参数向量保留在向量优先队列中，并返回执行从向量优先队列中随机选择预设第一数量的参数向量对的步骤进入下一次迭代，直至迭代次数到达预设迭代次数阈值；及
在所有迭代结束后，从最终得到的向量优先队列中选择误报率得分值最小的参数向量作为最优结构参数。
为解决上述技术问题，本申请还提供了一种磁盘故障预测装置，包括：
存储器，用于存储计算机可读指令；及
一个或多个处理器，用于在执行上述计算机可读指令时实现上述任一实施例提供的磁盘故障预测方法的步骤。
为解决上述技术问题，本申请还提供了一种非易失性计算机可读存储介质，该非易失性计算机可读存储介质上存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时实现上述任一实施例提供的磁盘故障预测方法的步骤。
本申请的一个或多个实施例的细节在下面的附图和描述中提出。本申请的其它特征和优点将从说明书、附图以及权利要求书变得明显。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一个或多个实施例提供的一种磁盘故障预测方法的流程图；
图2为本申请一个或多个实施例提供的一种特征网络结构的原理图；
图3为本申请一个或多个实施例提供的一种磁盘故障预测模型的原理图；
图4为本申请一个或多个实施例提供的一种残差层的原理图；
图5为本申请一个或多个实施例提供的一种变异概率随迭代次数的变化图；
图6为本申请根据一个或多个实施例提供的磁盘故障预测装置的内部结构图。
具体实施方式
本申请的核心是提供一种磁盘故障预测方法及装置，磁盘故障预测模型可同时对不同型号的磁盘进行故障预测，通用性较好。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参照图1，图1为本申请实施例提供的一种磁盘故障预测方法的流程图。
该磁盘故障预测方法包括：
步骤S1：获取不同型号的磁盘的信息，并基于磁盘的信息构建训练数据集。
具体地，本申请获取不同型号的磁盘的信息，以基于不同型号的磁盘的信息构建训练数据集DataSet1(训练用于预测磁盘故障的深度神经网络模型使用)
步骤S2：构建包含特征网络结构和分类网络结构的深度神经网络模型，并基于训练数据集对深度神经网络模型进行训练，得到训练完成的磁盘故障预测模型。
具体地，本申请构建包含特征网络结构和分类网络结构的深度神经网络模型，其中，特征网络结构用于基于磁盘的信息提取出磁盘的特征信息；分类网络结构用于基于磁盘的特征信息判定磁盘是否故障，即将一磁盘的信息输入至深度神经网络模型，深度神经网络模型可输出此磁盘的故障预测结果。
本申请基于训练数据集DataSet1对深度神经网络模型进行训练，目的是通过训练深 度神经网络模型来提高模型预测的精准度，最终得到精准度较高的磁盘故障预测模型。
步骤S3：获取待故障预测的目标磁盘的信息，并将目标磁盘的信息输入至磁盘故障预测模型，得到目标磁盘的故障预测结果。
具体地，在得到精准度较高的磁盘故障预测模型之后，本申请可获取待故障预测的目标磁盘的信息，然后将待故障预测的目标磁盘的信息输入至磁盘故障预测模型，可得到目标磁盘的故障预测结果。
可见，本申请的磁盘故障预测模型可同时对不同型号的磁盘进行故障预测，通用性较好。
在上述实施例的基础上：
作为一种可选的实施例，获取不同型号的磁盘的信息，并基于磁盘的信息构建训练数据集，包括：
获取不同型号的磁盘在不同时间的各类指标数据，并获取磁盘的故障信息；
根据磁盘的故障信息及预设故障预测提前时间，对磁盘的各类指标数据一一打上表示指标数据是否为故障数据的标签；
将磁盘的各类指标数据及其对应的标签组合起来，构成训练数据集。
具体地，本申请的训练数据集的构建过程包括：1)获取不同型号的磁盘在不同时间的各类指标数据(即不同型号的磁盘在不同时间的S.M.A.R.T.数据信息，也可从Backblaze(云存储)开源磁盘数据集中获取指标数据)，并获取不同型号的磁盘的故障信息(可以此得知磁盘的故障发生日)；2)根据任一型号的磁盘的故障信息及预设故障预测提前时间，对此型号的磁盘的各类指标数据一一打上表示指标数据是否为故障数据的标签，比如，故障预测提前时间设置为14天，则将故障发生日及之前的总共14天的磁盘的各类指标数据一一打上表示指标数据为故障数据的标签(如1)，其余时间的磁盘的指标数据一一打上表示指标数据为正常数据的标签(如0)；3)将不同型号的磁盘在不同时间的各类指标数据及其对应的标签组合起来，构成训练数据集DataSet 1。
作为一种可选的实施例，获取不同型号的磁盘的信息，并基于磁盘的信息构建训练数据集，还包括：
在获取不同型号的磁盘在不同时间的各类指标数据之后，在将磁盘的各类指标数据及其对应的标签组合起来之前，对磁盘的各类指标数据中的无效数据进行擦除处理，并对擦除处理后的磁盘的各类指标数据进行归一化处理，以将归一化处理后的磁盘的各类指标数据及其对应的标签组合起来，构成训练数据集。
进一步地，本申请在获取不同型号的磁盘在不同时间的各类指标数据之后，还可对 不同型号的磁盘的各类指标数据中的无效数据进行擦除处理，以避免无效数据影响模型训练；然后对擦除处理后的不同型号的磁盘的各类指标数据按照x＝(x i-x min)/(x max-x min)进行归一化处理，以方便后续的数据处理，其中，x i为待归一化处理的指标数据；x max为待归一化处理的指标数据的最大指标值；x min为待归一化处理的指标数据的最小指标值；x为待归一化处理的指标数据的归一化处理结果；最后将归一化处理后的不同型号的磁盘在不同时间的各类指标数据及其对应的标签组合起来，构成训练数据集DataSet 1。
作为一种可选的实施例，构建包含特征网络结构和分类网络结构的深度神经网络模型；基于训练数据集对深度神经网络模型进行训练，得到训练完成的磁盘故障预测模型，包括：
构建依次由第一全连接层和多个残差层组成的特征网络结构；其中，特征网络结构用于基于磁盘的各类指标数据提取出与指标数据一一对应的高维隐含特征；
构建由第二全连接层组成的分类网络结构；其中，分类网络结构的输出维度为2，分别对应故障和正常；
将构建好的特征网络结构和分类网络结构组合起来，得到深度神经网络模型；
基于训练数据集对深度神经网络模型进行训练，得到训练完成的深度神经网络模型；
将磁盘的高维隐含特征及其对应的标签组合起来，构成新训练数据集，并基于新训练数据集对用于替换第二全连接层的XGBoost分类器进行训练，得到训练完成的XGBoost分类器；
将训练完成的XGBoost分类器替换训练完成的深度神经网络模型中的第二全连接层，并将替换后的深度神经网络模型作为磁盘故障预测模型。
具体地，本申请的磁盘故障预测模型的构建过程包括：1)如图2所示，构建依次由第一FC(Fully Connected，全连接)层和多个RESNET(Residual Network，残差网络)层组成的特征网络结构FeatureNet；其中，特征网络结构用于基于磁盘的各类指标数据x提取出与磁盘的各类指标数据x一一对应的高维隐含特征featureh，即featureh＝x·FeatureNet；2)构建由第二FC层组成的分类网络结构ClassifierNet，即分类网络结构的输出out＝featureh·ClassifierNet；需要说明的是，分类网络结构的输出out部分需要对ClassifierNet的输出做softmax(用于多分类的函数)处理，输出out的维度为2，分别对应故障(1)和正常(0)；3)将构建好的特征网络结构(第一FC层+多个RESNET层)和分类网络结构(第二FC层)组合起来，得到深度神经网络模型；4)基于训练数据集DataSet1对深度神经网络模型进行训练，得到训练完成的深度神经网络模型；5)不 同类型的磁盘在不同时间的各类指标数据有一一对应的标签，不同类型的磁盘在不同时间的各类指标数据有一一对应的高维隐含特征，则不同类型的磁盘在不同时间的各高维隐含特征也一一对应着标签，将不同类型的磁盘在不同时间的各高维隐含特征及其对应的标签组合起来，构成新训练数据集DataSet2；6)基于新训练数据集DataSet2对用于替换第二FC层的XGBoost(Extreme Gradient Boosting，极致梯度提升)分类器进行训练，得到训练完成的XGBoost分类器；7)将训练完成的XGBoost分类器替换训练完成的深度神经网络模型中的第二FC层，并将替换后的深度神经网络模型作为磁盘故障预测模型，即最终的磁盘故障预测模型为特征网络结构FeatureNet+XGBoost分类器(如图3所示)，用于磁盘故障预测使用。
作为一种可选的实施例，构建依次由第一全连接层和多个残差层组成的特征网络结构，包括：
基于F out＝X*W+b构建第一全连接层；其中，F out为第一全连接层的输出向量；X为第一全连接层的输入向量；W为第一全连接层的网络权重；b为第一全连接层的偏置；
基于x a+1＝x a+F(x a,W a)、F(x a,W a)＝Relu(x a*W a)构建L个残差层；其中，x a+1为第a层残差层的输出；x a为第a层残差层的输入；F(x a,W a)为第a层的残差学习函数；Relu为激活函数，Relu(x)＝max(0,x)；1≤a≤L且a为整数；
将构建好的第一全连接层和L个残差层组合起来，得到特征网络结构。
具体地，本申请的特征网络结构的构建过程包括：1)基于F out＝X*W+b构建第一全连接层，全连接层的作用是将向量映射到另一空间，增加模型复杂性，提高拟合度；其中，F out为第一全连接层的输出向量，即第一层残差层的输入向量；X为第一全连接层的输入向量，模型训练时第一全连接层输入的是训练数据集DataSet 1，模型正式使用时第一全连接层输入的是待故障预测的目标磁盘的信息；W为第一全连接层的网络权重；b为第一全连接层的偏置；2)如图4所示，基于x a+1＝x a+F(x a,W a)、F(x a,W a)＝Relu(x a*W a)构建L个残差层；其中，x a+1为第a层残差层的输出，即第a+1层残差层的输入；x a为第a层残差层的输入；F(x a,W a)为第a层的残差学习函数；Relu为激活函数，Relu(x)＝max(0,x)；3)将构建好的第一全连接层和L个残差层组合起来，得到特征网络结构(最后一层残差层ResnetL的输出为输入的磁盘的各类指标数据的高维隐含特征表示，记为feature h)。
作为一种可选的实施例，基于训练数据集对深度神经网络模型进行训练，得到训练完成的深度神经网络模型，包括：
将训练数据集内磁盘的各类指标数据输入至深度神经网络模型，得到磁盘的故障预测结果；
将磁盘的故障预测结果和磁盘的各类指标数据对应的标签代入预设损失计算函数进行损失计算，得到第一损失；
以将第一损失降低至0为优化目标，利用预设反向传播算法对神经网络模型的可调参数进行优化调整，直至训练数据集全部在神经网络模型上训练完成，得到训练完成的深度神经网络模型。
具体地，本申请的深度神经网络模型的训练过程包括：1)将训练数据集DataSet 1内磁盘的各类指标数据输入至深度神经网络模型，得到磁盘的故障预测结果；2)将磁盘的故障预测结果和磁盘的各类指标数据对应的标签代入预设损失计算函数(如CrossEntropy(交叉熵)函数)进行损失计算，得到第一损失；3)以将第一损失降低至0为优化目标(即以深度神经网络模型的磁盘故障预测结果与磁盘的实际故障情况尽可能一致为优化目标)，利用预设反向传播算法对神经网络模型的可调参数进行优化调整，直至训练数据集DataSet 1全部在神经网络模型上训练完成，得到训练完成的深度神经网络模型。
作为一种可选的实施例，基于新训练数据集对用于替换第二全连接层的XGBoost分类器进行训练，得到训练完成的XGBoost分类器，包括：
将新训练数据集内磁盘的各高维隐含特征输入至XGBoost分类器，得到磁盘的故障分类结果；
将磁盘的故障分类结果和磁盘的各高维隐含特征对应的标签代入预设损失计算函数进行损失计算，得到第二损失；
以将第二损失降低至0为优化目标，利用预设反向传播算法对XGBoost分类器的可调参数进行优化调整，直至新训练数据集全部在XGBoost分类器上训练完成，得到训练完成的XGBoost分类器。
具体地，本申请的XGBoost分类器的训练过程包括：1)将新训练数据集DataSet2内磁盘的各高维隐含特征输入至XGBoost分类器，得到磁盘的故障分类结果；2)将磁盘的故障分类结果和磁盘的各高维隐含特征对应的标签代入预设损失计算函数(如CrossEntropy函数)进行损失计算，得到第二损失；3)以将第二损失降低至0为优化目标(即以XGBoost分类器的磁盘故障分类结果与磁盘的实际故障情况尽可能一致为优化目标)，利用预设反向传播算法对XGBoost分类器的可调参数进行优化调整，直至新训练数据集DataSet2全部在XGBoost分类器上训练完成，得到训练完成的XGBoost分类器。
可见，本申请使用深度神经网络提取磁盘的各类指标数据的高维隐含特征，并使用XGBoost分类器替换掉深度神经网络的全连接分类层，在保留深度神经网络优秀的特征 提取能力的同时，使用更优秀的函数逼近工具构造更好的分类器，在保证比较高的预测准确率的同时，大幅度降低了故障误报率。
作为一种可选的实施例，在将目标磁盘的信息输入至磁盘故障预测模型之前，磁盘故障预测方法还包括：
根据预设启发式遗传算法学习出磁盘故障预测模型的最优结构参数；
按照最优结构参数调整磁盘故障预测模型的结构参数，以将目标磁盘的信息输入至最优结构的磁盘故障预测模型。
进一步地，本申请在将目标磁盘的信息输入至磁盘故障预测模型之前，还可根据预设启发式遗传算法学习出磁盘故障预测模型的最优结构参数(如学习第一全连接层的神经元数量m、残差网络的层数L、模型训练的批量大小batch_size、XGboost决策树的数量n及每棵决策树的最大深度k的最优参数值)，并按照最优结构参数调整磁盘故障预测模型的结构参数，以将目标磁盘的信息输入至最优结构的磁盘故障预测模型进行故障预测。
作为一种可选的实施例，根据预设启发式遗传算法学习出磁盘故障预测模型的最优结构参数，包括：
将磁盘故障预测模型的结构参数组合成一个参数向量，并随机初始化参数向量，且将初始化后的参数向量添加至预设向量优先队列；其中，向量优先队列为大根堆结构，大根堆结构的排序key为每个参数向量对应的误报率得分值；
按照初始化后的参数向量调整磁盘故障预测模型的结构参数，以得到磁盘故障预测模型在当前结构参数下的误报率得分值，并返回执行随机初始化参数向量的步骤，直至初始化次数到达预设次数阈值；
从向量优先队列中随机选择预设第一数量的参数向量对，并将每个参数向量对按照param new＝(param 1+param 2)/2进行交叉运算，以得到磁盘故障预测模型在参数向量param new下的新误报率得分值；其中，param 1和param 2为每个参数向量对中的两个参数向量；
将新误报率得分值和向量优先队列当前对应的误报率得分值一起从小到大排序，只将排序在前的预设第二数量的参数向量保留在向量优先队列中；
遍历向量优先队列中的所有参数向量，并基于变异概率p＝e iteration/3将每个参数向量param按照param var＝param+rand*step进行变异，以得到磁盘故障预测模型在参数向量param var下的变异误报率得分值；其中，iteration为迭代次数；step为各参数向量的变异基本单位；rand为每次变异过程中产生的随机数；
将变异误报率得分值和向量优先队列当前对应的误报率得分值一起从小到大排序，只将排序在前的预设第二数量的参数向量保留在向量优先队列中，并返回执行从向量优先队列中随机选择预设第一数量的参数向量对的步骤进入下一次迭代，直至迭代次数到达预设迭代次数阈值；
在所有迭代结束后，从最终得到的向量优先队列中选择误报率得分值最小的参数向量作为最优结构参数。
具体地，本申请的磁盘故障预测模型的最优结构参数的学习过程包括：1)将磁盘故障预测模型的结构参数组合成一个参数向量，如第一全连接层的神经元数量m、残差网络的层数L、模型训练的批量大小batch_size、XGboost决策树的数量n及每棵决策树的最大深度k组合成一个5维参数向量[m,L,batch_size,n,k]，记为param，并随机初始化参数向量param，且将初始化后的参数向量param添加至预设向量优先队列queue；其中，向量优先队列queue为大根堆结构(大根堆是一个完全二叉树)，大根堆结构的排序key(节点键值)为每个参数向量对应的误报率得分值；2)按照初始化后的参数向量param调整磁盘故障预测模型的结构参数(m、L、batch_size、n、k)，以得到磁盘故障预测模型在当前结构参数下的误报率得分值，并返回执行随机初始化参数向量param的步骤，直至初始化次数到达预设次数阈值(如10次)；3)从向量优先队列queue中随机选择(2*预设第一数量)个参数向量，并将(2*预设第一数量)个参数向量两两组成一队，得到预设第一数量(如20)的参数向量对，并将每个参数向量对按照param new＝(param 1+param 2)/2进行交叉运算，以得到磁盘故障预测模型在每个参数向量param new下的新误报率得分值；其中，param 1和param 2为每个参数向量对中的两个参数向量；4)将第一数量的新误报率得分值和向量优先队列当前对应的误报率得分值一起从小到大排序，只将排序在前的预设第二数量(如20)的参数向量param保留在向量优先队列queue中，即只保留前20个误报率得分值最小的参数向量param，其它参数向量param做自然选择丢弃；5)遍历向量优先队列queue中的所有参数向量param，并基于变异概率p＝e iteration/3将每个参数向量param按照param var＝param+rand*step进行变异，以得到磁盘故障预测模型在每个参数向量param var下的变异误报率得分值；其中，iteration为迭代次数，p为变异概率，二者的关系图如图5所示，迭代次数越多，变异概率越小；step为各参数向量的变异基本单位，如step＝[10,1,16,5,1]，第一全连接层的神经元数量m的变异基本单位为10，其余变量同理；rand为每次变异过程中产生的随机数，可从[-10,10]之间产生；6)将各变异误报率得分值和向量优先队列当前对应的误报率得分值一起从小到大排序，只将排序在前的预设第二数量的参数向量保留在向量优先队列中，即 只保留前20个误报率得分值最小的参数向量param，其它参数向量param做自然选择丢弃，并返回执行步骤3)进入下一次迭代，直至迭代次数到达预设迭代次数阈值；7)在所有迭代结束后，从最终得到的向量优先队列中选择误报率得分值最小的参数向量作为最优结构参数。
可见，该策略解决了磁盘故障预测中最优模型参数搜索问题，相比于经典遗传算法，本申请中的启发式遗传算法优化了变异和选择策略，变异概率随迭代次数的增加而降低，且结合了优先队列的启发式搜索方法，可以迅速在各个维度搜索解，并以尽可能快的速度逼近最优解。
综上，本申请通过深度神经网络对磁盘的各类指标数据特征进行大量样本的学习，挖掘每个特征的特点及不同特征组合间隐含的相关性，提取出更加高维的特征，然后根据这些特征使用集成树模型进行故障预测，并使用基于遗传算法的自动学习策略学习最佳网络结构，在保持较高识别准确率的基础上，大幅降低了误报率。本申请的基于深度学习的磁盘故障预测方法适用于云平台、存储服务提供商、政府数据中心等磁盘使用量较大、数据较多的运维场景，可以对庞杂的磁盘数据信息进行故障分析和预测，提前发现有问题的磁盘并做好相应的准备和维护，由此可以提升运维人员的效率，降低运维成本，进而提升产品竞争力。
本申请还提供了一种磁盘故障预测装置，包括：
存储器，用于存储计算机可读指令；
一个或多个处理器，用于在执行计算机可读指令时实现上述任一实施例提供的磁盘故障预测方法的步骤。
本申请提供的磁盘故障预测装置的介绍请参考上述磁盘故障预测方法的实施例，本申请在此不再赘述。
在一些实施例中，磁盘故障预测装置的内部结构图可以如图6所示。该磁盘故障预测装置包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该磁盘故障预测装置的处理器用于提供计算和控制能力。该磁盘故障预测装置的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该磁盘故障预测装置的数据库用于存储诸如磁盘的信息等数据，具体存储的数据还可以参见上述方法实施例中的限定。该磁盘故障预测装置的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种磁盘故障预测方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结 构的框图，并不构成对本申请方案所应用于其上的磁盘故障预测装置的限定，具体的磁盘故障预测装置可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本申请还提供了一种非易失性计算机可读存储介质，该非易失性计算机可读存储介质上存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时实现上述任一实施例提供的磁盘故障预测方法的步骤。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其他实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (20)

  1. 一种磁盘故障预测方法，其特征在于，包括：
    获取不同型号的磁盘的信息，并基于所述磁盘的信息构建训练数据集；
    构建包含特征网络结构和分类网络结构的深度神经网络模型；其中，所述特征网络结构用于基于磁盘的信息提取出所述磁盘的特征信息；所述分类网络结构用于基于所述磁盘的特征信息判定所述磁盘是否故障；
    基于所述训练数据集对所述深度神经网络模型进行训练，得到训练完成的磁盘故障预测模型；及
    获取待故障预测的目标磁盘的信息，并将所述目标磁盘的信息输入至所述磁盘故障预测模型，得到所述目标磁盘的故障预测结果。
  2. 如权利要求1所述的磁盘故障预测方法，其特征在于，获取不同型号的磁盘的信息，并基于所述磁盘的信息构建训练数据集，包括：
    获取不同型号的磁盘在不同时间的各类指标数据，并获取所述磁盘的故障信息；
    根据所述磁盘的故障信息及预设故障预测提前时间，对所述磁盘的各类指标数据一一打上表示指标数据是否为故障数据的标签；及
    将所述磁盘的各类指标数据及其对应的标签组合起来，构成所述训练数据集。
  3. 如权利要求2所述的磁盘故障预测方法，其特征在于，获取不同型号的磁盘的信息，并基于所述磁盘的信息构建训练数据集，还包括：
    在获取不同型号的磁盘在不同时间的各类指标数据之后，在将所述磁盘的各类指标数据及其对应的标签组合起来之前，对所述磁盘的各类指标数据中的无效数据进行擦除处理，并对擦除处理后的所述磁盘的各类指标数据进行归一化处理，以将归一化处理后的所述磁盘的各类指标数据及其对应的标签组合起来，构成所述训练数据集。
  4. 如权利要求2所述的磁盘故障预测方法，其特征在于，构建包含特征网络结构和分类网络结构的深度神经网络模型，包括：
    构建依次由第一全连接层和多个残差层组成的特征网络结构；其中，所述特征网络结构用于基于所述磁盘的各类指标数据提取出与指标数据一一对应的高维隐含特征；
    构建由第二全连接层组成的分类网络结构；其中，所述分类网络结构的输出维度为2，分别对应故障和正常；
    将构建好的所述特征网络结构和所述分类网络结构组合起来，得到深度神经网络模型。
  5. 如权利要求4所述的磁盘故障预测方法，其特征在于，基于所述训练数据集对所述深度神经网络模型进行训练，得到训练完成的磁盘故障预测模型，包括：
    基于所述训练数据集对所述深度神经网络模型进行训练，得到训练完成的深度神经网络模型；
    将所述磁盘的高维隐含特征及其对应的标签组合起来，构成新训练数据集，并基于所述新训练数据集对用于替换所述第二全连接层的XGBoost分类器进行训练，得到训练完成的XGBoost分类器；及
    将训练完成的所述XGBoost分类器替换训练完成的所述深度神经网络模型中的第二全连接层，并将替换后的深度神经网络模型作为所述磁盘故障预测模型。
  6. 如权利要求4所述的磁盘故障预测方法，其特征在于，构建依次由第一全连接层和多个残差层组成的特征网络结构，包括：
    基于F out＝X*W+b构建第一全连接层；其中，F out为所述第一全连接层的输出向量；X为所述第一全连接层的输入向量；W为所述第一全连接层的网络权重；b为所述第一全连接层的偏置；
    基于x a+1＝x a+F(x a,W a)、F(x a,W a)＝Relu(x a*W a)构建L个残差层；其中，x a+1为第a层残差层的输出；x a为第a层残差层的输入；F(x a,W a)为第a层的残差学习函数；Relu为激活函数，Relu(x)＝max(0,x)；1≤a≤L且a为整数；及
    将构建好的所述第一全连接层和L个所述残差层组合起来，得到所述特征网络结构。
  7. 如权利要求5所述的磁盘故障预测方法，其特征在于，基于所述训练数据集对所述深度神经网络模型进行训练，得到训练完成的深度神经网络模型，包括：
    将所述训练数据集内磁盘的各类指标数据输入至所述深度神经网络模型，得到所述磁盘的故障预测结果；
    将所述磁盘的故障预测结果和所述磁盘的各类指标数据对应的标签代入预设损失计算函数进行损失计算，得到第一损失；及
    以将所述第一损失降低至0为优化目标，利用预设反向传播算法对所述神经网络模型的可调参数进行优化调整，直至所述训练数据集全部在所述神经网络模型上训练完成，得到训练完成的深度神经网络模型。
  8. 如权利要求5所述的磁盘故障预测方法，其特征在于，基于所述新训练数据集对用于替换所述第二全连接层的XGBoost分类器进行训练，得到训练完成的XGBoost分类器，包括：
    将所述新训练数据集内磁盘的各高维隐含特征输入至所述XGBoost分类器，得到所述磁盘的故障分类结果；
    将所述磁盘的故障分类结果和所述磁盘的各高维隐含特征对应的标签代入预设损失计算函数进行损失计算，得到第二损失；及
    以将所述第二损失降低至0为优化目标，利用预设反向传播算法对所述XGBoost分类器的可调参数进行优化调整，直至所述新训练数据集全部在所述XGBoost分类器上训练完成，得到训练完成的XGBoost分类器。
  9. 如权利要求1-8任一项所述的磁盘故障预测方法，其特征在于，在将所述目标磁盘的信息输入至所述磁盘故障预测模型之前，所述磁盘故障预测方法还包括：
    根据预设启发式遗传算法学习出所述磁盘故障预测模型的最优结构参数；及
    按照所述最优结构参数调整所述磁盘故障预测模型的结构参数，以将所述目标磁盘的信息输入至最优结构的所述磁盘故障预测模型。
  10. 如权利要求9所述的磁盘故障预测方法，其特征在于，根据预设启发式遗传算法学习出所述磁盘故障预测模型的最优结构参数，包括：
    将所述磁盘故障预测模型的结构参数组合成一个参数向量，并随机初始化所述参数向量，且将初始化后的所述参数向量添加至预设向量优先队列；其中，所述向量优先队列为大根堆结构，所述大根堆结构的排序key为每个所述参数向量对应的误报率得分值；
    按照初始化后的所述参数向量调整所述磁盘故障预测模型的结构参数，以得到所述磁盘故障预测模型在当前结构参数下的误报率得分值，并返回执行随机初始化所述参数向量的步骤，直至初始化次数到达预设次数阈值；
    从所述向量优先队列中随机选择预设第一数量的参数向量对，并将每个所述参数向量对按照param new＝(param 1+param 2)/2进行交叉运算，以得到所述磁盘故障预测模型在参数向量param new下的新误报率得分值；其中，param 1和param 2为每个所述参数向量对中的两个参数向量；
    将所述新误报率得分值和所述向量优先队列当前对应的误报率得分值一起从小到大排序，只将排序在前的预设第二数量的参数向量保留在所述向量优先队列中；
    遍历所述向量优先队列中的所有参数向量，并基于变异概率p＝e iteration/3将每个所述参数向量param按照param var＝param+rand*step进行变异，以得到所述磁盘故障预测模型在参数向量param var下的变异误报率得分值；其中，iteration为迭代次数；step为各参数向量的变异基本单位；rand为每次变异过程中产生的随机数；
    将所述变异误报率得分值和所述向量优先队列当前对应的误报率得分值一起从小到大排序，只将排序在前的预设第二数量的参数向量保留在所述向量优先队列中，并返回执行从所述向量优先队列中随机选择预设第一数量的参数向量对的步骤进入下一次迭代，直至迭代次数到达预设迭代次数阈值；及
    在所有迭代结束后，从最终得到的所述向量优先队列中选择误报率得分值最小的参数向量作为所述最优结构参数。
  11. 如权利要求2所述的磁盘故障预测方法，其特征在于，获取不同型号的磁盘在不同时间的各类指标数据，包括：
    获取不同型号的磁盘在不同时间的S.M.A.R.T.数据信息作为所述各类指标数据。
  12. 如权利要求2所述的磁盘故障预测方法，其特征在于，获取不同型号的磁盘在不同时间的各类指标数据，包括：
    从Backblaze开源磁盘数据集中获取指标数据。
  13. 如权利要求2所述的磁盘故障预测方法，其特征在于，获取不同型号的磁盘在不同时间的各类指标数据，包括：
    获取不同型号的磁盘在不同时间的S.M.A.R.T.数据信息，以及从Backblaze开源磁盘数据集中获取指标数据。
  14. 如权利要求2所述的磁盘故障预测方法，其特征在于，根据所述磁盘的故障信息及预设故障预测提前时间，对所述磁盘的各类指标数据一一打上表示指标数据是否为故障数据的标签，包括：
    对所述磁盘的各类指标数据中的处于故障发生日至所述预设故障预测提前时间期间的指标数据打上表示指标数据为故障数据的标签，以及为不处于故障发生日至所述预设故障预测提前时间期间的指标数据打上表示指标数据为正常数据的标签。
  15. 如权利要求14所述的磁盘故障预测方法，其特征在于，所述表示指标数据为故障数据的标签为1，所述表示指标数据为正常数据的标签为0。
  16. 如权利要求3所述的磁盘故障预测方法，其特征在于，对擦除处理后的所述磁盘的各类指标数据进行归一化处理，包括：
    对擦除处理后的不同型号的磁盘的各类指标数据按照x＝(x i-x min)/(x max-x min)进行归一化处理；其中，x i为待归一化处理的指标数据；x max为待归一化处理的指标数据的最大指标值；x min为待归一化处理的指标数据的最小指标值；x为待归一化处理的指标数据的归一化处理结果。
  17. 如权利要求4所述的磁盘故障预测方法，其特征在于，所述特征网络结构用于 基于磁盘的各类指标数据提取出与磁盘的各类指标数据一一对应的高维隐含特征。
  18. 如权利要求10所述的磁盘故障预测方法，其特征在于，所述大根堆结构是完全二叉树。
  19. 一种磁盘故障预测装置，其特征在于，包括：
    存储器，用于存储计算机可读指令；及
    一个或多个处理器，用于在执行所述计算机可读指令时实现如权利要求1-18任一项所述的磁盘故障预测方法的步骤。
  20. 一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时实现如权利要求1至18任一项所述的磁盘故障预测方法的步骤。
PCT/CN2022/122337 2021-12-22 2022-09-28 一种磁盘故障预测方法及装置 WO2023116111A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111582363.7A CN114328048A (zh) 2021-12-22 2021-12-22 一种磁盘故障预测方法及装置
CN202111582363.7 2021-12-22

Publications (1)

Publication Number Publication Date
WO2023116111A1 true WO2023116111A1 (zh) 2023-06-29

Family

ID=81054590

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/122337 WO2023116111A1 (zh) 2021-12-22 2022-09-28 一种磁盘故障预测方法及装置

Country Status (2)

Country Link
CN (1) CN114328048A (zh)
WO (1) WO2023116111A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117312863A (zh) * 2023-11-29 2023-12-29 山东理工昊明新能源有限公司 故障检测模型的构建方法、电力设备故障检测方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114328048A (zh) * 2021-12-22 2022-04-12 郑州云海信息技术有限公司 一种磁盘故障预测方法及装置
CN115827356A (zh) * 2023-02-23 2023-03-21 北京大道云行科技有限公司 服务器磁盘故障检测方法及系统、存储介质、电子设备
CN117074628B (zh) * 2023-10-17 2024-01-09 山东鑫建检测技术有限公司 一种多传感器空气质量检测设备故障定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7236911B1 (en) * 2004-06-16 2007-06-26 Western Digital Technologies, Inc. Using a genetic algorithm to select a subset of quality metrics as input to a disk drive failure prediction algorithm
CN111124732A (zh) * 2019-12-20 2020-05-08 浪潮电子信息产业股份有限公司 一种磁盘故障的预测方法、系统、设备及存储介质
CN111192237A (zh) * 2019-12-16 2020-05-22 重庆大学 一种基于深度学习的涂胶检测系统和方法
CN112183581A (zh) * 2020-09-07 2021-01-05 华南理工大学 基于自适应迁移神经网络的半监督机械故障诊断方法
CN112596964A (zh) * 2020-12-15 2021-04-02 中国建设银行股份有限公司 磁盘故障的预测方法及装置
CN114328048A (zh) * 2021-12-22 2022-04-12 郑州云海信息技术有限公司 一种磁盘故障预测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7236911B1 (en) * 2004-06-16 2007-06-26 Western Digital Technologies, Inc. Using a genetic algorithm to select a subset of quality metrics as input to a disk drive failure prediction algorithm
CN111192237A (zh) * 2019-12-16 2020-05-22 重庆大学 一种基于深度学习的涂胶检测系统和方法
CN111124732A (zh) * 2019-12-20 2020-05-08 浪潮电子信息产业股份有限公司 一种磁盘故障的预测方法、系统、设备及存储介质
CN112183581A (zh) * 2020-09-07 2021-01-05 华南理工大学 基于自适应迁移神经网络的半监督机械故障诊断方法
CN112596964A (zh) * 2020-12-15 2021-04-02 中国建设银行股份有限公司 磁盘故障的预测方法及装置
CN114328048A (zh) * 2021-12-22 2022-04-12 郑州云海信息技术有限公司 一种磁盘故障预测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117312863A (zh) * 2023-11-29 2023-12-29 山东理工昊明新能源有限公司 故障检测模型的构建方法、电力设备故障检测方法及装置
CN117312863B (zh) * 2023-11-29 2024-02-02 山东理工昊明新能源有限公司 故障检测模型的构建方法、电力设备故障检测方法及装置

Also Published As

Publication number Publication date
CN114328048A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
WO2023116111A1 (zh) 一种磁盘故障预测方法及装置
US10713597B2 (en) Systems and methods for preparing data for use by machine learning algorithms
Singh et al. A review of studies on machine learning techniques
US11636308B2 (en) Differentiable set to increase the memory capacity of recurrent neural net works
CA3059026A1 (en) Systems and methods for conversational based ticket logging
US11360996B2 (en) Systems and methods for formatting data using a recurrent neural network
CN112465226B (zh) 一种基于特征交互和图神经网络的用户行为预测方法
CN112990444A (zh) 一种混合式神经网络训练方法、系统、设备及存储介质
WO2023030322A1 (en) Methods, systems, and media for robust classification using active learning and domain knowledge
EP3874412A1 (en) Computer architecture for multiplier-less machine learning
CN111310918B (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN115687610A (zh) 文本意图分类模型训练方法、识别方法、装置、电子设备及存储介质
CN116340726A (zh) 一种能源经济大数据清洗方法、系统、设备及存储介质
CN114897085A (zh) 一种基于封闭子图链路预测的聚类方法及计算机设备
CN112668633B (zh) 一种基于细粒度领域自适应的图迁移学习方法
CN113869609A (zh) 一种根因分析频繁子图置信度预测方法及系统
KR102545892B1 (ko) 텍스트 분류를 위한 학습 데이터를 생성하는 방법
CN116361788A (zh) 一种基于机器学习的二进制软件漏洞预测方法
CN116860529A (zh) 故障定位方法及装置
Xiong et al. L-RBF: A customer churn prediction model based on lasso+ RBF
US11755570B2 (en) Memory-based neural network for question answering
Siddique et al. Learning classifier systems: cognitive inspired machine learning for eXplainable AI
CN110837847A (zh) 用户分类方法及装置、存储介质、服务器
Zhu et al. Weight learning from cost matrix in weighted least squares model based on genetic algorithm
US20240177372A1 (en) Systems and methods of representing phrases with palettes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22909429

Country of ref document: EP

Kind code of ref document: A1