WO2020215560A1 - 自编码神经网络处理方法、装置、计算机设备及存储介质 - Google Patents

自编码神经网络处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
WO2020215560A1
WO2020215560A1 PCT/CN2019/102671 CN2019102671W WO2020215560A1 WO 2020215560 A1 WO2020215560 A1 WO 2020215560A1 CN 2019102671 W CN2019102671 W CN 2019102671W WO 2020215560 A1 WO2020215560 A1 WO 2020215560A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
encoding neural
sample
self
auto
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/102671
Other languages
English (en)
French (fr)
Inventor
金戈
徐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2020215560A1 publication Critical patent/WO2020215560A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Creation or modification of classes or clusters

Definitions

  • This application relates to the computer field, and in particular to a method, device, computer equipment and storage medium for processing a self-encoding neural network.
  • the usual method is to use the bag-of-words model to extract text features, and then cluster the extracted features through a clustering algorithm.
  • the word bag model needs to ignore the word order, grammar, syntax and other elements of the text, and split the text into words one by one.
  • This approach often leads to the loss of text feature information due to the lack of neural network for feature extraction, which leads to text feature extraction
  • the accuracy rate is reduced, which affects the clustering accuracy rate. Therefore, how to determine a neural network that can improve the accuracy of clustering remains to be solved.
  • This application provides an auto-encoding neural network processing method, device, computer equipment, and storage medium to train an auto-encoding neural network model that can improve clustering accuracy.
  • a self-encoding neural network processing method including: obtaining a text sample; converting the text sample into a sample word vector; inputting the sample word vector into a pre-trained convolutional neural network model to compare the sample The word vector performs preliminary feature extraction to obtain preliminary hidden features of the sample; input the preliminary hidden features of the sample into multiple auto-encoding neural networks, and train the auto-encoding neural networks to obtain multiple auto-encoding neural network models , Wherein the number of hidden layers and hidden layer units of each self-encoding neural network is different; the preliminary hidden features of the samples are input into each of the self-encoding neural network models for feature extraction, and each of the The hidden features of the samples output by the self-encoding neural network model; clustering the feature samples of the hidden features of the samples extracted by each of the self-encoding neural network models by using a clustering algorithm to obtain each Encoding neural network model corresponding to the clustering results; according to the clustering results corresponding to each of the self-encoding neural network model to determine whether to rebuild the self-encoding neural network;
  • a self-encoding neural network processing device including: an acquisition module, used to obtain a text sample; a conversion module, used to convert the text sample into a sample word vector; a first feature extraction module, used to convert the sample word vector Input to the pre-trained convolutional neural network model to perform preliminary feature extraction on the sample word vector to obtain preliminary hidden features of the sample; the training module is used to input the preliminary hidden features of the sample into multiple self In the coding neural network, the self-encoding neural network is trained to obtain multiple self-encoding neural network models, wherein the hidden layer and the number of hidden layer units of each self-encoding neural network are different; the second feature extraction module uses To input the preliminary hidden features of the sample into each of the auto-encoding neural network models for feature extraction, respectively, to obtain the sample hidden features output by each of the auto-encoding neural network models; the clustering module is used for Using a clustering algorithm to cluster the feature samples of the hidden features of the samples extracted by each of the auto-encoding neural network models, respectively, to obtain the clustering results
  • a computer device includes a memory, a processor, and computer-readable instructions stored in the memory and running on the processor, and the processor implements the following steps when the processor executes the computer-readable instructions: Get text Sample; convert the text sample into a sample word vector; input the sample word vector into a pre-trained convolutional neural network model to perform preliminary feature extraction on the sample word vector to obtain preliminary hidden features of the sample Input the preliminary hidden features of the sample into multiple self-encoding neural networks, and train the self-encoding neural network to obtain multiple self-encoding neural network models, wherein the hidden layer of each self-encoding neural network Different from the number of hidden layer units; respectively input the preliminary hidden features of the sample into each of the auto-encoding neural network models for feature extraction, and obtain the sample hidden features output by each of the auto-encoding neural network models; Use a clustering algorithm to cluster the feature samples of the hidden features of the samples extracted by each of the auto-encoding neural network models, to obtain the clustering results corresponding to each of the auto-encoding neural network models; The clustering
  • One or more readable storage media storing computer readable instructions, when the computer readable instructions are executed by one or more processors, cause the one or more processors to perform the following steps: obtain a text sample; The text sample is converted into a sample word vector; the sample word vector is input into a pre-trained convolutional neural network model to perform preliminary feature extraction on the sample word vector to obtain preliminary hidden features of the sample; The preliminary hidden features of the sample are input into multiple auto-encoding neural networks, and the auto-encoding neural networks are trained to obtain multiple auto-encoding neural network models, wherein the hidden layer and the hidden layer of each of the auto-encoding neural networks The number of units is different; the preliminary hidden features of the samples are input into each of the auto-encoding neural network models for feature extraction, and the hidden features of the samples output by each of the auto-encoding neural network models are obtained respectively; clustering is adopted The algorithm clusters the feature samples of the hidden features of the samples extracted by each of the self-encoding neural network models to obtain the clustering results corresponding to each of the self-
  • FIG. 1 is a schematic diagram of an application environment of the self-encoding neural network processing method in an embodiment of the present application
  • Fig. 2 is a flowchart of a self-encoding neural network processing method in an embodiment of the present application
  • Fig. 3 is an example diagram of a self-encoding neural network processing method in an embodiment of the present application
  • Fig. 4 is an example diagram of a self-encoding neural network processing method in an embodiment of the present application.
  • Fig. 5 is an example diagram of a self-encoding neural network processing method in an embodiment of the present application.
  • Fig. 6 is an example diagram of a self-encoding neural network processing method in an embodiment of the present application.
  • FIG. 7 is an example diagram of a self-encoding neural network processing method in an embodiment of the present application.
  • Fig. 8 is a functional block diagram of a self-encoding neural network processing device in an embodiment of the present application.
  • Fig. 9 is a schematic diagram of a self-encoding neural network processing device in an embodiment of the present application.
  • Fig. 10 is a schematic diagram of a computer device in an embodiment of the present application.
  • the self-encoding neural network processing method provided by the embodiments of the present application can be applied to the network architecture as shown in FIG. 1, in which the server preprocesses the text sample after obtaining the text sample, and after obtaining the hidden features of the preliminary sample, Start training the auto-encoding neural network. After the trained auto-encoding neural network model is obtained, further feature extraction is performed, and the feature samples corresponding to the extracted features are clustered, and finally the contour coefficients of the clustering results are reconstructed Target self-encoding neural network.
  • the server can be implemented as an independent server or a server cluster composed of multiple servers.
  • a self-encoding neural network processing method is provided. Taking the method applied to the server in FIG. 1 as an example for description, the method includes the following steps:
  • a text sample refers to a combination of characters, words, sentences, or characters.
  • the text sample can be obtained from the Internet through crawler technology, and the method of obtaining the text sample is not limited here.
  • the sample word vector refers to the vector sample that can be recognized by the computer and used to train the neural network.
  • the word2vec algorithm can be used to convert a text sample into a sample word vector, and the sample word vector can be used as a sample word vector, or the sample word vector can be obtained through other sample word vector conversion methods.
  • the glove algorithm converts the text sample into The sample word vector is not specifically limited here.
  • S30 Input the sample word vector into the pre-trained convolutional neural network model to perform preliminary feature extraction on the sample word vector to obtain preliminary hidden features of the sample.
  • the pre-trained convolutional neural network model (Text in Convolutional Neural Network, TextCNN) refers to a neural network that has been trained in advance for the convolutional neural network model and has achieved the expected feature extraction effect.
  • the sample word vector is used as the input sample of the convolutional neural network model, input to the input layer of the convolutional neural network model, and sequentially processed by the convolutional layer, activation function, pooling layer, and fully connected layer.
  • the layer performs feature output to obtain the preliminary implicit features of the sample word vector.
  • the hidden feature of the sample is the feature vector extracted by the convolutional neural network model, and the preliminary hidden feature of the sample is a high-dimensional hidden feature, which usually contains a lot of interference information.
  • the sample word vector is input into a pre-trained convolutional neural network model to perform preliminary feature extraction on the sample word vector to obtain preliminary hidden features of the sample.
  • the pre-trained convolutional neural network model is used to preprocess the sample word vectors, and the features of some sample word vectors are extracted to reduce the time required for subsequent training of the autoencoding neural network.
  • S40 Input the preliminary hidden features of the sample into multiple auto-encoding neural networks, and train the auto-encoding neural network to obtain multiple auto-encoding neural network models. Among them, the number of hidden layers and hidden layer units of each auto-encoding neural network different.
  • the auto-encoding neural network is a neural network for unsupervised learning.
  • the preliminary hidden features of the sample are input to the auto-encoding neural network, and the hidden layer of the self-encoding neural network and the hidden layer unit are calculated layer by layer.
  • Training is performed by minimizing the gap between input and output to ensure that the hidden features of the extracted samples can retain sufficient information.
  • the preliminary hidden features of the sample are input to the self-encoding neural network, and the back-propagation algorithm is used to perform unsupervised training on the self-encoding neural network so that the output is as equal to the input as possible.
  • the self-encoding neural network can be a sparse autoencoder.
  • the training process of the sparse autoencoder is to continuously adjust the hidden layer and hidden layer unit of the self-encoding neural network by calculating the error between the output of the self-encoding and the original input Finally, the required auto-encoding neural network model is trained.
  • S50 Input the preliminary hidden features of the sample into each auto-encoding neural network model for feature extraction, and obtain the sample hidden features output by each auto-encoding neural network model.
  • the preliminary hidden features of the sample are used as input and input to the auto-encoding neural network model.
  • the preliminary hidden features are extracted through the auto-encoding neural network model, and the dimensionality of the preliminary hidden features of the sample is reduced to obtain a low-dimensional sample hidden With features.
  • the preliminary hidden features of the sample are input into the auto-encoding network model for further feature extraction, which can compress the preliminary hidden features of the high-dimensional sample into low-dimensional hidden features of the sample.
  • the features are processed by the self-compiled neural network model, which can remove the interference information of the preliminary hidden features of the sample, and can prevent the loss of the information contained in the preliminary hidden features of the sample to the greatest extent.
  • S60 Use a clustering algorithm to cluster the feature samples of the hidden features of the samples extracted by each auto-encoding neural network model, respectively, to obtain a clustering result corresponding to each auto-encoding neural network model.
  • the clustering algorithm is a method of dividing the feature sample set into different clusters according to a certain standard (such as distance criterion), so that the sample implicit feature similarity of the feature samples in the same cluster is as large as possible, and at the same time, The difference of the sample hidden features of the feature samples in different clusters is also as large as possible, that is, the feature samples of the same type are gathered together as much as possible after clustering, and the feature samples of different types are separated as much as possible.
  • the clustering algorithm can be the k-means algorithm (k-means clustering algorithm), where the clustering algorithm can be the K-Means algorithm mentioned above, or the DBSCAN algorithm, which will not be specifically described here. limited.
  • the clustering result corresponding to the auto-encoding neural network model refers to the feature samples corresponding to the hidden features of the samples extracted by the auto-encoding neural network model to generate clustering.
  • Auto-encoding neural network model A extracts sample hidden feature A
  • auto-encoding neural network model B extracts sample hidden feature B, and the sample is hidden
  • the feature samples corresponding to feature A are clustered using a clustering algorithm, and clustering result A is obtained.
  • the clustering result corresponding to auto-encoding neural network model A is clustering result A
  • the feature sample corresponding to sample hidden feature B is clustered
  • the algorithm performs clustering and obtains the clustering result B.
  • the clustering result corresponding to the self-encoding neural network model B is the clustering result B.
  • the K-Means algorithm may be used to perform a clustering operation on the samples from which the hidden features of the samples are extracted.
  • the feature samples are clustered into multiple clusters (in some documents, clusters are also called classes) according to the hidden features of the samples, and the clusters are output
  • the clustering result after calculation each cluster includes one or more feature samples, and the feature samples of different clusters have different features.
  • S70 Determine whether to reconstruct the self-encoding neural network according to the clustering result corresponding to each self-encoding neural network model.
  • one self-encoding neural network can be rebuilt, or multiple self-encoding neural networks can be rebuilt, and how many self-encoding neural networks need to be rebuilt can be determined according to actual needs.
  • the auto-encoding neural network model with the largest contour coefficient of the clustering result is selected as the final model.
  • This embodiment uses a convolutional neural network model for preliminary sample hidden feature extraction, and then uses a trained autoencoding neural network model for sample hidden feature extraction.
  • the auto-encoding neural network model is trained, the auto-encoding neural network is reconstructed by the clustering results of the feature samples corresponding to the hidden features of the sample, and the auto-encoding neural network can be rounded by the clustering results. For verification, a self-encoding neural network with high clustering accuracy can be obtained.
  • step S70 determining whether to rebuild the auto-encoding neural network according to the clustering result corresponding to each auto-encoding neural network model specifically includes the following steps:
  • the contour coefficient is the evaluation method of the clustering result.
  • the value range of the contour coefficient is: [-1, 1]. The larger the contour coefficient, the better the clustering result.
  • the contour coefficient calculation formula is used to calculate the contour coefficient of each clustering result.
  • the preset condition refers to the minimum value that the contour coefficient of the clustering result needs to reach, and the preset condition can be determined according to actual clustering requirements. For example, if the requirements for clustering results are high, the preset condition can be set to 0.95; if the requirements for clustering results are not high, the preset condition can be set to 0.4.
  • any contour coefficient meets the preset condition, there is no need to construct a target self-encoding neural network.
  • the contour coefficient of each clustering result corresponding to each self-encoding neural network model is calculated, and it is judged whether the contour coefficient of each clustering result meets the preset condition, if the contour coefficient of each clustering result does not satisfy The preset conditions are determined to rebuild the self-encoding neural network.
  • the verification of the self-encoding neural network model can be standardized judgment (that is, the same parameter is used for judgment).
  • a clustering result includes multiple clusters, and each cluster includes one or more feature samples, as shown in FIG. 4, in step S71, the clustering results corresponding to each auto-encoding neural network model are calculated separately
  • the contour coefficient of includes the following steps:
  • S711 Calculate the average distance from each of the feature samples to other feature samples in the cluster to which the feature samples belong in the same clustering result.
  • S712 Calculate the average distance from each feature sample to other feature samples in the cluster to which the sample does not belong in the same clustering result.
  • i represents the feature sample i of the same clustering result
  • S(i) is the contour coefficient of the feature sample i
  • b(i) is the other clusters from the feature sample i to the cluster to which the feature sample i does not belong
  • a(i) is the average distance from the feature sample i to other feature samples in the cluster to which the feature sample i belongs
  • max ⁇ a(i),b(i) ⁇ means take a(i) And the maximum value in b(i).
  • the contour coefficient of the clustering result of each self-encoding network model will be calculated according to the calculation method of steps S711-S714, so as to obtain the contour coefficient of the clustering result corresponding to each self-encoding neural network .
  • step S80 if it is determined to rebuild the self-encoding neural network, constructing the target self-encoding neural network according to the contour coefficients includes the following steps:
  • S81 Determine the hidden law between the contour coefficients of all clustering results and the number of hidden layers and hidden layer units of all auto-encoding neural network models.
  • the contour coefficient of each clustering result can be determined first by which clustering result is calculated, and then the auto-encoding neural network model corresponding to the contour coefficient of the clustering result can be deduced. Obtain the number of hidden layers and hidden layer units of the auto-encoding neural network model corresponding to the contour coefficient, and then find out the relationship between the size of the contour coefficient and the number of hidden layers and hidden layer units of the auto-encoding neural network model to obtain the hidden layer With law.
  • the hidden law can be that the more the number of hidden layers and hidden layer units of the self-encoding neural network model, the larger the contour coefficient; it can also be the less the number of hidden layers and hidden layer units of the self-encoding neural network model , The larger the profile coefficient.
  • S82 Use the hidden law as the basis for setting the hidden layer and the number of hidden layer units of the target self-encoding neural network.
  • the hidden law is used as the basis for setting the hidden layer and the number of hidden layer units of the target self-encoding neural network.
  • the hidden law is that the more the number of hidden layers and hidden layer units of the self-encoding neural network model, the larger the contour coefficient, the setting basis can be to increase the number of hidden layers and hidden layer units; the hidden law is auto-encoding neural The smaller the number of hidden layers and hidden layer units of the network model, the larger the contour coefficient.
  • the setting basis may be to reduce the number of hidden layer and hidden layer units.
  • S83 Set the number of hidden layers and hidden layer units of the target self-encoding neural network according to the setting basis.
  • the hidden law is used as the reconstruction of the auto-encoding neural network.
  • the setting basis of the hidden layer and the number of hidden layer units of the network model, and finally the number of hidden layers and hidden layer units of the self-encoding neural network model is set according to the settings.
  • the target auto-encoding neural network model performs feature extraction, and the feature samples corresponding to the features extracted by the target auto-encoding neural network model are clustered, and then the contour coefficient of the clustering result is calculated. If the contour coefficient of the clustering result does not meet the expected Set the conditions, then rebuild the target neural network until the desired effect is achieved.
  • the expected effect means that the contour coefficient of the clustering result corresponding to the self-encoding neural network model meets the preset condition.
  • step S80 that is, if it is determined to rebuild the self-encoding neural network, after constructing the target self-encoding neural network according to the contour coefficients of the clustering result, the self-encoding neural network processes
  • the method also includes the following steps:
  • S90 Select the target auto-encoding neural network model corresponding to the target auto-encoding neural network that achieves the expected effect as the final model.
  • step S83 if it is determined to rebuild the self-encoding neural network, then Constructing a target self-encoding neural network according to the contour coefficients of the clustering results includes the following steps:
  • the number of hidden layers and hidden layer units of the auto-encoding neural network model corresponding to the maximum contour coefficient is selected as the setting base.
  • the number of hidden layers and hidden layer units of the auto-encoding neural network model A corresponding to the maximum contour coefficient in the auto-encoding neural network models A, B, and C is 3 hidden layers and 100 hidden layer units. set The basis is to increase the number of hidden layers and hidden layer units of the auto-encoding neural network model, the target auto-encoding neural network is set to 3 hidden layers and 100 hidden layer units.
  • S832 Increase the number of hidden layer and hidden layer units of the target self-encoding neural network on the set base.
  • the number of hidden layers and hidden layer units of the target auto-encoding neural network is based on the set base, and the number of hidden layers and hidden layer units of the target auto-encoding neural network is increased.
  • the setting base of the target self-encoding neural network is that the number of hidden layers and hidden layer units is 3 layers of hidden layers and 100 hidden layer units, then the setting base of 3 layers of hidden layers and 100 hidden layer units, Increase the number of hidden layers and hidden layer units of the target autoencoding neural network.
  • the number of hidden layers and hidden layer units of the auto-encoding neural network model corresponding to the maximum contour coefficient is selected as the setting base.
  • the setting base of the target auto-encoding neural network is 3 hidden layers and 100 hidden layer units.
  • S834 Reduce the number of hidden layers and hidden layer units of the target self-encoding neural network on the setting base.
  • the number of hidden layers and hidden layer units of the target auto-encoding neural network is based on the set base, and the number of hidden layers and hidden layer units of the target auto-encoding neural network is reduced.
  • the setting base of the target self-encoding neural network is that the number of hidden layers and hidden layer units is 3 layers of hidden layers and 100 hidden layer units, then the setting base of 3 layers of hidden layers and 100 hidden layer units, Reduce the number of hidden layers and hidden layer units of the target auto-encoding neural network.
  • a self-encoding neural network processing device corresponds to the self-encoding neural network processing method in the above-mentioned embodiment one-to-one.
  • the self-encoding neural network processing device includes an acquisition module 10, a transformation module 20, a first feature extraction module 30, a training module 40, a second feature extraction module 50, a clustering module 60, a determination module 70, and a re ⁇ module 80.
  • each functional module is as follows: the acquisition module 10 is used to obtain text samples; the conversion module 20 is used to convert text samples into sample word vectors; the first feature extraction module 30 is used to input the sample word vectors into the pre-trained In the convolutional neural network model, the initial feature extraction of the sample word vector is used to obtain the initial implicit feature of the sample; the training module 40 is used to input the initial implicit feature of the sample into multiple auto-encoding neural networks to The neural network is trained to obtain multiple auto-encoding neural network models.
  • the number of hidden layer and hidden layer unit of each auto-encoding neural network is different; the second feature extraction module 50 is used to input the preliminary hidden features of the sample into each Feature extraction is performed in each auto-encoding neural network model, and the hidden features of the samples output by each auto-encoding neural network model are obtained respectively; the clustering module 60 is used to use a clustering algorithm to extract samples from each auto-encoding neural network model The feature samples of the hidden features are clustered separately to obtain the clustering results corresponding to each auto-encoding neural network model; the determining module 70 is used to determine whether to reconstruct the self-encoding neural network model according to the clustering results corresponding to each auto-encoding neural network model. Encoding neural network; the reconstruction module 80 is used to construct the target self-encoding neural network according to the contour coefficients of the clustering result if it is determined to rebuild the self-encoding neural network.
  • the determination module 70 includes: a calculation sub-module 71, a judgment sub-module 72, and a determination sub-module 73.
  • the detailed function descriptions between the modules are as follows: the calculation sub-module 71, It is used to calculate the contour coefficients of the clustering results corresponding to each self-encoding neural network model; the judging sub-module 72 is used to judge whether the contour coefficients of each clustering result meets preset conditions; the determining sub-module 73 is used to determine If the contour coefficient of each clustering result does not meet the preset condition, it is determined to rebuild the self-encoding neural network.
  • the calculation sub-module 71 includes: a first calculation unit, a second calculation unit, a third calculation unit, and a fourth calculation unit.
  • the detailed function descriptions of each unit are as follows: , Used to calculate the average distance from each feature sample to other feature samples in the cluster to which the feature sample belongs in the same clustering result; the second calculation unit is used to calculate the same clustering result from each feature sample to the sample The average distance of other feature samples in the cluster to which it belongs; the third calculation unit is used to calculate the contour coefficient of each feature sample in the same clustering result, where the contour coefficient is:
  • i represents the feature sample i of the same clustering result
  • S(i) is the contour coefficient of the feature sample i
  • b(i) is the average distance from the feature sample i to other feature samples in the cluster to which the feature sample i does not belong
  • a(i) is the average distance between the feature sample i and the other feature samples in the cluster to which the feature sample i belongs
  • max ⁇ a(i),b(i) ⁇ represents the largest of a(i) and b(i) value
  • the fourth calculation unit is used to take the average of the contour coefficients of all feature samples in the same clustering result as the contour coefficient of the same clustering result.
  • the reconstruction module 80 includes: a determining unit, a setting basis determining unit, and a setting unit.
  • the functions of each unit are described as follows: the determining unit is used to determine the contour coefficients of all clustering results and The hidden law between the hidden layer and the number of hidden layer units of all auto-encoding neural network models; the setting basis determines the unit, which is used to set the hidden law as the target hidden layer and the number of hidden layer units in the auto-encoding neural network Basis; setting unit, used to set the hidden layer and the number of hidden layer units of the target self-encoding neural network according to the setting basis.
  • the auto-encoding neural network processing device further includes a selection module.
  • the detailed function description of the module is as follows: the selection module is used to select the target auto-encoding nerve that achieves the desired effect
  • the target auto-encoding neural network model corresponding to the network is used as the final model.
  • the setting unit includes: selecting subunits and setting subunits, and the detailed description of each unit is as follows:
  • Select subunits if the setting basis is to increase the number of hidden layers and hidden layer units, then select the number of hidden layers and hidden layer units of the auto-encoding neural network model corresponding to the largest contour coefficient as the setting base of the target auto-encoding neural network ;
  • the setting basis is to reduce the number of hidden layer and hidden layer units, select the number of hidden layers and hidden layer units of the auto-encoding neural network model corresponding to the largest contour coefficient as the setting base of the target auto-encoding neural network.
  • each module in the above-mentioned self-encoding neural network processing device can be implemented in whole or in part by software, hardware, and a combination thereof.
  • the foregoing modules may be embedded in the form of hardware or independent of the processor in the computer device, or may be stored in the memory of the computer device in the form of software, so that the processor can call and execute the operations corresponding to the foregoing modules.
  • a computer device is provided.
  • the computer device may be a server, and its internal structure diagram may be as shown in FIG. 10.
  • the computer equipment includes a processor, a memory, a network interface and a database connected through a system bus. Among them, the processor of the computer device is used to provide calculation and control capabilities.
  • the memory of the computer device includes a readable storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system, a computer program, and a database.
  • the internal memory provides an environment for the operation of the operating system and computer programs in the non-volatile storage medium.
  • the database of the computer equipment is used to store the data required by the self-encoding neural network processing method.
  • the network interface of the computer device is used to communicate with an external terminal through a network connection.
  • the computer program is executed by the processor to realize a self-encoding neural network processing method.
  • the readable storage medium provided in this embodiment includes a volatile storage medium and a non-volatile storage medium.
  • a computer device including a memory, a processor, and computer-readable instructions stored in the memory and running on the processor.
  • the processor executes the computer-readable instructions, the following steps are implemented: Get text Sample; convert the text sample into sample word vector; input the sample word vector into the pre-trained convolutional neural network model to perform preliminary feature extraction on the sample word vector to obtain the preliminary implicit features of the sample; initially implicit the sample
  • the features are input into multiple auto-encoding neural networks, and the auto-encoding neural network is trained to obtain multiple auto-encoding neural network models.
  • the number of hidden layers and hidden layer units of each auto-encoding neural network is different; the samples are initially hidden respectively Containing features are input to each auto-encoding neural network model for feature extraction, and the hidden features of the samples output by each auto-encoding neural network model are obtained respectively; the clustering algorithm is used for the hidden features of the samples extracted from each auto-encoding neural network model
  • the feature samples of the features are clustered separately to obtain the clustering results corresponding to each auto-encoding neural network model; according to the clustering results corresponding to each auto-encoding neural network model, determine whether to rebuild the auto-encoding neural network; if it is determined to be rebuilt
  • construct a target self-encoding neural network based on the contour coefficients.
  • one or more readable storage media storing computer readable instructions are provided, the readable storage medium storing computer readable instructions, and the computer readable instructions are executed by one or more processors At this time, one or more processors are made to implement the following steps: obtain text samples; convert the text samples into sample word vectors; input the sample word vectors into the pre-trained convolutional neural network model to perform preliminary sample word vectors Feature extraction to obtain the preliminary hidden features of the sample; input the preliminary hidden features of the sample into multiple auto-encoding neural networks, and train the auto-encoding neural network to obtain multiple auto-encoding neural network models, where each auto-encoding neural network The number of hidden layer and hidden layer unit is different; the preliminary hidden features of the sample are input into each auto-encoding neural network model for feature extraction, and the hidden features of the sample output by each auto-encoding neural network model are obtained respectively; clustering is adopted The algorithm clusters the feature samples of the hidden features of the samples extracted by each auto-encoding neural network model, and obtains the clustering results corresponding to each
  • Non-volatile memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory may include random access memory (RAM) or external cache memory.
  • RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain Channel (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种自编码神经网络处理方法、装置、计算机设备及存储介质，该方法通过将文本样本转化为样本词向量，将样本词向量输入到卷积神经网络模型中对样本词向量进行初步特征提取，得到样本初步隐含特征；将样本初步隐含特征输入到多个自编码神经网络中，对自编码神经网络进行训练，得到多个自编码神经网络模型，将样本初步隐含特征输入到自编码神经网络模型中进行特征提取，得到自编码神经网络模型输出的样本隐含特征；对提取出的样本隐含特征的特征样本进行聚类，得到聚类结果；根据聚类结果确定是否要重新构建自编码神经网络；若确定要重新构建自编码神经网络，则根据轮廓系数构建目标自编码神经网络，得到聚类准确率高的自编码神经网络。

Description

自编码神经网络处理方法、装置、计算机设备及存储介质
本申请以2019年4月26日提交的申请号为201910345019.2，名称为“自编码神经网络处理方法、装置、计算机设备及存储介质”的中国发明专利申请为基础，并要求其优先权。
技术领域
本申请涉及计算机领域，尤其涉及一种自编码神经网络处理方法、装置、计算机设备及存储介质。
背景技术
随着现代人生活节奏的加快，为了能在短时间内浏览到尽可能多的信息，网络中涌现了越来越多的短文本。这些短文本结构和内容各不相同。
为了对这些短文本进行分析和统计，通常做法是采用词袋模型进行文本特征的提取，再通过聚类算法对提取出来的特征进行聚类。然而，由于词袋模型需要忽略文本的词序、语法、句法等要素，将文本拆分为一个个词，这样的做法由于缺少神经网络进行特征提取，往往导致文本特征信息丢失，从而导致文本特征提取准确率降低，从而影响聚类准确率。因此，如何确定出出一个能够提高聚类准确率的神经网络还有待解决。
发明内容
本申请提供一种自编码神经网络处理方法、装置、计算机设备及存储介质，以训练出一个能提高聚类准确率的自编码神经网络模型。
一种自编码神经网络处理方法，包括：获取文本样本；将所述文本样本转化为样本词向量；将所述样本词向量输入到预先训练完毕的卷积神经网络模型中，以对所述样本词向量进行初步特征提取，得到样本初步隐含特征；将所述样本初步隐含特征输入到多个自编码神经网络中，对所述自编码神经网络进行训练，得到多个自编码神经网络模型，其中，各个所述自编码神经网络的隐层和隐层单元数量不同；分别将所述样本初步隐含特征输入到每个所述自编码神经网络模型中进行特征提取，分别得到每个所述自编码神经网络模型输出的样本隐含特征；采用聚类算法对每个所述自编码神经网络模型提取出的所述样本隐含特征的特征样本分别进行聚类，得到每一个所述自编码神经网络模型对应的聚类结果；根据每个所述自编码神经网络模型对应的所述聚类结果确定是否要重新构建自编码神经网络；若确定要重新构建自编码神经网络，则根据所述聚类结果的轮廓系数构建目标自编码神经网络。
一种自编码神经网络处理装置，包括：获取模块，用于获取文本样本；转化模块，用于将所述文本样本转化为样本词向量；第一特征提取模块，用于将所述样本词向量输入到预先训练完毕的卷积神经网络模型中，以对所述样本词向量进行初步特征提取，得到样本初步隐含特征；训练模块，用于将所述样本初步隐含特征输入到多个自编码神经网络中，对所述自编码神经网络进行训练，得到多个自编码神经网络模型，其中，各个所述自编码 神经网络的隐层和隐层单元数量不同；第二特征提取模块，用于分别将所述样本初步隐含特征输入到每个所述自编码神经网络模型中进行特征提取，分别得到每个所述自编码神经网络模型输出的样本隐含特征；聚类模块，用于采用聚类算法对每个所述自编码神经网络模型提取出的所述样本隐含特征的特征样本分别进行聚类，得到每一个所述自编码神经网络模型对应的聚类结果；确定模块，用于根据每个所述自编码神经网络模型对应的所述聚类结果确定是否要重新构建自编码神经网络；重构模块，用于若确定要重新构建自编码神经网络，则根据所述聚类结果的轮廓系数构建目标自编码神经网络。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：获取文本样本；将所述文本样本转化为样本词向量；将所述样本词向量输入到预先训练完毕的卷积神经网络模型中，以对所述样本词向量进行初步特征提取，得到样本初步隐含特征；将所述样本初步隐含特征输入到多个自编码神经网络中，对所述自编码神经网络进行训练，得到多个自编码神经网络模型，其中，各个所述自编码神经网络的隐层和隐层单元数量不同；分别将所述样本初步隐含特征输入到每个所述自编码神经网络模型中进行特征提取，分别得到每个所述自编码神经网络模型输出的样本隐含特征；采用聚类算法对每个所述自编码神经网络模型提取出的所述样本隐含特征的特征样本分别进行聚类，得到每一个所述自编码神经网络模型对应的聚类结果；根据每个所述自编码神经网络模型对应的所述聚类结果确定是否要重新构建自编码神经网络；若确定要重新构建自编码神经网络，则根据所述聚类结果的轮廓系数构建目标自编码神经网络。
一个或多个存储有计算机可读指令的可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如下步骤：获取文本样本；将所述文本样本转化为样本词向量；将所述样本词向量输入到预先训练完毕的卷积神经网络模型中，以对所述样本词向量进行初步特征提取，得到样本初步隐含特征；将所述样本初步隐含特征输入到多个自编码神经网络中，对所述自编码神经网络进行训练，得到多个自编码神经网络模型，其中，各个所述自编码神经网络的隐层和隐层单元数量不同；分别将所述样本初步隐含特征输入到每个所述自编码神经网络模型中进行特征提取，分别得到每个所述自编码神经网络模型输出的样本隐含特征；采用聚类算法对每个所述自编码神经网络模型提取出的所述样本隐含特征的特征样本分别进行聚类，得到每一个所述自编码神经网络模型对应的聚类结果；根据每个所述自编码神经网络模型对应的所述聚类结果确定是否要重新构建自编码神经网络；若确定要重新构建自编码神经网络，则根据所述聚类结果的轮廓系数构建目标自编码神经网络。
本申请的一个或多个实施例的细节在下面的附图和描述中提出，本申请的其他特征和优点将从说明书、附图以及权利要求变得明显。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例中自编码神经网络处理方法的一应用环境示意图；
图2是本申请一实施例中自编码神经网络处理方法的一流程图；
图3是本申请一实施例中自编码神经网络处理方法的一示例图；
图4是本申请一实施例中自编码神经网络处理方法的一示例图；
图5是本申请一实施例中自编码神经网络处理方法的一示例图；
图6是本申请一实施例中自编码神经网络处理方法的一示例图；
图7是本申请一实施例中自编码神经网络处理方法的一示例图；
图8是本申请一实施例中自编码神经网络处理装置的一原理框图；
图9是本申请一实施例中自编码神经网络处理装置的一示意图；
图10是本申请一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的自编码神经网络处理方法，可应用在如图1所述的网络架构中，其中服务器在获取到文本样本之后，对文本样本进行预处理，得到初步样本隐含特征之后，开始训练自编码神经网络，在得到训练完成的自编码神经网络模型之后，进行进一步地特征提取，并将提取出的特征对应的特征样本进行聚类，最后根据聚类结果的轮廓系数重新构建出目标自编码神经网络。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种自编码神经网络处理方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：
S10：获取文本样本。
其中，文本样本是指包括字符、词语、语句或者字符的组合。
文本样本可以是通过爬虫技术从网络上获取得到，这里对文本样本的获取方式不做限定。
S20：将文本样本转化为样本词向量。
其中，样本词向量是指能被计算机识别的，用于对神经网络进行训练的向量样本。
具体地，可以采用word2vec算法，将文本样本转化为样本词向量，将所述样本词向量作为样本词向量，或者通过其他样本词向量转化方式得到上述样本词向量，例如glove算法将文本样本转化为样本词向量，具体这里不做限定。
S30：将样本词向量输入到预先训练完毕的卷积神经网络模型中，以对样本词向量进行初步特征提取，得到样本初步隐含特征。
其中，预先训练完毕的卷积神经网络模型(Text in Convolutional Neural Network，TextCNN)是指提前对该卷积神经网络模型进行训练的，并且已经达到预期的特征提取效果的神经网络。
具体地，将样本词向量作为卷积神经网络模型的输入样本，输入到卷积神经网络模型 的输入层，并依次经过卷积层、激活函数、池化层、全连接层的处理，在输出层进行特征输出，得到样本词向量的样本初步隐含特征。其中，样本隐含特征为卷积神经网络模型所提取出来的特征向量，样本初步隐含特征是高维度的隐含特征，通常里面包含了很多干扰信息。
在该具体实施例中，通过将样本词向量输入到预先训练完毕的卷积神经网络模型中，以对所述样本词向量进行初步特征提取，得到样本初步隐含特征。通过采用预先训练完毕的卷积神经网络模型对样本词向量进行预处理，将部分样本词向量的特征提取出来，以减少后续自编码神经网络的训练所需的时间。
S40：将样本初步隐含特征输入到多个自编码神经网络中，对自编码神经网络进行训练，得到多个自编码神经网络模型，其中，各个自编码神经网络的隐层和隐层单元数量不同。
其中，自编码神经网络是一种无监督学习的神经网络，在本申请实施例中，样本初步隐含特征输入到自编码神经网络，经过自编码神经网络隐层和隐层单元的层层计算，尝试获得一个接近输入(样本初步隐含特征)的输出(样本隐含特征)。通过将输入和输出的差距最小化以进行训练，以确保提取的样本隐含特征能够保留充分信息。
具体地，将样本初步隐含特征输入到自编码神经网络，使用反向传播算法来对自编码神经网络进行无监督训练，使得输出尽可能等于输入。
其中，自编码神经网络可以是稀疏自编码器(Sparse Autoencoder)，稀疏自编码器的训练过程是通过计算自编码的输出与原输入的误差，不断调节自编码神经网络的隐层和隐层单元的数量，最终训练出所需的自编码神经网络模型，在本申请实施例中，预设有多个隐层和隐层单元数量不同的自编码神经网络。
S50：分别将样本初步隐含特征输入到每个自编码神经网络模型中进行特征提取，分别得到每个自编码神经网络模型输出的样本隐含特征。
具体地，将样本初步隐含特征作为输入，输入到自编码神经网络模型，初步隐含特征通过自编码神经网络模型进行特征提取，将样本初步隐含特征的维度降低，得到低维度的样本隐含特征。
在该具体实施例中，将样本初步隐含特征输入到自编码网络模型中进行进一步地特征提取，能够把高维度的样本初步隐含特征压缩成低维度的样本隐含特征，样本初步隐含特征通过自编神经网络模型的处理，能够去除样本初步隐含特征的干扰信息，并且能够将最大程度地防止样本初步隐含特征中所包含的信息丢失。
S60：采用聚类算法对每个自编码神经网络模型提取出的样本隐含特征的特征样本分别进行聚类，得到每一个自编码神经网络模型对应的聚类结果。
其中，聚类算法是一种按照某个特定标准(如距离准则)把特征样本集划分到不同的簇中，使得同一个簇内的特征样本的样本隐含特征相似性尽可能大，同时，不同簇中的特征样本的样本隐含特征的差异性也尽可能地大，即聚类后同一类的特征样本尽可能聚集到一起，不同类特征样本尽量分离的算法。具体地，该聚类算法可以是k-means算法(k-均值聚类算法)，其中，聚类算法可以是上述所提及的K-Means算法，也可以是DBSCAN算法，在此不做具体限定。
自编码神经网络模型对应的聚类结果是指采用该自编码神经网络模型提取的样本隐 含特征对应的特征样本进行聚类生成的。例如：有自编码神经网络模型A以及自编码神经网络模型B，自编码神经网络模型A提取出来样本隐含特征A，自编码神经网络模型B提取出来的样本隐含特征B，将样本隐含特征A对应的特征样本采用聚类算法进行聚类，得到聚类结果A，自编码神经网络模型A对应的聚类结果为聚类结果A，将样本隐含特征B对应的特征样本采用聚类算法进行聚类，得到聚类结果B，自编码神经网络模型B对应的聚类结果为聚类结果B。
具体地，可以采用K-Means算法对提取出所述样本隐含特征的样本进行聚类运算。通过将提取出所述样本隐含特征的特征样本进行聚类运算，根据样本隐含特征，将特征样本聚类分成多个簇(在一些文献中，簇也称作类)，并输出聚类运算后的聚类结果。其中，每个簇中包括一个或多个特征样本，不同簇之间的特征样本的特征不同。
S70：根据每个自编码神经网络模型对应的聚类结果确定是否要重新构建自编码神经网络。
具体地，可以在得到多个不同的聚类结果之后，根据不同聚类结果的轮廓系数来确定是否要构建自编码神经网络。其中，可以重新构建一个自编码神经网络，也可以重新构建多个自编码神经网络，具体需要重新构建多少个自编码神经网络可以根据实际需求来定。
在一些具体实施例中，还可以通过人为观察聚类结果中各个簇的特征样本之间的存在的差异来确定是否要构建自编码神经网络。
S80：若确定要重新构建自编码神经网络，则根据聚类结果的轮廓系数构建目标自编码神经网络。
在一些其他的实施例中，若确定无需构建自编码神经网络，则选取聚类结果的轮廓系数最大的自编码神经网络模型作为最终模型。
该实施例采用了卷积神经网络模型进行初步的样本隐含特征提取，再采用训练好的自编码神经网络模型来进行样本隐含特征的提取，通过多次特征提取，能够使得原本高维度的样本词向量维度降低的同时还能尽可能得保留文本样本中的特征信息，从而使得后续在对样本隐含特征对应的特征样本进行聚类时聚类效果更佳。在该实施例中，在训练得到自编码神经网络模型之后，对样本隐含特征对应的特征样本的聚类结果来重新构建自编码神经网络，能够通过对聚类结果轮来对自编码神经网络进行验证，能够得到一个聚类准确率高的自编码神经网络。
在一实施例中，如图3所示，步骤S70中，即根据每个自编码神经网络模型对应的聚类结果确定是否要重新构建自编码神经网络，具体包括如下步骤：
S71：分别计算每一个自编码神经网络模型对应的聚类结果的轮廓系数。
轮廓系数是聚类结果好坏的评价方法。轮廓系数的取值范围为:[-1，1]，轮廓系数越大，则证明聚类结果越好。
具体地，采用轮廓系数的计算公式来计算各个聚类结果的轮廓系数。
S72：判断每一个聚类结果的轮廓系数是否满足预设条件。
其中，预设条件是指聚类结果的轮廓系数需要到达的最低值，预设条件可以根据实际的聚类需求来定。例如，对聚类结果要求高的，可以将预设条件设置为0.95；对聚类结果要求不高的，可将预设条件设置为0.4。
S73：若每一个聚类结果的轮廓系数都不满足预设条件，则确定要重新构建自编码神 经网络。
具体地，若所述轮廓系数都不满足预设条件，则证明步骤S40训练得到的自编码神经网络模型的特征提取效果不佳，从而导致聚类效果也不佳，因此要重新构建自编码神经网络。
在一些另外的实施例中，若存在任意一个轮廓系数满足预设条件，则无需构建目标自编码神经网络。
在该实施例中，计算每一个自编码神经网络模型对应的聚类结果的轮廓系数，判断每一个聚类结果的轮廓系数是否满足预设条件，若每一个聚类结果的轮廓系数都不满足预设条件，则确定要重新构建自编码神经网络。
通过计算每个自编码神经网络模型对应的聚类结果的轮廓系数来确定是否要重新构建自编码神经网络，能够对自编码神经网络模型的验证进行标准化判断(即采用同一参数进行判断)。
在一个聚类结果包括多个簇，每个簇包含一个或多个特征样本的实施例中，如图4所示，步骤S71中，即分别计算每一个自编码神经网络模型对应的聚类结果的轮廓系数，包括如下步骤：
S711：计算同一所述聚类结果中，每一个所述特征样本到所述特征样本所属的簇中的其他特征样本的平均距离。
S712：计算同一所述聚类结果中，每一个所述特征样本到所述样本非所属的所述簇中的其他特征样本的平均距离。
S713：计算同一所述聚类结果中，所述每一个所述特征样本的轮廓系数，其中，轮廓系数为：
Figure PCTCN2019102671-appb-000001
其中，i表示同一所述聚类结果的特征样本i；S(i)为所述特征样本i的轮廓系数；b(i)为所述特征样本i到特征样本i非所属的簇中的其他特征样本的平均距离；a(i)为所述特征样本i到特征样本i所属的簇中的其他特征样本的平均距离；max{a(i),b(i)}表示取a(i)和b(i)中的最大值。
S714：取同一聚类结果中，所有特征样本的轮廓系数的平均值，作为同一聚类结果的轮廓系数。
也就是说，本申请实施例中会依据步骤S711-S714的计算方式，计算每个自编码网络模型的聚类结果的轮廓系数，从而得到每个自编码神经网络对应的聚类结果的轮廓系数。
在一实施例中，如图5所示，步骤S80：若确定要重新构建自编码神经网络，则根据所述轮廓系数构建目标自编码神经网络，包括如下步骤：
S81：确定所有聚类结果的轮廓系数与所有自编码神经网络模型的隐层和隐层单元的数量之间的隐含规律。
具体地，可以先确定每一个聚类结果的轮廓系数是根据哪一个聚类结果计算得出的，再反推出该聚类结果的轮廓系数所对应的自编码神经网络模型。获取该轮廓系数对应的自编码神经网络模型的隐层和隐层单元的数量，再找出轮廓系数的大小和自编码神经网络模型的隐层和隐层单元的数量之间的关系，得到隐含规律。
示例性地，隐含规律可以是自编码神经网络模型的隐层和隐层单元的数量越多，轮廓系数越大；也可以是自编码神经网络模型的隐层和隐层单元的数量越少，轮廓系数越大。
S82：将隐含规律作为目标自编码神经网络的隐层和隐层单元的数量的设置依据。
具体地，将隐含规律作为目标自编码神经网络的隐层和隐层单元的数量的设置依据。例如，隐含规律为自编码神经网络模型的隐层和隐层单元的数量越多，轮廓系数越大，则设置依据可以是增加隐层和隐层单元的数量；隐含规律为自编码神经网络模型的隐层和隐层单元的数量越少，轮廓系数越大。则设置依据可以是减少隐层和隐层单元的数量。
S83：根据设置依据来设置目标自编码神经网络的隐层和隐层单元的数量。
在该具体实施例中，通过确定所有所述轮廓系数与所有所述自编码神经网络模型的隐层和隐层单元的数量之间的隐含规律，再将隐含规律作为重新构建自编码神经网络模型的隐层和隐层单元的数量的设置依据，最后根据设置来设置自编码神经网络模型的隐层和隐层单元的数量。通过确定自编码神经网络模型的设置依据，使得目标自编码神经网络的的隐层和隐层单元的数量的设置能够有根据性地进行。
进一步地，在该具体实施例中，在设置了目标自编码神经网络的隐层和隐层单元的数量后，还需要对目标自编码神经网络重新进行训练得到目标自编码神经网络模型，以及采用目标自编码神经网络模型进行特征提取，并对目标自编码神经网络模型提取出的特征所对应的特征样本进行聚类，然后计算聚类结果的轮廓系数，若聚类结果的轮廓系数不符合预设条件，则重新构建目标神经网络，直至达到预期效果。其中预期效果是指该自编码神经网络模型所对应的聚类结果的轮廓系数满足预设条件。
在一实施例中，如图6所示，在步骤S80之后，即若确定要重新构建自编码神经网络，则根据聚类结果的轮廓系数构建目标自编码神经网络之后，该自编码神经网络处理方法还包括以下步骤：
S90：选取达到所述预期效果的目标自编码神经网络对应的目标自编码神经网络模型作为最终模型。
在一个设置依据为增加隐层和隐层单元的数量，或者减少隐层和隐层单元的数量的实施例中，如图7所示，步骤S83：若确定要重新构建自编码神经网络，则根据聚类结果的轮廓系数构建目标自编码神经网络，包括如下步骤：
S831：若设置依据为增加隐层和隐层单元的数量，则选择最大轮廓系数所对应的自编码神经网络模型的隐层和隐层单元数量作为目标自编码神经网络的设置基数；
具体地，选择最大轮廓系数所对应的自编码神经网络模型的隐层和隐层单元数量作为设置基数。示例性地，若自编码神经网络模型A、B和C中，最大轮廓系数所对应的自编码神经网络模型A的隐层和隐层单元数量为3层隐层和100个隐层单元，设置依据为增加自编码神经网络模型的隐层和隐层单元的数量，则目标自编码神经网络的设置基数为3层隐层和100个隐层单元。
S832：在设置基数上增加目标自编码神经网络隐层和隐层单元的数量。
具体地，目标自编码神经网络的隐层和隐层单元的数量以设置基数为基础，增加目标自编码神经网络隐层和隐层单元的数量。示例性地，目标自编码神经网络的设置基数为隐层和隐层单元的数量在3层隐层和100个隐层单元，则在3层隐层和100个隐层单元的设置基数上，增加目标自编码神经网络的隐层和隐层单元的数量。
或者
S833：若设置依据为减少隐层和隐层单元的数量，则选择最大轮廓系数所对应的自编 码神经网络模型的隐层和隐层单元数量作为目标自编码神经网络的设置基数。
具体地，选择最大轮廓系数所对应的自编码神经网络模型的隐层和隐层单元数量作为设置基数。示例性地，若自编码神经网络模型A、B和C中，最大轮廓系数所对应的自编码神经网络模型A的隐层和隐层单元数量为3层隐层和100个隐层单元，设置依据为减少自编码神经网络模型的隐层和隐层单元的数量，则目标自编码神经网络的设置基数为3层隐层和100个隐层单元。
S834：在设置基数上减少目标自编码神经网络隐层和隐层单元的数量。
具体地，目标自编码神经网络的隐层和隐层单元的数量以设置基数为基础，减少目标自编码神经网络隐层和隐层单元的数量。示例性地，目标自编码神经网络的设置基数为隐层和隐层单元的数量在3层隐层和100个隐层单元，则在3层隐层和100个隐层单元的设置基数上，减少目标自编码神经网络的隐层和隐层单元的数量。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种自编码神经网络处理装置，该自编码神经网络处理装置与上述实施例中自编码神经网络处理方法一一对应。如图8所示，该自编码神经网络处理装置包括获取模块10、转化模块20、第一特征提取模块30、训练模块40、第二特征提取模块50、聚类模块60、确定模块70和重构模块80。各功能模块详细说明如下：获取模块10，用于获取文本样本；转化模块20，用于将文本样本转化为样本词向量；第一特征提取模块30，用于将样本词向量输入到预先训练完毕的卷积神经网络模型中，以对样本词向量进行初步特征提取，得到样本初步隐含特征；训练模块40，用于将样本初步隐含特征输入到多个自编码神经网络中，对自编码神经网络进行训练，得到多个自编码神经网络模型，其中，各个自编码神经网络的隐层和隐层单元数量不同；第二特征提取模块50，用于分别将样本初步隐含特征输入到每个自编码神经网络模型中进行特征提取，分别得到每个自编码神经网络模型输出的样本隐含特征；聚类模块60，用于采用聚类算法对每个自编码神经网络模型提取出的样本隐含特征的特征样本分别进行聚类，得到每一个自编码神经网络模型对应的聚类结果；确定模块70，用于根据每个自编码神经网络模型对应的聚类结果确定是否要重新构建自编码神经网络；重构模块80，用于若确定要重新构建自编码神经网络，则根据聚类结果的轮廓系数构建目标自编码神经网络。
优选地，在一个实施例中，如图9所示，确定模块70包括：计算子模块71、判断子模块72和确定子模块73，各个模块之间详细的功能说明如下：计算子模块71，用于分别计算每一个自编码神经网络模型对应的聚类结果的轮廓系数；判断子模块72，用于判断每一个聚类结果的轮廓系数是否满足预设条件；确定子模块73，用于若每一个聚类结果的轮廓系数都不满足预设条件，则确定要重新构建自编码神经网络。
可选地，在一个实施例中，计算子模块71包括：第一计算单元、第二计算单元、第三计算单元和第四计算单元，各个单元之间详细的功能说明如下：第一计算单元，用于计算同一聚类结果中，每一个特征样本到特征样本所属的簇中的其他特征样本的平均距离；第二计算单元，用于计算同一聚类结果中，每一个特征样本到样本非所属的簇中的其他特征样本的平均距离；第三计算单元，用于计算同一聚类结果中，每一个特征样本的轮廓系数，其中，轮廓系数为：
Figure PCTCN2019102671-appb-000002
其中，i表示同一聚类结果的特征样本i；S(i)为特征样本i的轮廓系数；b(i)为特征样本i到特征样本i非所属的簇中的其他特征样本的平均距离；a(i)为特征样本i到特征样本i所属的簇中的其他特征样本的平均距离；max{a(i),b(i)}表示取a(i)和b(i)中的最大值；
第四计算单元，用于取同一聚类结果中，所有特征样本的轮廓系数的平均值，作为同一聚类结果的轮廓系数。
可选地，在一个实施例中，重构模块80包括：确定单元、设置依据确定单元和设置单元，各个单元之间的功能说明如下：确定单元，用于确定所有聚类结果的轮廓系数与所有自编码神经网络模型的隐层和隐层单元的数量之间的隐含规律；设置依据确定单元，用于将隐含规律作为目标自编码神经网络的隐层和隐层单元的数量的设置依据；设置单元，用于根据设置依据来设置目标自编码神经网络的隐层和隐层单元的数量。
可选地，在一个实施例中，在重构模块80之后，自编码神经网络处理装置还包括选取模块，该模块的详细功能说明如下：选取模块，用于选取达到预期效果的目标自编码神经网络对应的目标自编码神经网络模型作为最终模型。
可选地，在一个实施例中，设置单元包括：选取子单元和设置子单元，各个单元之间的详细说明如下：
选取子单元，用于若设置依据为增加隐层和隐层单元的数量，则选择最大轮廓系数所对应的自编码神经网络模型的隐层和隐层单元数量作为目标自编码神经网络的设置基数；
或者用于若设置依据为减少隐层和隐层单元的数量，则选择最大轮廓系数所对应的自编码神经网络模型的隐层和隐层单元数量作为目标自编码神经网络的设置基数。
设置子单元，用于在设置基数上增加目标自编码神经网络隐层和隐层单元的数量；
或者用于在设置基数上减少目标自编码神经网络隐层和隐层单元的数量。
关于自编码神经网络处理装置的具体限定可以参见上文中对于自编码神经网络处理方法的限定，在此不再赘述。上述自编码神经网络处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储所述自编码神经网络处理方法所需的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种自编码神经网络处理方法。本实施例提供的可读存储介质包括易失性存储介质和非易失性存储介质。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现以下步骤：获取文本样本；将文本样本转化为样本词向量；将样本词向量输入到预先训练完毕的卷积神经网络模型中，以对样本词向量进行初步特征提取，得到样本初步隐含特征；将样本初步隐 含特征输入到多个自编码神经网络中，对自编码神经网络进行训练，得到多个自编码神经网络模型，其中，各个自编码神经网络的隐层和隐层单元数量不同；分别将样本初步隐含特征输入到每个自编码神经网络模型中进行特征提取，分别得到每个自编码神经网络模型输出的样本隐含特征；采用聚类算法对每个自编码神经网络模型提取出的样本隐含特征的特征样本分别进行聚类，得到每一个自编码神经网络模型对应的聚类结果；根据每个自编码神经网络模型对应的聚类结果确定是否要重新构建自编码神经网络；若确定要重新构建自编码神经网络，则根据轮廓系数构建目标自编码神经网络。
在一个实施例中，提供了一个或多个存储有计算机可读指令的可读存储介质，该可读存储介质上存储有计算机可读指令，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器实现以下步骤：获取文本样本；将文本样本转化为样本词向量；将样本词向量输入到预先训练完毕的卷积神经网络模型中，以对样本词向量进行初步特征提取，得到样本初步隐含特征；将样本初步隐含特征输入到多个自编码神经网络中，对自编码神经网络进行训练，得到多个自编码神经网络模型，其中，各个自编码神经网络的隐层和隐层单元数量不同；分别将样本初步隐含特征输入到每个自编码神经网络模型中进行特征提取，分别得到每个自编码神经网络模型输出的样本隐含特征；采用聚类算法对每个自编码神经网络模型提取出的样本隐含特征的特征样本分别进行聚类，得到每一个自编码神经网络模型对应的聚类结果；根据每个自编码神经网络模型对应的聚类结果确定是否要重新构建自编码神经网络；若确定要重新构建自编码神经网络，则根据轮廓系数构建目标自编码神经网络。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (20)

  1. 一种自编码神经网络处理方法，其特征在于，包括：
    获取文本样本；
    将所述文本样本转化为样本词向量；
    将所述样本词向量输入到预先训练完毕的卷积神经网络模型中，以对所述样本词向量进行初步特征提取，得到样本初步隐含特征；
    将所述样本初步隐含特征输入到多个自编码神经网络中，对所述自编码神经网络进行训练，得到多个自编码神经网络模型，其中，各个所述自编码神经网络的隐层和隐层单元数量不同；
    分别将所述样本初步隐含特征输入到每个所述自编码神经网络模型中进行特征提取，分别得到每个所述自编码神经网络模型输出的样本隐含特征；
    采用聚类算法对每个所述自编码神经网络模型提取出的所述样本隐含特征的特征样本分别进行聚类，得到每一个所述自编码神经网络模型对应的聚类结果；
    根据每个所述自编码神经网络模型对应的所述聚类结果确定是否要重新构建自编码神经网络；
    若确定要重新构建自编码神经网络，则根据所述聚类结果的轮廓系数构建目标自编码神经网络。
  2. 如权利要求1所述的自编码神经网络处理方法，其特征在于，所述根据每个所述自编码神经网络模型对应的所述聚类结果确定是否要重新构建自编码神经网络，包括：
    分别计算每一个所述自编码神经网络模型对应的聚类结果的轮廓系数；
    判断每一个所述聚类结果的轮廓系数是否满足预设条件；
    若所述每一个所述聚类结果的轮廓系数都不满足所述预设条件，则确定要重新构建自编码神经网络。
  3. 如权利要求2所述的自编码神经网络处理方法，其特征在于，所述聚类结果包括多个簇，每个所述簇包含一个或多个所述特征样本，所述分别计算每一个所述自编码神经网络模型对应的聚类结果的轮廓系数，包括：
    计算同一所述聚类结果中，每一个所述特征样本到所述特征样本所属的簇中的其他特征样本的平均距离；
    计算同一所述聚类结果中，每一个所述特征样本到所述样本非所属的所述簇中的其他特征样本的平均距离；
    计算同一所述聚类结果中，所述每一个所述特征样本的轮廓系数，其中，所述轮廓系数为：
    Figure PCTCN2019102671-appb-100001
    其中，i表示同一所述聚类结果的特征样本i；S(i)为所述特征样本i的轮廓系数；b(i)为所述特征样本i到特征样本i非所属的簇中的其他特征样本的平均距离；a(i)为所述特征样本i到特征样本i所属的簇中的其他特征样本的平均距离；max{a(i),b(i)}表示取a(i)和b(i)中的最大值；
    取同一所述聚类结果中，所有所述特征样本的轮廓系数的平均值，作为同一所述聚类结果的轮廓系数。
  4. 如权利要求1所述的自编码神经网络处理方法，其特征在于，所述若确定要重新构建自编码神经网络，则根据所述轮廓系数构建目标自编码神经网络，包括：
    确定所有所述聚类结果的轮廓系数与所有所述自编码神经网络模型的隐层和隐层单元的数量之间的隐含规律；
    将所述隐含规律作为目标自编码神经网络的隐层和隐层单元的数量的设置依据；
    根据所述设置依据来设置所述目标自编码神经网络的隐层和隐层单元的数量。
  5. 如权利要求1所述的自编码神经网络处理方法，其特征在于，在所述若确定要重新构建自编码神经网络，则根据所述轮廓系数构建目标自编码神经网络之后，包括：
    选取达到预期效果的所述目标自编码神经网络对应的目标自编码神经网络模型作为最终模型。
  6. 如权利要求4所述的自编码神经网络处理方法，其特征在于，所述设置依据为增加隐层和隐层单元的数量，或者减少隐层和隐层单元的数量，所述根据所述设置依据来设置所述目标自编码神经网络的隐层和隐层单元的数量，包括：
    若所述设置依据为增加隐层和隐层单元的数量，则选择最大轮廓系数所对应的所述自编码神经网络模型的隐层和隐层单元数量作为所述目标自编码神经网络的设置基数；
    在所述设置基数上增加所述目标自编码神经网络隐层和隐层单元的数量；
    或者；
    若所述设置依据为减少隐层和隐层单元的数量，则选择最大轮廓系数所对应的所述自编码神经网络模型的隐层和隐层单元数量作为所述目标自编码神经网络的设置基数；
    在所述设置基数上减少所述目标自编码神经网络隐层和隐层单元的数量。
  7. 一种自编码神经网络处理装置，其特征在于，包括：
    获取模块，用于获取文本样本；
    转化模块，用于将所述文本样本转化为样本词向量；
    第一特征提取模块，用于将所述样本词向量输入到预先训练完毕的卷积神经网络模型中，以对所述样本词向量进行初步特征提取，得到样本初步隐含特征；
    训练模块，用于将所述样本初步隐含特征输入到多个自编码神经网络中，对所述自编码神经网络进行训练，得到多个自编码神经网络模型，其中，各个所述自编码神经网络的隐层和隐层单元数量不同；
    第二特征提取模块，用于分别将所述样本初步隐含特征输入到每个所述自编码神经网络模型中进行特征提取，分别得到每个所述自编码神经网络模型输出的样本隐含特征；
    聚类模块，用于采用聚类算法对每个所述自编码神经网络模型提取出的所述样本隐含特征的特征样本分别进行聚类，得到每一个所述自编码神经网络模型对应的聚类结果；
    确定模块，用于根据每个所述自编码神经网络模型对应的所述聚类结果确定是否要重新构建自编码神经网络；
    重构模块，用于若确定要重新构建自编码神经网络，则根据所述聚类结果的轮廓系数构建目标自编码神经网络。
  8. 如权利要求7所述的自编码神经网络处理装置，其特征在于，所述确定模块包括：
    计算子模块，用于分别计算每一个所述自编码神经网络模型对应的聚类结果的轮廓系数；
    判断子模块，用于判断每一个所述聚类结果的轮廓系数是否满足预设条件；
    确定子模块，用于若所述每一个所述聚类结果的轮廓系数都不满足所述预设条件，则确定要重新构建自编码神经网络。
  9. 如权利要求8所述的自编码神经网络处理装置，其特征在于，所述计算子模块包括：
    第一计算单元，用于计算同一所述聚类结果中，每一个所述特征样本到所述特征样本所属的簇中的其他特征样本的平均距离；
    第二计算单元，用于计算同一所述聚类结果中，每一个所述特征样本到所述样本非所属的所述簇中的其他特征样本的平均距离；
    第三计算单元，用于计算同一所述聚类结果中，所述每一个所述特征样本的轮廓系数，其中，所述轮廓系数为：
    Figure PCTCN2019102671-appb-100002
    其中，i表示同一所述聚类结果的特征样本i；S(i)为所述特征样本i的轮廓系数；b(i)为所述特征样本i到特征样本i非所属的簇中的其他特征样本的平均距离；a(i)为所述特征样本i到特征样本i所属的簇中的其他特征样本的平均距离；max{a(i),b(i)}表示取a(i)和b(i)中的最大值；
    第四计算单元，用于取同一所述聚类结果中，所有所述特征样本的轮廓系数的平均值，作为同一所述聚类结果的轮廓系数。
  10. 如权利要求7所述的自编码神经网络处理装置，其特征在于，所述重构模块80包括：
    确定单元，用于确定所有聚类结果的轮廓系数与所有自编码神经网络模型的隐层和隐层单元的数量之间的隐含规律；
    设置依据确定单元，用于将所述隐含规律作为所述目标自编码神经网络的隐层和隐层单元的数量的设置依据；
    设置单元，用于根据设置依据来设置所述目标自编码神经网络的隐层和隐层单元的数量。
  11. 一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：
    获取文本样本；
    将所述文本样本转化为样本词向量；
    将所述样本词向量输入到预先训练完毕的卷积神经网络模型中，以对所述样本词向量进行初步特征提取，得到样本初步隐含特征；
    将所述样本初步隐含特征输入到多个自编码神经网络中，对所述自编码神经网络进行训练，得到多个自编码神经网络模型，其中，各个所述自编码神经网络的隐层和隐层单元数量不同；
    分别将所述样本初步隐含特征输入到每个所述自编码神经网络模型中进行特征提取，分别得到每个所述自编码神经网络模型输出的样本隐含特征；
    采用聚类算法对每个所述自编码神经网络模型提取出的所述样本隐含特征的特征样本分别进行聚类，得到每一个所述自编码神经网络模型对应的聚类结果；
    根据每个所述自编码神经网络模型对应的所述聚类结果确定是否要重新构建自编码 神经网络；
    若确定要重新构建自编码神经网络，则根据所述聚类结果的轮廓系数构建目标自编码神经网络。
  12. 如权利要求11所述的计算机设备，其特征在于，所述根据每个所述自编码神经网络模型对应的所述聚类结果确定是否要重新构建自编码神经网络，包括：
    分别计算每一个所述自编码神经网络模型对应的聚类结果的轮廓系数；
    判断每一个所述聚类结果的轮廓系数是否满足预设条件；
    若所述每一个所述聚类结果的轮廓系数都不满足所述预设条件，则确定要重新构建自编码神经网络。
  13. 如权利要求12所述的计算机设备，其特征在于，所述聚类结果包括多个簇，每个所述簇包含一个或多个所述特征样本，所述分别计算每一个所述自编码神经网络模型对应的聚类结果的轮廓系数，包括：
    计算同一所述聚类结果中，每一个所述特征样本到所述特征样本所属的簇中的其他特征样本的平均距离；
    计算同一所述聚类结果中，每一个所述特征样本到所述样本非所属的所述簇中的其他特征样本的平均距离；
    计算同一所述聚类结果中，所述每一个所述特征样本的轮廓系数，其中，所述轮廓系数为：
    Figure PCTCN2019102671-appb-100003
    其中，i表示同一所述聚类结果的特征样本i；S(i)为所述特征样本i的轮廓系数；b(i)为所述特征样本i到特征样本i非所属的簇中的其他特征样本的平均距离；a(i)为所述特征样本i到特征样本i所属的簇中的其他特征样本的平均距离；max{a(i),b(i)}表示取a(i)和b(i)中的最大值；
    取同一所述聚类结果中，所有所述特征样本的轮廓系数的平均值，作为同一所述聚类结果的轮廓系数。
  14. 如权利要求11所述的计算机设备，其特征在于，所述若确定要重新构建自编码神经网络，则根据所述轮廓系数构建目标自编码神经网络，包括：
    确定所有所述聚类结果的轮廓系数与所有所述自编码神经网络模型的隐层和隐层单元的数量之间的隐含规律；
    将所述隐含规律作为目标自编码神经网络的隐层和隐层单元的数量的设置依据；
    根据所述设置依据来设置所述目标自编码神经网络的隐层和隐层单元的数量。
  15. 如权利要求11所述的计算机设备，其特征在于，在所述若确定要重新构建自编码神经网络，则根据所述轮廓系数构建目标自编码神经网络之后，包括：
    选取达到预期效果的所述目标自编码神经网络对应的目标自编码神经网络模型作为最终模型。
  16. 一个或多个存储有计算机可读指令的可读存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如下步骤：
    获取文本样本；
    将所述文本样本转化为样本词向量；
    将所述样本词向量输入到预先训练完毕的卷积神经网络模型中，以对所述样本词向量 进行初步特征提取，得到样本初步隐含特征；
    将所述样本初步隐含特征输入到多个自编码神经网络中，对所述自编码神经网络进行训练，得到多个自编码神经网络模型，其中，各个所述自编码神经网络的隐层和隐层单元数量不同；
    分别将所述样本初步隐含特征输入到每个所述自编码神经网络模型中进行特征提取，分别得到每个所述自编码神经网络模型输出的样本隐含特征；
    采用聚类算法对每个所述自编码神经网络模型提取出的所述样本隐含特征的特征样本分别进行聚类，得到每一个所述自编码神经网络模型对应的聚类结果；
    根据每个所述自编码神经网络模型对应的所述聚类结果确定是否要重新构建自编码神经网络；
    若确定要重新构建自编码神经网络，则根据所述聚类结果的轮廓系数构建目标自编码神经网络。
  17. 如权利要求16所述的可读存储介质，其特征在于，所述根据每个所述自编码神经网络模型对应的所述聚类结果确定是否要重新构建自编码神经网络，包括：
    分别计算每一个所述自编码神经网络模型对应的聚类结果的轮廓系数；
    判断每一个所述聚类结果的轮廓系数是否满足预设条件；
    若所述每一个所述聚类结果的轮廓系数都不满足所述预设条件，则确定要重新构建自编码神经网络。
  18. 如权利要求17所述的可读存储介质，其特征在于，所述聚类结果包括多个簇，每个所述簇包含一个或多个所述特征样本，所述分别计算每一个所述自编码神经网络模型对应的聚类结果的轮廓系数，包括：
    计算同一所述聚类结果中，每一个所述特征样本到所述特征样本所属的簇中的其他特征样本的平均距离；
    计算同一所述聚类结果中，每一个所述特征样本到所述样本非所属的所述簇中的其他特征样本的平均距离；
    计算同一所述聚类结果中，所述每一个所述特征样本的轮廓系数，其中，所述轮廓系数为：
    Figure PCTCN2019102671-appb-100004
    其中，i表示同一所述聚类结果的特征样本i；S(i)为所述特征样本i的轮廓系数；b(i)为所述特征样本i到特征样本i非所属的簇中的其他特征样本的平均距离；a(i)为所述特征样本i到特征样本i所属的簇中的其他特征样本的平均距离；max{a(i),b(i)}表示取a(i)和b(i)中的最大值；
    取同一所述聚类结果中，所有所述特征样本的轮廓系数的平均值，作为同一所述聚类结果的轮廓系数。
  19. 如权利要求16所述的可读存储介质，其特征在于，所述若确定要重新构建自编码神经网络，则根据所述轮廓系数构建目标自编码神经网络，包括：
    确定所有所述聚类结果的轮廓系数与所有所述自编码神经网络模型的隐层和隐层单元的数量之间的隐含规律；
    将所述隐含规律作为目标自编码神经网络的隐层和隐层单元的数量的设置依据；
    根据所述设置依据来设置所述目标自编码神经网络的隐层和隐层单元的数量。
  20. 如权利要求16所述的可读存储介质，其特征在于，在所述若确定要重新构建自编码神经网络，则根据所述轮廓系数构建目标自编码神经网络之后，包括：
    选取达到预期效果的所述目标自编码神经网络对应的目标自编码神经网络模型作为最终模型。
PCT/CN2019/102671 2019-04-26 2019-08-27 自编码神经网络处理方法、装置、计算机设备及存储介质 Ceased WO2020215560A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910345019.2A CN110119447B (zh) 2019-04-26 2019-04-26 自编码神经网络处理方法、装置、计算机设备及存储介质
CN201910345019.2 2019-04-26

Publications (1)

Publication Number Publication Date
WO2020215560A1 true WO2020215560A1 (zh) 2020-10-29

Family

ID=67521501

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/102671 Ceased WO2020215560A1 (zh) 2019-04-26 2019-08-27 自编码神经网络处理方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN110119447B (zh)
WO (1) WO2020215560A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298892A (zh) * 2021-04-09 2021-08-24 北京沃东天骏信息技术有限公司 一种图像编码方法和设备，及存储介质
CN114004314A (zh) * 2021-12-14 2022-02-01 北京百度网讯科技有限公司 样本分类方法、装置、电子设备及存储介质
CN114328817A (zh) * 2021-11-24 2022-04-12 腾讯科技（深圳）有限公司 一种文本处理方法和装置
CN114462524A (zh) * 2022-01-19 2022-05-10 北京工业大学 一种面向数据中心批处理作业的聚类方法
CN114936591A (zh) * 2022-04-24 2022-08-23 支付宝(杭州)信息技术有限公司 特征补齐方法及装置、特征补齐模型、介质、设备及产品
CN115481189A (zh) * 2022-09-29 2022-12-16 中国银行股份有限公司 一种数据处理方法及装置
CN115879563A (zh) * 2022-09-02 2023-03-31 北京航空航天大学 一种模式识别的太极编码/决策方法
CN118965126A (zh) * 2024-10-16 2024-11-15 生态环境部华南环境科学研究所(生态环境部生态环境应急研究所) 一种工业热过程识别和新污染物排放高精度采样控制方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119447B (zh) * 2019-04-26 2023-06-16 平安科技（深圳）有限公司 自编码神经网络处理方法、装置、计算机设备及存储介质
CN111241700B (zh) * 2020-01-19 2022-12-30 中国科学院光电技术研究所 一种微波宽带超表面吸收器的智能设计方法
CN112329865B (zh) * 2020-11-09 2023-09-08 平安科技（深圳）有限公司 基于自编码器的数据异常识别方法、装置和计算机设备
CN112418289B (zh) * 2020-11-17 2021-08-03 北京京航计算通讯研究所 一种不完全标注数据的多标签分类处理方法及装置
CN112929341A (zh) * 2021-01-22 2021-06-08 网宿科技股份有限公司 一种dga域名的检测方法、系统及装置
CN112989635B (zh) * 2021-04-22 2022-05-06 昆明理工大学 基于自编码器多样性生成机制的集成学习软测量建模方法
CN113780450B (zh) * 2021-09-16 2023-07-28 郑州云智信安安全技术有限公司 基于自编码神经网络的分布式存储方法及系统
CN115145589A (zh) * 2022-08-15 2022-10-04 深圳前海微众银行股份有限公司 模型构建优化方法、设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447039A (zh) * 2016-09-28 2017-02-22 西安交通大学 基于自编码神经网络的无监督特征提取方法
US20180349350A1 (en) * 2017-06-01 2018-12-06 Beijing Baidu Netcom Science And Technology Co., Ltd. Artificial intelligence based method and apparatus for checking text
CN109145288A (zh) * 2018-07-11 2019-01-04 西安电子科技大学 基于变分自编码模型的文本深度特征提取方法
CN109376766A (zh) * 2018-09-18 2019-02-22 平安科技（深圳）有限公司 一种画像预测分类方法、装置及设备
CN110119447A (zh) * 2019-04-26 2019-08-13 平安科技（深圳）有限公司 自编码神经网络处理方法、装置、计算机设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160416A (zh) * 2015-07-31 2015-12-16 国家电网公司 一种结合主元分析与神经网络的台区合理线损预测方法
US20180218256A1 (en) * 2017-02-02 2018-08-02 Qualcomm Incorporated Deep convolution neural network behavior generator
CN107122809B (zh) * 2017-04-24 2020-04-28 北京工业大学 基于图像自编码的神经网络特征学习方法
CN107958216A (zh) * 2017-11-27 2018-04-24 沈阳航空航天大学 基于半监督的多模态深度学习分类方法
CN108362510B (zh) * 2017-11-30 2020-12-29 中国航空综合技术研究所 一种基于证据神经网络模型的机械产品故障模式识别方法
CN108491864B (zh) * 2018-02-27 2020-05-01 西北工业大学 基于自动确定卷积核大小卷积神经网络的高光谱图像分类
CN109214084B (zh) * 2018-09-03 2022-11-22 国网浙江省电力有限公司舟山供电公司 孔压静力触探海底土层划分方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447039A (zh) * 2016-09-28 2017-02-22 西安交通大学 基于自编码神经网络的无监督特征提取方法
US20180349350A1 (en) * 2017-06-01 2018-12-06 Beijing Baidu Netcom Science And Technology Co., Ltd. Artificial intelligence based method and apparatus for checking text
CN109145288A (zh) * 2018-07-11 2019-01-04 西安电子科技大学 基于变分自编码模型的文本深度特征提取方法
CN109376766A (zh) * 2018-09-18 2019-02-22 平安科技（深圳）有限公司 一种画像预测分类方法、装置及设备
CN110119447A (zh) * 2019-04-26 2019-08-13 平安科技（深圳）有限公司 自编码神经网络处理方法、装置、计算机设备及存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298892A (zh) * 2021-04-09 2021-08-24 北京沃东天骏信息技术有限公司 一种图像编码方法和设备，及存储介质
US20220329820A1 (en) * 2021-04-09 2022-10-13 Beijing Wodong Tianjun Information Technology Co., Ltd. Method and device for picture coding, and storage medium
US12464130B2 (en) * 2021-04-09 2025-11-04 Beijing Wodong Tianjun Information Technology Co., Ltd. Method and device for picture coding, and storage medium
CN114328817A (zh) * 2021-11-24 2022-04-12 腾讯科技（深圳）有限公司 一种文本处理方法和装置
CN114004314A (zh) * 2021-12-14 2022-02-01 北京百度网讯科技有限公司 样本分类方法、装置、电子设备及存储介质
CN114462524A (zh) * 2022-01-19 2022-05-10 北京工业大学 一种面向数据中心批处理作业的聚类方法
CN114936591A (zh) * 2022-04-24 2022-08-23 支付宝(杭州)信息技术有限公司 特征补齐方法及装置、特征补齐模型、介质、设备及产品
CN115879563A (zh) * 2022-09-02 2023-03-31 北京航空航天大学 一种模式识别的太极编码/决策方法
CN115481189A (zh) * 2022-09-29 2022-12-16 中国银行股份有限公司 一种数据处理方法及装置
CN118965126A (zh) * 2024-10-16 2024-11-15 生态环境部华南环境科学研究所(生态环境部生态环境应急研究所) 一种工业热过程识别和新污染物排放高精度采样控制方法
CN118965126B (zh) * 2024-10-16 2025-01-07 生态环境部华南环境科学研究所(生态环境部生态环境应急研究所) 一种工业热过程识别和新污染物排放高精度采样控制方法

Also Published As

Publication number Publication date
CN110119447A (zh) 2019-08-13
CN110119447B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
WO2020215560A1 (zh) 自编码神经网络处理方法、装置、计算机设备及存储介质
CN113593611B (zh) 语音分类网络训练方法、装置、计算设备及存储介质
JP7376731B2 (ja) 画像認識モデル生成方法、装置、コンピュータ機器及び記憶媒体
WO2022142613A1 (zh) 训练语料扩充方法及装置、意图识别模型训练方法及装置
CN109960725B (zh) 基于情感的文本分类处理方法、装置和计算机设备
WO2021027553A1 (zh) 微表情分类模型生成、图像识别方法、装置、设备及介质
WO2020237869A1 (zh) 一种问题意图识别方法、装置、计算机设备及存储介质
CN109165284B (zh) 一种基于大数据的金融领域人机对话意图识别方法
WO2021042503A1 (zh) 信息分类抽取方法、装置、计算机设备和存储介质
WO2021051598A1 (zh) 文本情感分析模型训练方法、装置、设备及可读存储介质
WO2020140403A1 (zh) 文本分类方法、装置、计算机设备及存储介质
CN110287296A (zh) 一种问题答案选取方法、装置、计算机设备及存储介质
WO2020177230A1 (zh) 基于机器学习的医疗数据分类方法、装置、计算机设备及存储介质
WO2022141864A1 (zh) 对话意图识别模型训练方法、装置、计算机设备及介质
CN110097177B (zh) 一种基于伪孪生网络的网络剪枝方法
CN111985228A (zh) 文本关键词提取方法、装置、计算机设备和存储介质
CN112699923A (zh) 文档分类预测方法、装置、计算机设备及存储介质
CN113762505B (zh) 一种卷积神经网络的按通道l2范数聚类剪枝方法
CN117591659A (zh) 基于ChatGLM运维场景的信息处理方法、装置、设备及介质
CN106339719A (zh) 一种图像识别方法及装置
CN114332500A (zh) 图像处理模型训练方法、装置、计算机设备和存储介质
CN109754077B (zh) 深度神经网络的网络模型压缩方法、装置及计算机设备
CN112652295A (zh) 语言模型训练、视频字幕校验方法、装置、设备及介质
CN109977394A (zh) 文本模型训练方法、文本分析方法、装置、设备及介质
CN115881103A (zh) 语音情绪识别模型训练方法、语音情绪识别方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19925871

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19925871

Country of ref document: EP

Kind code of ref document: A1