WO2020143303A1 - 深度学习模型训练方法、装置、计算机设备及存储介质 - Google Patents

深度学习模型训练方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
WO2020143303A1
WO2020143303A1 PCT/CN2019/117310 CN2019117310W WO2020143303A1 WO 2020143303 A1 WO2020143303 A1 WO 2020143303A1 CN 2019117310 W CN2019117310 W CN 2019117310W WO 2020143303 A1 WO2020143303 A1 WO 2020143303A1
Authority
WO
WIPO (PCT)
Prior art keywords
sample set
input
word segmentation
adjusted
activated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/117310
Other languages
English (en)
French (fr)
Inventor
金戈
徐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2020143303A1 publication Critical patent/WO2020143303A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Definitions

  • This application relates to the field of artificial intelligence technology, and in particular to a deep learning model training method, device, computer equipment, and storage medium.
  • Deep learning is a new field in machine learning research. Its motivation is to establish and simulate a neural network for human brain analysis and learning. It mimics the mechanism of the human brain to interpret data, such as images, sounds, and text.
  • Deep learning models for example, Convolutional Neural Networks (CNN) require a large amount of data training before they can be actually used.
  • CNN Convolutional Neural Networks
  • BN batch normalization
  • Embodiments of the present application provide a deep learning model training method, device, computer equipment, and storage medium, which are intended to improve the training effect of deep learning models.
  • an embodiment of the present application provides a deep learning model training method, which includes:
  • an embodiment of the present application further provides a deep learning model training device, which includes:
  • the first input unit is configured to input the input sample set to the input layer of the deep learning model to be trained, and use the output result of the input layer as the sample set to be adjusted;
  • a first activation unit configured to perform a nonlinear activation process on the sample set to be adjusted to obtain an activated sample set
  • the user performs batch normalization processing on the activated sample set to obtain a standard sample set
  • a second input unit configured to use the next layer of the deep learning model to be trained as a target layer, and input the standard sample set into the target layer;
  • the notification unit is configured to use the output result of the target layer as a new sample set to be adjusted, and notify the activation unit to return to the step of performing nonlinear activation processing on the sample set to be adjusted to obtain an activated sample set.
  • an embodiment of the present application further provides a computer device, including a memory and a processor connected to the memory; the memory is used to store a computer program; the processor is used to run a computer stored in the memory Program to perform the following steps:
  • an embodiment of the present application further provides a computer-readable storage medium that stores a computer program, and when the computer program is executed by a processor, causes the processor to perform the following steps:
  • FIG. 1 is a schematic flowchart of a deep learning model training method provided by an embodiment of the present application
  • FIG. 2 is a schematic diagram of a sub-process of a deep learning model training method provided by an embodiment of the present application
  • FIG. 3 is a schematic diagram of a sub-process of a deep learning model training method provided by an embodiment of the present application.
  • FIG. 4 is a schematic flowchart of a deep learning model training method provided by another embodiment of this application.
  • FIG. 5 is a schematic diagram of a sub-process of a deep learning model training method provided by an embodiment of the present application.
  • FIG. 6 is a schematic block diagram of a deep learning model training device provided by an embodiment of this application.
  • FIG. 7 is a schematic block diagram of a first activation unit unit of a deep learning model training device provided by an embodiment of this application;
  • FIG. 8 is a schematic block diagram of the first batch of standardized units of a deep learning model training device provided by an embodiment of this application;
  • FIG. 9 is a schematic block diagram of an acquisition unit of a first batch of standardized units of a deep learning model training device provided by an embodiment of this application;
  • FIG. 10 is a schematic block diagram of a deep learning model training device provided by another embodiment of this application.
  • FIG. 11 is a schematic block diagram of a first word segmentation unit of a deep learning model training device according to another embodiment of this application.
  • FIG. 12 is a schematic block diagram of a computer device provided by an embodiment of the present application.
  • the term “if” may be interpreted as “when” or “once” or “in response to determination” or “in response to detection” depending on the context .
  • the phrase “if determined” or “if [described condition or event] is detected” can be interpreted in the context to mean “once determined” or “in response to a determination” or “once detected [described condition or event ]” or “In response to detection of [the described condition or event]”.
  • FIG. 1 is a schematic flowchart of a deep learning model training method provided by an embodiment of the present application. As shown in the figure, the method includes the following steps S1-S5:
  • the deep learning model to be trained is trained by inputting a sample set.
  • the deep learning model to be trained includes an input layer, multiple hidden layers, and an output layer.
  • the input sample set is input to the input layer of the deep learning model to be trained to train the input layer of the deep learning model to be trained.
  • the output result of the input layer is used as the sample set to be adjusted, and the sample set to be adjusted is adjusted before being input to the next layer of the deep learning model to be trained.
  • a non-linear activation process is performed on the sample set to be adjusted to obtain an activated sample set.
  • step S2 specifically includes the following steps:
  • non-linear activation functions include: Sigmoid function, Tanh function, and ReLU (Rectified Linear Unit) function, which is not specifically limited in this application.
  • a batch standardization process is performed on the activated sample set to obtain a standard sample set.
  • the batch standardization process can reduce the difference of samples in the transmission of each layer of the deep learning model, thereby improving the training effect of the model.
  • batch normalization processing is performed on the activated sample set to obtain a standard sample set.
  • step S3 includes the following steps S31-S32:
  • the batch normalization process of the activated sample set needs to use the mean and variance of each sample in the activated sample set. To this end, first calculate the mean and variance of each sample in the activated sample set.
  • step S31 specifically includes the following steps S311-S312:
  • i is the serial number of the sample
  • m is the number of samples
  • x i is the value of the sample.
  • the batch normalization formula is In the above formula, i is the serial number of the sample, x i is the value of the sample in the active sample set, y i is the value of the sample in the corresponding standard sample set, and ⁇ is the average of each sample in the active sample set, ⁇ is the variance of each sample in the active sample set, m is the number of samples in the active sample set, w, ⁇ , ⁇ , and ⁇ are the parameters of the deep learning model to be trained.
  • the above random initialization is generated, and then iteratively updated during the training process These parameters.
  • the next layer of the deep learning model to be trained is used as a target layer, and the standard sample set is input into the target layer to train the target layer.
  • the output result of the target layer is used as a new sample set to be adjusted, and the step of performing nonlinear activation processing on the sample set to be adjusted to obtain an activated sample set is returned, and then the activated sample set
  • a batch standardization process is performed to obtain a standard sample set, and then the next layer of the deep learning model to be trained is used as a target layer, and the standard sample set is input into the target layer to train the target layer. And so on until the deep learning model to be trained outputs the result.
  • the output results of the previous layer of the deep learning model to be trained can be subjected to nonlinear activation processing and batch normalization processing, and then input to the next layer of the deep learning model to be trained until the deep learning model to be trained Output layer directly.
  • the batch normalization process directly acts on the next layer structure of the deep learning model, which can obtain The structure of the next layer has better control, which improves the training effect of the deep learning model to be trained.
  • FIG. 4 is a schematic flowchart of a deep learning model training method provided by another embodiment of the present application.
  • the deep learning model training method of this embodiment includes steps S41-S47. Steps S43-S47 are similar to steps S1-S5 in the above embodiment, and will not be repeated here. The steps S41-S42 added in this embodiment will be described in detail below.
  • S41 Perform word segmentation processing on the training text to obtain a word segmentation sample set, where the word segmentation sample set is a set of samples obtained after word segmentation is performed on the training text.
  • the training text is the text pre-stored in the terminal, which can be directly called to obtain.
  • word segmentation refers to dividing a sequence of Chinese characters into individual words. Word segmentation is the process of recombining consecutive word sequences into word sequences according to certain specifications. Word segmentation is a basic step in text processing.
  • the word segmentation sample set is obtained by performing word segmentation processing on the training text, where the word segmentation sample set is a set composed of samples (words) obtained after word segmentation is performed on the training text.
  • step S41 specifically includes the following steps S411-S412:
  • S411 Perform word segmentation processing on the training text by a preset word segmentation tool to obtain an initial word segmentation sample set.
  • the commonly used word segmentation tool is the stammer word segmentation tool.
  • the stutter word segmentation tool is used to perform word segmentation processing on the training text to obtain an initial word segmentation sample set.
  • the stammer word segmentation tool is suitable for the segmentation of Chinese text. The accuracy of the segmentation of Chinese text is extremely high, which can improve the accuracy of this program.
  • word segmentation tools may be used to perform word segmentation processing on the training text, which is not specifically limited in this application.
  • S412 Remove the stop words in the initial word segmentation sample set to obtain the word segmentation sample set.
  • stop words in the initial word segmentation sample set are removed to obtain a word segmentation sample set.
  • stop words are often prepositions, adverbs or conjunctions. For example, “in”, “inside”, “also”, “of”, “it”, “for”, etc. are stop words.
  • S42 Perform word vector training on the samples in the word segmentation sample set by using a preset word vector tool to obtain the input sample set, where the input sample set is composed of word vectors of the samples in the word segmentation sample set set.
  • word2vec is used as a word vector tool.
  • word2vec is a natural language processing tool, and its function is to convert words in natural language into word vectors that can be understood by a computer.
  • the word vector training is performed on the samples in the word segmentation sample set by word2vec to obtain the word vector of each sample.
  • the word vectors of the samples in the word segmentation sample set are combined to obtain the input sample set.
  • word vector tools may be used to perform word vector training on the samples in the word segmentation sample set, which is not specifically limited in this application.
  • FIG. 6 is a schematic block diagram of a deep learning model training device 60 provided by an embodiment of the present application. As shown in FIG. 6, corresponding to the above deep learning model training method, the present application further provides a deep learning model training device 60.
  • the deep learning model training device 60 includes a unit for performing the above deep learning model training method, and the device may be configured in a desktop computer, a tablet computer, a laptop computer, and other terminals. Specifically, referring to FIG. 6, the deep learning model training device 60 includes a first input unit 61, a first activation unit 62, a first batch of normalization units 63, a second input unit 64, and a notification unit 65.
  • the first input unit 61 is used to input the input sample set to the input layer of the deep learning model to be trained, and the output result of the input layer is used as the sample set to be adjusted;
  • the first activation unit 62 is used to Adjust the sample set to perform nonlinear activation processing to obtain the activated sample set;
  • the first batch of normalization unit 63 the user performs batch normalization processing on the activated sample set to obtain the standard sample set;
  • the second input unit 64 is used to convert the Train the next layer of the deep learning model as the target layer, and input the standard sample set into the target layer;
  • the notification unit 65 is used to use the output result of the target layer as a new sample set to be adjusted, and
  • the notification activation unit returns the step of performing a non-linear activation process on the sample set to be adjusted to obtain an activated sample set.
  • the first activation unit 62 includes a second activation unit 621.
  • the second activation unit 621 is configured to perform a nonlinear activation process on the sample set to be adjusted through a preset nonlinear activation function to obtain an activated sample set.
  • the first batch of normalization units 63 includes an acquisition unit 631 and a second batch of normalization units 632.
  • the obtaining unit 631 is used to obtain the mean and variance of each sample in the activated sample set; the second batch of normalization unit 632 is used to obtain the mean and variance of each sample in the activated sample set according to a preset batch normalization formula
  • the activated sample set is batch-processed.
  • the acquisition unit 631 includes a first calculation unit 6311 and a second calculation unit 6312.
  • the first calculation unit 6211 is used to pass the following formula Calculate the mean ⁇ of each sample in the active sample set;
  • the second calculation unit 6312 is used to pass the following formula Calculate the variance ⁇ of each sample in the active sample set; where i is the number of the sample, m is the number of samples, and x i is the value of the sample.
  • FIG. 10 is a schematic block diagram of a deep learning model training device 60 provided by another embodiment of the present application. As shown in FIG. 10, the deep learning model training device 60 of this embodiment adds the first word segmentation unit 66 and the training unit 67 based on the above embodiment.
  • the first word segmentation unit 66 is used to perform word segmentation processing on the training text to obtain a word segmentation sample set, and the word segmentation sample set is a set composed of samples obtained after word segmentation is performed on the training text; the training unit 67 is used to pass a preset
  • the word vector tool performs word vector training on the samples in the word segmentation sample set to obtain the input sample set, and the input sample set is a set of word vectors of the samples in the word segmentation sample set.
  • the first word segmentation unit 66 includes a second word segmentation unit 661 and a removal unit 662.
  • the second word segmentation unit 661 is used to perform word segmentation processing on the training text through a preset word segmentation tool to obtain an initial word segmentation sample set; a removal unit 662 is used to remove stop words in the initial word segmentation sample set to obtain the word segmentation Sample collection.
  • the above deep learning model training device 60 may be implemented in the form of a computer program, and the computer program may run on the computer device shown in FIG. 12.
  • FIG. 12 is a schematic block diagram of a computer device according to an embodiment of the present application.
  • the computer device 500 is a terminal, where the terminal may be a smart phone, a tablet computer, a notebook computer, a desktop computer, a personal digital assistant, a wearable device, and other electronic devices with communication functions.
  • the computer device 500 includes a processor 502, a memory, and a network interface 505 connected through a system bus 501, where the memory may include a non-volatile storage medium 503 and an internal memory 504.
  • the non-volatile storage medium 503 can store an operating system 5031 and a computer program 5032.
  • the computer program 5032 When executed, it may cause the processor 502 to execute a deep learning model training method.
  • the processor 502 is used to provide computing and control capabilities to support the operation of the entire computer device 500.
  • the internal memory 504 provides an environment for the operation of the computer program 5032 in the non-volatile storage medium 503.
  • the processor 502 can execute a deep learning model training method.
  • the network interface 505 is used for network communication with other devices.
  • FIG. 12 is only a block diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation on the computer device 500 to which the solution of the present application is applied.
  • the specific computer device 500 may include more or fewer components than shown in the figures, or combine certain components, or have a different arrangement of components.
  • the processor 502 is used to run the computer program 5032 stored in the memory to implement the deep learning model training method of the present application.
  • the processor 502 may be a central processing unit (Central Processing Unit, CPU), and the processor 502 may also be other general-purpose processors, digital signal processors (Digital Signal Processor, DSP), Application specific integrated circuit (Application Specific Integrated Circuit, ASIC), ready-made programmable gate array (Field-Programmable Gate Array, FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor may be a microprocessor or the processor may be any conventional processor.
  • a person of ordinary skill in the art may understand that all or part of the processes in the method for implementing the foregoing embodiments may be completed by instructing relevant hardware through a computer program.
  • the computer program may be stored in a storage medium, which is a computer-readable storage medium.
  • the computer program is executed by at least one processor in the computer system to implement the process steps of the foregoing method embodiments.
  • the present application also provides a storage medium.
  • the storage medium may be a computer-readable storage medium.
  • the storage medium stores a computer program.
  • the processor is caused to execute the deep learning model training method of the present application.
  • the storage medium is a physical, non-transitory storage medium, for example, it can be a U disk, a mobile hard disk, a read-only memory (Read-Only Memory, ROM), a magnetic disk, or an optical disk and other various physical storages that can store program codes medium.
  • ROM Read-Only Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)

Abstract

本申请实施例公开了一种深度学习模型训练方法、装置、计算机设备及存储介质。其中，该方法属于人工智能技术，该方法包括：将输入样本集合输入到待训练深度学习模型的输入层，并将输入层的输出结果作为待调整样本集合；对待调整样本集合进行非线性激活处理以得到激活样本集合；对激活样本集合进行批标准化处理以得到标准样本集合；将待训练深度学习模型的下一层作为目标层，并将标准样本集合输入到所述目标层中；将目标层的输出结果作为新的待调整样本集合，并继续对待调整样本集合进行非线性激活处理以得到激活样本集合。

Description

深度学习模型训练方法、装置、计算机设备及存储介质
本申请要求于2019年1月10日提交中国专利局、申请号为201910023779.1、申请名称为“深度学习模型训练方法、装置、计算机设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能技术领域，尤其涉及一种深度学习模型训练方法、装置、计算机设备及存储介质。
背景技术
深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本等数据。
深度学习模型，例如，卷积神经网络(Convolutional Neural Network，CNN)需经大量数据训练后才能实际使用。在深度学习模型的训练过程中，大多选择用批标准化(Batch Normalization，BN)的方法对深度学习模型的各层进行处理，使得网络在每一层传递的过程中样本的差异性有所降低，然而现有的处理方法对下一层网络的控制不够，导致深度学习模型的训练效果不佳。
发明内容
本申请实施例提供了一种深度学习模型训练方法、装置、计算机设备及存储介质，旨在提高深度学习模型的训练效果。
第一方面，本申请实施例提供了一种深度学习模型训练方法，其包括：
将输入样本集合输入到待训练深度学习模型的输入层，并将所述输入层的输出结果作为待调整样本集合；
对所述待调整样本集合进行非线性激活处理以得到激活样本集合；
对所述激活样本集合进行批标准化处理以得到标准样本集合；
将所述待训练深度学习模型的下一层作为目标层，并将所述标准样本集合输入到所述目标层中；
将所述目标层的输出结果作为新的待调整样本集合，并返回所述对所述待调整样本集合进行非线性激活处理以得到激活样本集合的步骤。
第二方面，本申请实施例还提供了一种深度学习模型训练装置，其包括：
第一输入单元，用于将输入样本集合输入到待训练深度学习模型的输入层，并将所述输入层的输出结果作为待调整样本集合；
第一激活单元，用于对所述待调整样本集合进行非线性激活处理以得到激活样本集合；
第一批标准化单元，用户对所述激活样本集合进行批标准化处理以得到标准样本集合；
第二输入单元，用于将所述待训练深度学习模型的下一层作为目标层，并将所述标准样本集合输入到所述目标层中；
通知单元，用于将所述目标层的输出结果作为新的待调整样本集合，并通知激活单元返回所述对所述待调整样本集合进行非线性激活处理以得到激活样本集合的步骤。
第三方面，本申请实施例还提供了一种计算机设备，包括存储器以及与所述存储器相连的处理器；所述存储器用于存储计算机程序；所述处理器用于运行所述存储器中存储的计算机程序，以执行如下步骤：
将输入样本集合输入到待训练深度学习模型的输入层，并将所述输入层的输出结果作为待调整样本集合；
对所述待调整样本集合进行非线性激活处理以得到激活样本集合；
对所述激活样本集合进行批标准化处理以得到标准样本集合；
将所述待训练深度学习模型的下一层作为目标层，并将所述标准样本集合输入到所述目标层中；
将所述目标层的输出结果作为新的待调整样本集合，并返回所述对所述待调整样本集合进行非线性激活处理以得到激活样本集合的步骤。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行以下步骤：
将输入样本集合输入到待训练深度学习模型的输入层，并将所述输入层的输出结果作为待调整样本集合；
对所述待调整样本集合进行非线性激活处理以得到激活样本集合；
对所述激活样本集合进行批标准化处理以得到标准样本集合；
将所述待训练深度学习模型的下一层作为目标层，并将所述标准样本集合输入到所述目标层中；
将所述目标层的输出结果作为新的待调整样本集合，并返回所述对所述待调整样本集合进行非线性激活处理以得到激活样本集合的步骤。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种深度学习模型训练方法的流程示意图；
图2为本申请实施例提供的一种深度学习模型训练方法的子流程示意图；
图3为本申请实施例提供的一种深度学习模型训练方法的子流程示意图；
图4为本申请另一实施例提供的一种深度学习模型训练方法的流程示意图；
图5为本申请实施例提供的一种深度学习模型训练方法的子流程示意图；
图6为本申请实施例提供的一种深度学习模型训练装置的示意性框图；
图7为本申请实施例提供的一种深度学习模型训练装置的第一激活单元单元的示意性框图；
图8为本申请实施例提供的一种深度学习模型训练装置的第一批标准化单元的示意性框图；
图9为本申请实施例提供的一种深度学习模型训练装置的第一批标准化单元的获取单元的示意性框图；
图10为本申请另一实施例提供的一种深度学习模型训练装置的示意性框图；
图11为本申请另一实施例提供的一种深度学习模型训练装置的第一分词单元的示意性框图；以及
图12为本申请实施例提供的一种计算机设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
请参阅图1，图1是本申请实施例提供的一种深度学习模型训练方法的流程示意图。如图所示，该方法包括以下步骤S1-S5：
S1，将输入样本集合输入到待训练深度学习模型的输入层，并将所述输入层的输出结果作为待调整样本集合。
在本申请实施例中，通过输入样本集合来对待训练深度学习模型进行训练。待训练深度学习模型包括输入层、多个隐藏层以及输出层。
具体实施中，将输入样本集合输入到待训练深度学习模型的输入层，以对待训练深度学习模型的输入层进行训练。
在本申请实施例中，输入层输出结果时，将输入层的输出结果作为待调整样本集合，并对待调整样本集合进行调整后再输入到待训练深度学习模型的下 一层中。
S2，对所述待调整样本集合进行非线性激活处理以得到激活样本集合。
具体实施中，对所述待调整样本集合进行非线性激活处理以得到激活样本集合。通过对所述待调整样本集合进行非线性激活处理能够提高待训练深度学习模型的非线性因素，提高待训练深度学习模型的表现力。
在一实施例中，以上步骤S2具体包括如下步骤：
通过预设的非线性激活函数对所述待调整样本集合进行非线性激活处理以得到激活样本集合。
需要说明的是，在本申请中，非线性激活函数包括：Sigmoid函数、Tanh函数以及ReLU(Rectified Linear Unit，修正线性单元)函数，本申请对此不作具体限定。
S3，对所述激活样本集合进行批标准化处理以得到标准样本集合。
具体实施中，通过对所述激活样本集合进行批标准化处理以得到标准样本集合。批标准化处理能够降低样本在深度学习模型的各层传递过程中的差异性，从而提高了模型的训练效果。
在本申请实施例中，先对待调整样本集合进行非线性激活处理得到激活样本集合后，再对激活样本集合进行批标准化处理以得到标准样本集合。通过将批标准化处理调整到非线性激活处理之后(非线性激活处理会提高样本的差异性)，能够获得对于下一层网络更好的控制，从而提高了对待训练深度学习模型的训练效果。
在一实施例中，参见图2，以上步骤S3包括如下步骤S31-S32：
S31，获取所述激活样本集合中各样本的均值以及方差。
具体实施中，对激活样本集合进行批标准化处理需要用到激活样本集合中各样本的均值以及方差，为此首先计算激活样本集合中各样本的均值以及方差。
在一实施例中，参见图3，以上步骤S31具体包括如下步骤S311-S312：
S311，通过以下公式
Figure PCTCN2019117310-appb-000001
计算激活样本集合中各样本的均值μ。
具体实施中，通过以下公式
Figure PCTCN2019117310-appb-000002
计算激活样本集合中各样本的均值μ，其中，i为样本的序号，m为样本的数量，x i为样本的值。
S312，通过以下公式
Figure PCTCN2019117310-appb-000003
计算激活样本集合中各样本的方差σ。
具体实施中，通过公式
Figure PCTCN2019117310-appb-000004
计算激活样本集合中各样本的方差σ。
其中，i为样本的序号，m为样本的数量，x i为样本的值。
S32，根据预设的批标准化公式以及所述激活样本集合中各样本的均值以及方差对所述激活样本集合进行批处理化处理。
具体实施中，在获取了激活样本集合中各样本的均值以及方差后，根据预设的批标准化公式以及所述激活样本集合中各样本的均值以及方差对所述激活样本集合进行批处理化处理。
在本申请实施例中，批标准化公式为
Figure PCTCN2019117310-appb-000005
其中，在以上公式中，i为样本的序号，x i为激活样本集合中的样本的数值，y i为相应的标准样本集合中的样本的数值，μ为激活样本集合中各样本的均值，σ为激活样本集合中各样本的方差，m为激活样本集合中样本的数量，w、γ、β以及ε为待训练深度学习模型的参数，以上随机初始化生成，然后训练过程中通过迭代来更新这些参数。
S4，将所述待训练深度学习模型的下一层作为目标层，并将所述标准样本集合输入到所述目标层中。
具体实施中，将所述待训练深度学习模型的下一层作为目标层，并将所述标准样本集合输入到所述目标层中，以对所述目标层进行训练。
S5，将所述目标层的输出结果作为新的待调整样本集合，并返回所述对所述待调整样本集合进行非线性激活处理以得到激活样本集合的步骤。
本申请的方案中，将目标层的输出结果作为新的待调整样本集合，并且返回所述对所述待调整样本集合进行非线性激活处理以得到激活样本集合的步骤，然后再对激活样本集合进行批标准化处理以得到标准样本集合，之后再将待训练深度学习模型的下一层作为目标层，并将所述标准样本集合输入到所述目标层中，以对所述目标层进行训练。以此类推直到所述待训练深度学习模型输出结果。
通过以上方法，可实现对待训练深度学习模型的上一层的输出结果先后进行非线性激活处理以及批标准化处理后，再输入到待训练深度学习模型的下一 层中，直到待训练深度学习模型的输出层时，直接输出结果。
本申请实施例中，通过将批标准化处理调整到非线性激活处理之后(非线性激活处理会提高样本的差异性)，从而批标准化处理直接作用于深度学习模型的下一层结构，能够获得对于下一层结构更好的控制，提高了对待训练深度学习模型的训练效果。
图4是本申请另一实施例提供的一种深度学习模型训练方法的流程示意图。如图4所示，本实施例的深度学习模型训练方法包括步骤S41-S47。其中步骤S43-S47与上述实施例中的步骤S1-S5类似，在此不再赘述。下面详细说明本实施例中所增加的步骤S41-S42。
S41，对训练文本进行分词处理以得到分词样本集合，其中，所述分词样本集合为对所述训练文本进行分词后得到的样本组成的集合。
在本实施例中，训练文本为预存在终端中的文本，可直接调用获取。
具体实施中，分词指的是将一个汉字序列切分成一个个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。分词是文本处理中的一个基础步骤。
通过对训练文本进行分词处理以得到分词样本集合，其中，分词样本集合为对所述训练文本进行分词后得到的样本(词语)组成的集合。
在一实施例中，在一实施例中，参见图5，以上步骤S41具体包括如下步骤S411-S412：
S411，通过预设的分词工具对训练文本进行分词处理以得到初始分词样本集合。
具体实施中，常用的分词工具为结巴分词工具。本实施例中，采用结巴分词工具对训练文本进行分词处理以得到初始分词样本集合。结巴分词工具适用于对中文文本的分词，其对中文文本分词的准确性极高，从而可提高本方案准确性。
或者，在其他实施例中，可采用其他分词工具来对训练文本进行分词处理，本申请对此不作具体限定。
S412，将所述初始分词样本集合中的停止词去除以得到所述分词样本集合。
具体实施中，将所述初始分词样本集合中的停止词去除以得到分词样本集合。需要说明的是，停止词(stop word)，常为介词、副词或连词等。例如，" 在"、"里面"、"也"、"的"、"它"、"为"等都为停止词。
S42，通过预设词向量工具对所述分词样本集合中的样本进行词向量训练以得到所述输入样本集合，其中，所述输入样本集合为所述分词样本集合中的样本的词向量组成的集合。
具体实施中，采用word2vec作为词向量工具，word2vec是一种自然语言处理工具，其作用就是将自然语言中的字词转为计算机可以理解的词向量。
传统的词向量容易受维数灾难的困扰，且任意两个词之间都是孤立的，不能体现词和词之间的关系，因此本实施例采用word2vec来得到词向量，其可通过计算向量之间的距离来体现词与词之间的相似性，使得训练结果更加准确。
本实施例中，通过word2vec对分词样本集合中的样本进行词向量训练以得到各样本的词向量。将分词样本集合中个样本的词向量组合得到输入样本集合。
或者，在其他实施例中，可采用其他词向量工具对所述分词样本集合中的样本进行词向量训练，本申请对此不作具体限定。
图6是本申请实施例提供的一种深度学习模型训练装置60的示意性框图。如图6所示，对应于以上深度学习模型训练方法，本申请还提供一种深度学习模型训练装置60。该深度学习模型训练装置60包括用于执行上述深度学习模型训练方法的单元，该装置可以被配置于台式电脑、平板电脑、手提电脑、等终端中。具体地，请参阅图6，该深度学习模型训练装置60包括第一输入单元61、第一激活单元62、第一批标准化单元63、第二输入单元64以及通知单元65。
第一输入单元61，用于将输入样本集合输入到待训练深度学习模型的输入层，并将所述输入层的输出结果作为待调整样本集合；第一激活单元62，用于对所述待调整样本集合进行非线性激活处理以得到激活样本集合；第一批标准化单元63，用户对所述激活样本集合进行批标准化处理以得到标准样本集合；第二输入单元64，用于将所述待训练深度学习模型的下一层作为目标层，并将所述标准样本集合输入到所述目标层中；通知单元65，用于将所述目标层的输出结果作为新的待调整样本集合，并通知激活单元返回所述对所述待调整样本集合进行非线性激活处理以得到激活样本集合的步骤。
在一实施例中，参见图7，第一激活单元62包括第二激活单元621。第二激活单元621，用于通过预设的非线性激活函数对所述待调整样本集合进行非线性激活处理以得到激活样本集合。
在一实施例中，参见图8，第一批标准化单元63包括获取单元631以及第二批标准化单元632。
获取单元631，用于获取所述激活样本集合中各样本的均值以及方差；第二批标准化单元632，用于根据预设的批标准化公式以及所述激活样本集合中各样本的均值以及方差对所述激活样本集合进行批处理化处理。
在一实施例中，参见图9，获取单元631包括第一计算单元6311以及第二计算单元6312。
第一计算单元6211，用于通过以下公式
Figure PCTCN2019117310-appb-000006
计算激活样本集合中各样本的均值μ；第二计算单元6312，用于通过以下公式
Figure PCTCN2019117310-appb-000007
计算激活样本集合中各样本的方差σ；其中，i为样本的序号，m为样本的数量，x i为样本的值。
图10是本申请另一实施例提供的一种深度学习模型训练装置60的示意性框图。如图10所示，本实施例的深度学习模型训练装置60是上述实施例的基础上增加了第一分词单元66以及训练单元67。
第一分词单元66，用于对训练文本进行分词处理以得到分词样本集合，所述分词样本集合为对所述训练文本进行分词后得到的样本组成的集合；训练单元67，用于通过预设词向量工具对所述分词样本集合中的样本进行词向量训练以得到所述输入样本集合，所述输入样本集合为所述分词样本集合中的样本的词向量组成的集合。
在一实施例中，参见图11，第一分词单元66包括第二分词单元661以及去除单元662。
第二分词单元661，用于通过预设的分词工具对训练文本进行分词处理以得到初始分词样本集合；去除单元662，用于将所述初始分词样本集合中的停止词去除以得到所述分词样本集合。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述深度学习模型训练装置60和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述深度学习模型训练装置60可以实现为一种计算机程序的形式，该计算机程序可以在如图12所示的计算机设备上运行。
请参阅图12，图12是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500是终端，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。
参阅图12，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行一种深度学习模型训练方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种深度学习模型训练方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本申请的深度学习模型训练方法。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(Central Processing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本申请还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。该计算机程序被处理器执行时使处理器执行本申请的深度学习模型训练方法。
所述存储介质为实体的、非瞬时性的存储介质，例如可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所述，仅为本申请的具体实施方式，但本申请明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

  1. 一种深度学习模型训练方法，包括：
    将输入样本集合输入到待训练深度学习模型的输入层，并将所述输入层的输出结果作为待调整样本集合；
    对所述待调整样本集合进行非线性激活处理以得到激活样本集合；
    对所述激活样本集合进行批标准化处理以得到标准样本集合；
    将所述待训练深度学习模型的下一层作为目标层，并将所述标准样本集合输入到所述目标层中；
    将所述目标层的输出结果作为新的待调整样本集合，并返回所述对所述待调整样本集合进行非线性激活处理以得到激活样本集合的步骤。
  2. 根据权利要求1所述的方法，其中，所述对所述待调整样本集合进行非线性激活处理以得到激活样本集合，包括：
    通过预设的非线性激活函数对所述待调整样本集合进行非线性激活处理以得到激活样本集合。
  3. 根据权利要求2所述的方法，其中，所述非线性激活函数包括Sigmoid函数、Tanh函数以及ReLU函数。
  4. 根据权利要求1所述的方法，其中，所述对所述激活样本集合进行批标准化处理以得到标准样本集合，包括：
    获取所述激活样本集合中各样本的均值以及方差；
    根据预设的批标准化公式以及所述激活样本集合中各样本的均值以及方差对所述激活样本集合进行批处理化处理。
  5. 根据权利要求4所述的方法，其中，所述获取所述激活样本集合中各样本的均值以及方差，包括：
    通过以下公式
    Figure PCTCN2019117310-appb-100001
    计算激活样本集合中各样本的均值μ；
    通过以下公式
    Figure PCTCN2019117310-appb-100002
    计算激活样本集合中各样本的方差σ；
    其中，i为样本的序号，m为样本的数量，x i为样本的值。
  6. 根据权利要求1所述的方法，其中，在所述将输入样本集合输入到待训练深度学习模型的输入层，并将所述输入层的输出结果作为待调整样本集合之前，所述方法还包括：
    对训练文本进行分词处理以得到分词样本集合，所述分词样本集合为对所述训练文本进行分词后得到的样本组成的集合；
    通过预设词向量工具对所述分词样本集合中的样本进行词向量训练以得到所述输入样本集合，所述输入样本集合为所述分词样本集合中的样本的词向量组成的集合。
  7. 根据权利要求6所述的方法，其中，所述对训练文本进行分词处理以得到分词样本集合，包括：
    通过预设的分词工具对训练文本进行分词处理以得到初始分词样本集合；
    将所述初始分词样本集合中的停止词去除以得到所述分词样本集合。
  8. 根据权利要求6所述的方法，其中，所述词向量工具为word2vec。
  9. 根据权利要求7所述的方法，其中，所述分词工具为结巴分词工具。
  10. 一种深度学习模型训练装置，包括：
    第一输入单元，用于将输入样本集合输入到待训练深度学习模型的输入层，并将所述输入层的输出结果作为待调整样本集合；
    第一激活单元，用于对所述待调整样本集合进行非线性激活处理以得到激活样本集合；
    第一批标准化单元，用户对所述激活样本集合进行批标准化处理以得到标准样本集合；
    第二输入单元，用于将所述待训练深度学习模型的下一层作为目标层，并将所述标准样本集合输入到所述目标层中；
    通知单元，用于将所述目标层的输出结果作为新的待调整样本集合，并通知激活单元返回所述对所述待调整样本集合进行非线性激活处理以得到激活样本集合的步骤。
  11. 一种计算机设备，包括存储器以及与所述存储器相连的处理器；其中，所述存储器用于存储计算机程序；所述处理器用于运行所述存储器中存储的计算机程序，以执行如下步骤：
    将输入样本集合输入到待训练深度学习模型的输入层，并将所述输入层的输出结果作为待调整样本集合；
    对所述待调整样本集合进行非线性激活处理以得到激活样本集合；
    对所述激活样本集合进行批标准化处理以得到标准样本集合；
    将所述待训练深度学习模型的下一层作为目标层，并将所述标准样本集合输入到所述目标层中；
    将所述目标层的输出结果作为新的待调整样本集合，并返回所述对所述待调整样本集合进行非线性激活处理以得到激活样本集合的步骤。
  12. 根据权利要求11所述的计算机设备，其中，所述对所述待调整样本集合进行非线性激活处理以得到激活样本集合的步骤包括：
    通过预设的非线性激活函数对所述待调整样本集合进行非线性激活处理以得到激活样本集合。
  13. 根据权利要求12所述的计算机设备，其中，所述非线性激活函数包括Sigmoid函数、Tanh函数以及ReLU函数。
  14. 根据权利要求11所述的计算机设备，其中，所述对所述激活样本集合进行批标准化处理以得到标准样本集合的步骤包括：
    获取所述激活样本集合中各样本的均值以及方差；
    根据预设的批标准化公式以及所述激活样本集合中各样本的均值以及方差对所述激活样本集合进行批处理化处理。
  15. 根据权利要求14所述的计算机设备，其中，所述获取所述激活样本集合中各样本的均值以及方差的步骤包括：
    通过以下公式
    Figure PCTCN2019117310-appb-100003
    计算激活样本集合中各样本的均值μ；
    通过以下公式
    Figure PCTCN2019117310-appb-100004
    计算激活样本集合中各样本的方差σ；
    其中，i为样本的序号，m为样本的数量，x i为样本的值。
  16. 根据权利要求11所述的计算机设备，其中，在所述将输入样本集合输入到待训练深度学习模型的输入层，并将所述输入层的输出结果作为待调整样本集合之前，所述处理器还执行如下步骤：
    对训练文本进行分词处理以得到分词样本集合，所述分词样本集合为对所述训练文本进行分词后得到的样本组成的集合；
    通过预设词向量工具对所述分词样本集合中的样本进行词向量训练以得到所述输入样本集合，所述输入样本集合为所述分词样本集合中的样本的词向量组成的集合。
  17. 根据权利要求16所述的计算机设备，其中，所述对训练文本进行分词处 理以得到分词样本集合的步骤包括：
    通过预设的分词工具对训练文本进行分词处理以得到初始分词样本集合；
    将所述初始分词样本集合中的停止词去除以得到所述分词样本集合。
  18. 根据权利要求16所述的计算机设备，其中，所述词向量工具为word2vec。
  19. 根据权利要求17所述的计算机设备，其中，所述分词工具为结巴分词工具。
  20. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时使所述处理器执行以下步骤：
    将输入样本集合输入到待训练深度学习模型的输入层，并将所述输入层的输出结果作为待调整样本集合；
    对所述待调整样本集合进行非线性激活处理以得到激活样本集合；
    对所述激活样本集合进行批标准化处理以得到标准样本集合；
    将所述待训练深度学习模型的下一层作为目标层，并将所述标准样本集合输入到所述目标层中；
    将所述目标层的输出结果作为新的待调整样本集合，并返回所述对所述待调整样本集合进行非线性激活处理以得到激活样本集合的步骤。
PCT/CN2019/117310 2019-01-10 2019-11-12 深度学习模型训练方法、装置、计算机设备及存储介质 Ceased WO2020143303A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910023779.1 2019-01-10
CN201910023779.1A CN109886402B (zh) 2019-01-10 2019-01-10 深度学习模型训练方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
WO2020143303A1 true WO2020143303A1 (zh) 2020-07-16

Family

ID=66925884

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/117310 Ceased WO2020143303A1 (zh) 2019-01-10 2019-11-12 深度学习模型训练方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN109886402B (zh)
WO (1) WO2020143303A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886402B (zh) * 2019-01-10 2024-05-14 平安科技（深圳）有限公司 深度学习模型训练方法、装置、计算机设备及存储介质
CN110490202B (zh) * 2019-06-18 2021-05-25 腾讯科技（深圳）有限公司 检测模型训练方法、装置、计算机设备和存储介质
CN112084551A (zh) * 2020-07-03 2020-12-15 邱宇 一种基于对抗生成网络的建筑立面识别与生成方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010095960A (ko) * 2000-04-14 2001-11-07 유인균 인공지능형 아파트 구현을 위한 인공신경망 제어기
CN108334943A (zh) * 2018-01-03 2018-07-27 浙江大学 基于主动学习神经网络模型的工业过程半监督软测量建模方法
CN108734193A (zh) * 2018-03-27 2018-11-02 合肥麟图信息科技有限公司 一种深度学习模型的训练方法及装置
CN108898218A (zh) * 2018-05-24 2018-11-27 阿里巴巴集团控股有限公司 一种神经网络模型的训练方法、装置、及计算机设备
CN108959265A (zh) * 2018-07-13 2018-12-07 深圳市牛鼎丰科技有限公司 跨领域文本情感分类方法、装置、计算机设备及存储介质
CN109886402A (zh) * 2019-01-10 2019-06-14 平安科技（深圳）有限公司 深度学习模型训练方法、装置、计算机设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107168952B (zh) * 2017-05-15 2021-06-04 北京百度网讯科技有限公司 基于人工智能的信息生成方法和装置
CN107480777A (zh) * 2017-08-28 2017-12-15 北京师范大学 基于伪逆学习的稀疏自编码器快速训练方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010095960A (ko) * 2000-04-14 2001-11-07 유인균 인공지능형 아파트 구현을 위한 인공신경망 제어기
CN108334943A (zh) * 2018-01-03 2018-07-27 浙江大学 基于主动学习神经网络模型的工业过程半监督软测量建模方法
CN108734193A (zh) * 2018-03-27 2018-11-02 合肥麟图信息科技有限公司 一种深度学习模型的训练方法及装置
CN108898218A (zh) * 2018-05-24 2018-11-27 阿里巴巴集团控股有限公司 一种神经网络模型的训练方法、装置、及计算机设备
CN108959265A (zh) * 2018-07-13 2018-12-07 深圳市牛鼎丰科技有限公司 跨领域文本情感分类方法、装置、计算机设备及存储介质
CN109886402A (zh) * 2019-01-10 2019-06-14 平安科技（深圳）有限公司 深度学习模型训练方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN109886402A (zh) 2019-06-14
CN109886402B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN109299344B (zh) 排序模型的生成方法、搜索结果的排序方法、装置及设备
CN107169454B (zh) 一种人脸图像年龄估算方法、装置及其终端设备
CN112801219B (zh) 一种多模态情感分类方法、装置及设备
WO2022048173A1 (zh) 基于人工智能的客户意图识别方法、装置、设备及介质
WO2020232877A1 (zh) 一种问题答案选取方法、装置、计算机设备及存储介质
CN109918630B (zh) 文本生成方法、装置、计算机设备及存储介质
WO2021000745A1 (zh) 一种知识图谱的嵌入表示方法及相关设备
WO2020143186A1 (zh) 推荐系统训练方法、装置、计算机设备及存储介质
CN113705362B (zh) 图像检测模型的训练方法、装置、电子设备及存储介质
CN114676704B (zh) 句子情感分析方法、装置、设备以及存储介质
CN112183326B (zh) 人脸年龄识别模型训练方法及相关装置
CN112100378A (zh) 文本分类模型训练方法、装置、计算机设备及存储介质
WO2020140632A1 (zh) 隐含特征提取方法、装置、计算机设备及存储介质
WO2020143303A1 (zh) 深度学习模型训练方法、装置、计算机设备及存储介质
CN110781302A (zh) 文本中事件角色的处理方法、装置、设备及存储介质
CN115048938A (zh) 基于语义和句法双通道的语句情感分析方法以及装置
WO2021008037A1 (zh) 基于A-BiLSTM神经网络的文本分类方法、存储介质及计算机设备
CN114840734A (zh) 多模态表示模型的训练方法、跨模态检索方法及装置
WO2022116444A1 (zh) 文本分类方法、装置、计算机设备和介质
WO2023123926A1 (zh) 人工智能任务处理方法、装置、电子设备及可读存储介质
CN112597299A (zh) 文本的实体分类方法、装置、终端设备和存储介质
WO2020168754A1 (zh) 基于预测模型的绩效预测方法、装置及存储介质
WO2024011885A1 (zh) 语音唤醒方法、装置、电子设备以及存储介质
WO2024253871A1 (en) Computer memory access for machine learning models
CN111260056A (zh) 一种网络模型蒸馏方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19908891

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19908891

Country of ref document: EP

Kind code of ref document: A1