WO2021151324A1 - 基于迁移学习的医疗数据处理方法、装置、设备及介质 - Google Patents

基于迁移学习的医疗数据处理方法、装置、设备及介质 Download PDF

Info

Publication number
WO2021151324A1
WO2021151324A1 PCT/CN2020/124217 CN2020124217W WO2021151324A1 WO 2021151324 A1 WO2021151324 A1 WO 2021151324A1 CN 2020124217 W CN2020124217 W CN 2020124217W WO 2021151324 A1 WO2021151324 A1 WO 2021151324A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical data
data processing
processing model
linear
instruction
Prior art date
Application number
PCT/CN2020/124217
Other languages
English (en)
French (fr)
Inventor
姚海申
朱昭苇
孙行智
胡岗
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021151324A1 publication Critical patent/WO2021151324A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • This application relates to the field of machine learning, and in particular to a medical data processing method, device, equipment and medium based on migration learning.
  • a medical data processing method based on migration learning including:
  • the first medical data processing model uses the first medical data processing model to process the local medical data, obtain a first processing result, and calculate the first prediction accuracy rate of the first processing result; meanwhile, the first processing result is Set as the processing result of the local medical data in the first stage;
  • the medical data processing model performs a thawing operation
  • the current local medical data is used to train the second medical data processing model after the thawing operation is performed, and the second medical data processing model after the training is determined to be the third medical data processing model.
  • a medical data processing device based on migration learning includes:
  • the first setting module is configured to receive a first setting instruction, and perform an operation of adding a linear layer and setting a frozen layer on the first medical data processing model according to the first setting instruction to form a second medical data processing model;
  • the first-stage processing module is configured to obtain local medical data, process the local medical data using the first medical data processing model, obtain a first processing result, and calculate a first prediction accuracy rate of the first processing result; At the same time, the first processing result is set as the processing result of the local medical data in the first stage;
  • the training second model module is configured to use the local medical data to train the second medical data processing model, and to obtain the second processing result generated by the trained second medical data processing model to process the local medical data, Simultaneously calculating the second prediction accuracy rate of the second processing result;
  • a second-stage processing module configured to set the second processing result as the second-stage processing result of the local medical data when the second prediction accuracy rate is greater than the first prediction accuracy rate;
  • the second setting module is configured to receive a second setting instruction when the quantity of the local medical data reaches a preset quantity threshold and the increase in the second prediction accuracy rate is greater than the preset accuracy increase threshold, and according to the first 2. Set the instruction to perform the unfreeze operation in the current second medical data processing model;
  • the third model module is determined to use the current local medical data to train the second medical data processing model after the thawing operation is performed, and to determine the second medical data processing model after the training is completed as the third medical data processing model.
  • a computer device includes a memory, a processor, and computer-readable instructions that are stored in the memory and can run on the processor, and the processor implements the following steps when the processor executes the computer-readable instructions:
  • the first medical data processing model uses the first medical data processing model to process the local medical data, obtain a first processing result, and calculate the first prediction accuracy rate of the first processing result; meanwhile, the first processing result is Set as the processing result of the local medical data in the first stage;
  • the medical data processing model performs a thawing operation
  • the current local medical data is used to train the second medical data processing model after the thawing operation is performed, and the second medical data processing model after the training is determined to be the third medical data processing model.
  • One or more readable storage media storing computer readable instructions, when the computer readable instructions are executed by one or more processors, the one or more processors execute the following steps:
  • the first medical data processing model uses the first medical data processing model to process the local medical data, obtain a first processing result, and calculate the first prediction accuracy rate of the first processing result; meanwhile, the first processing result is Set as the processing result of the local medical data in the first stage;
  • the medical data processing model performs a thawing operation
  • the current local medical data is used to train the second medical data processing model after the thawing operation is performed, and the second medical data processing model after the training is determined to be the third medical data processing model.
  • the above-mentioned medical data processing method, device, computer equipment and storage medium based on migration learning obtain a trained first medical data processing model, where the first medical data processing model is the model to be migrated.
  • adding a linear layer can improve The learning ability of the model, setting the freezing layer can maintain the stability of the original model.
  • the first processing result is It is set as the processing result of the first stage of the local medical data, where the first stage is the initial transition stage.
  • Use the local medical data to train the second medical data processing model, and obtain a second processing result generated by processing the local medical data by the trained second medical data processing model, and calculate the second processing result at the same time
  • the second prediction accuracy rate of, here, start to train the second medical data processing model, and gradually increase the second prediction accuracy rate as the local medical data increases.
  • the second prediction accuracy rate is greater than the first prediction accuracy rate
  • the second processing result is set as the processing result of the local medical data in the second stage.
  • the second stage is entered. Compared with the first stage, the prediction accuracy rate of local medical data processing results has been improved to a certain extent.
  • a second setting instruction is received, and the second setting instruction is in the current first according to the second setting instruction.
  • the medical data processing model performs a thawing operation.
  • the frozen network layer needs to be thawed.
  • Use the current local medical data to train the second medical data processing model after the thawing operation is performed, and determine the second medical data processing model after the training as the third medical data processing model, where migration learning is obtained
  • the subsequent learning result is the third medical data processing model.
  • This application can reduce the training cost of the local medical data processing model and reduce the model generation time.
  • This application can also be applied to the smart medical field of smart cities, thereby promoting the construction of smart cities.
  • FIG. 1 is a schematic diagram of an application environment of a medical data processing method based on transfer learning in an embodiment of the present application
  • FIG. 2 is a schematic flowchart of a medical data processing method based on transfer learning in an embodiment of the present application
  • FIG. 3 is a schematic flowchart of a medical data processing method based on transfer learning in an embodiment of the present application
  • FIG. 4 is a schematic flowchart of a medical data processing method based on transfer learning in an embodiment of the present application
  • FIG. 5 is a schematic flowchart of a medical data processing method based on transfer learning in an embodiment of the present application
  • FIG. 6 is a schematic structural diagram of a medical data processing device based on transfer learning in an embodiment of the present application.
  • Fig. 7 is a schematic diagram of a computer device in an embodiment of the present application.
  • the medical data processing method based on migration learning can be applied in the application environment as shown in FIG. 1, in which the client communicates with the server.
  • the client includes, but is not limited to, various personal computers, notebook computers, smart phones, tablet computers, and portable wearable devices.
  • the server can be implemented with an independent server or a server cluster composed of multiple servers.
  • a method for processing medical data based on transfer learning is provided. Taking the method applied to the server in FIG. 1 as an example for description, the method includes the following steps:
  • the trained first medical data processing model (which can be represented by model A) may refer to the medical data processing model that has been trained in other regions.
  • the first medical data processing model includes, but is not limited to, a triage model (for example, directing patients to the correct department for treatment), and a medical record screening model.
  • the training algorithm of the first medical data processing model includes but not limited to LSTM (Long Short Term Memory Network) algorithm, TextCNN (Text Convolutional Neural Networks, text convolutional neural network) algorithm, BERT (Bidirectional Encoder Representation from Transformers) , Two-way conversion coding) algorithm.
  • the first medical data processing model includes multiple trained network layers. Each network layer contains multiple neuron nodes.
  • S20 Receive a first setting instruction, and perform an operation of adding a linear layer and setting a frozen layer on the first medical data processing model according to the first setting instruction, to form a second medical data processing model.
  • the first setting instruction is used to add a linear layer to the first medical data processing model, and at the same time to freeze the trained network layer in the first medical data processing model.
  • the initial second medical data processing model that is, the local medical data processing model, which can be represented by model B
  • model B the initial second medical data processing model
  • the purpose of this embodiment is to obtain a model that can be used to process local medical data (that is, the third medical data processing model, which is equivalent to the trained second medical data processing model), so similar medical data processing models in other regions can be borrowed (Here is the first medical data processing model).
  • the added linear layer can better adapt the second medical data processing model to local medical data.
  • the purpose of setting the freezing layer is to maintain the processing capacity of the original first medical data processing model.
  • the main purpose of this step is to obtain the first prediction accuracy rate.
  • the first prediction accuracy rate can be compared with the second prediction accuracy rate to determine the training stage of the second medical data processing model. In the first stage, the second prediction accuracy rate is not greater than the first prediction accuracy rate. Therefore, the first medical data processing model can be used to process local medical data, obtain the first processing result, and set the first processing result as the processing result that needs to be used currently.
  • the source area of the local medical data is the same as the area where the second medical data processing model is located, but is different from the area where the first medical data processing model is located.
  • This step also belongs to the first stage.
  • the linear layer in the second medical data processing model can be updated through the gradually accumulated local medical data (that is, the parameters of the linear layer are changed). Since the network layer has been frozen, the parameters of the network layer remain unchanged.
  • the linear layer can learn the characteristics of local medical data, and on the other hand, it can also learn the characteristics of the first medical data processing model based on the characteristics of the network layer.
  • the accuracy of the second prediction is gradually improved.
  • the second prediction accuracy rate is greater than the first prediction accuracy rate (refers to the state that the second prediction accuracy rate continues to be greater than the first prediction accuracy rate, it does not mean that only a certain point in time is greater than the first prediction accuracy rate, and then Less than the first prediction accuracy rate)
  • the second processing result generated by the second medical data processing model can be used as the processing result of the local medical data in the second stage.
  • the linear layer in the second medical data processing model can better fit the characteristics of the local medical data.
  • the increase in the accuracy of the second prediction of the model is greater than the preset accuracy increase threshold.
  • the parameters of the network layer in the second medical data processing model are updated. Therefore, a thawing operation can be performed to unfreeze the frozen network layer in the second medical data processing model.
  • the increase in the second prediction accuracy rate refers to the ratio of the difference between the second prediction accuracy rate and the first prediction accuracy rate to the first prediction accuracy rate.
  • the preset accuracy rate increase threshold is an empirical parameter, which can be set according to the actual situation.
  • the third stage can be entered Train the second medical data processing model. Before entering the third stage, it is necessary to perform a thawing operation on the second medical data processing model to thawed all the thawed network layers.
  • the second medical data processing model needs to be trained until the conditions for completing the training are met.
  • an appropriate condition for completing the training can be selected based on the model type of the second medical data processing model.
  • the second medical data processing model after the training can be determined as the third medical data processing model.
  • the obtained third medical data processing model can be used to process local medical data and generate processing results, and the processing results have a higher prediction accuracy rate.
  • a trained first medical data processing model is obtained, where the first medical data processing model is the model to be migrated.
  • adding a linear layer can improve The learning ability of the model, setting the freezing layer can maintain the stability of the original model.
  • Acquire local medical data use the first medical data processing model to process the local medical data, obtain a first processing result, and calculate the first prediction accuracy rate of the first processing result; meanwhile, the first processing result is It is set as the processing result of the first stage of the local medical data, where the first stage is the initial transition stage.
  • the second prediction accuracy rate is greater than the first prediction accuracy rate
  • the second processing result is set as the processing result of the local medical data in the second stage.
  • the second stage is entered. Compared with the first stage, the prediction accuracy rate of local medical data processing results has been improved to a certain extent.
  • the medical data processing model performs a defrosting operation, where, when the conditions for entering the third stage are met, the frozen network layer needs to be defrosted.
  • Use the current local medical data to train the second medical data processing model after the thawing operation is performed, and determine the second medical data processing model after the training as the third medical data processing model, where migration learning is obtained
  • the subsequent learning result is the third medical data processing model.
  • step S20 that is, the first setting instruction is received, and the linear layer adding operation and the freezing layer setting operation are performed on the first medical data processing model according to the first setting instruction to form
  • the second medical data processing model includes:
  • S201 Receive a first linear layer addition instruction, and add a number of linear layers to the first medical data processing model according to the first linear layer addition instruction.
  • the medical data processing model is connected to the trained network layer, the first linear layer is used to receive the output data of the trained network layer; the last linear layer in the several linear layers is used to output the second process result;
  • S203 Determine the first medical data processing model that has added several linear layers and has frozen the trained network layer as the second medical data processing model.
  • the first medical data processing model is mainly modified in two aspects, that is, adding several linear layers and freezing the trained network layers.
  • the number of linear layers can be set according to actual needs.
  • the training data is first input to the frozen network layer, processed by the network layer to obtain the output data, and then input to the first linear layer. After multiple first linear layer calculations, the second processing result is output in the last linear layer of the linear layer.
  • step S201 after receiving a first linear layer addition instruction, after adding several linear layers on the first medical data processing model according to the first linear layer addition instruction, include:
  • S2011 Receive a linear layer adjustment instruction, and set a dropout mechanism on the linear layers according to the linear layer adjustment instruction;
  • S2012 Receive a neuron activation instruction, set a linear rectification function in the plurality of linear layers according to the neuron activation instruction, and activate the neurons in the plurality of linear layers through the linear rectification function;
  • S2013 Receive a normalization instruction, and set a normalized exponential function in the last linear layer of the plurality of linear layers according to the normalized instruction, so as to calculate the second processing by using the normalized exponential function result.
  • three settings are mainly involved, namely: adding a dropout mechanism between the linear layers, using a linear rectification function (Relu function) to activate the linear layer, and using a normalized exponential function (softmax function) to calculate the second process result.
  • the dropout mechanism can prevent overfitting of the linear layer while improving training efficiency.
  • the linear rectification function can output the result nonlinearly after the neuron undergoes linear transformation.
  • the normalized exponential function can ensure that the second processing result is a non-negative number, and the sum of all processing results is 1.
  • step S202 that is, the first freezing network layer instruction is received, and the trained network layer in the first medical data processing model is performed according to the first freezing network layer instruction. After freezing, it also includes:
  • S2022. Receive an input setting instruction, and input the pooled data into the first linear layer of the plurality of linear layers according to the input setting instruction.
  • the added linear layer input not only considers the input of the last layer of the first medical data processing model, but also uses the hidden layer output data of each network layer in the first medical data processing model as the input of the first linear layer.
  • the pooled data can be expressed as:
  • input refers to the pooled data
  • L 1 , L 2 ,..., L n are the hidden layer output data of each network layer
  • w 1 , w 2 ,..., w n are the weights of the hidden layer output data
  • mean -pooling refers to the weighted average.
  • the generated pooled data will be input to the first linear layer.
  • step S40 the using the local medical data to train the second medical data processing model includes:
  • the warm-up mechanism is used to adjust the learning rate of the parameter update of the linear layer.
  • the warm-up mechanism refers to training with a small learning rate at the beginning of training, so that the linear layer is familiar with the data, and the learning rate gradually increases as the training progresses.
  • the warm-up mechanism can be a constant warm-up (constant warmup) or a gradient warm-up (gradual warmup).
  • the preset number threshold is calculated by the following formula:
  • ⁇ is the predetermined threshold number
  • ⁇ is the hyper-parameters
  • Num modelA to the amount of training data of the first medical data processing model.
  • Num modelA is the amount of data used when training the first medical data processing model, and can refer to the number of samples.
  • a medical data processing device based on transfer learning is provided, and the medical data processing device based on transfer learning corresponds to the medical data processing method based on transfer learning in the above-mentioned embodiment in a one-to-one correspondence.
  • the medical data processing device based on migration learning includes a first model acquisition module 10, a first setting module 20, a first stage processing module 30, a training second model module 40, a second stage processing module 50, The second setting module 60 and the third model module 70 are determined.
  • the detailed description of each functional module is as follows:
  • the acquiring first model module 10 is used to acquire the trained first medical data processing model
  • the first setting module 20 is configured to receive a first setting instruction, and perform an operation of adding a linear layer and setting a frozen layer on the first medical data processing model according to the first setting instruction to form a second medical data processing model;
  • the first-stage processing module 30 is configured to obtain local medical data, process the local medical data using the first medical data processing model, obtain a first processing result, and calculate the first prediction accuracy rate of the first processing result ; At the same time, the first processing result is set as the processing result of the local medical data in the first stage;
  • the training second model module 40 is configured to use the local medical data to train the second medical data processing model, and obtain a second processing result generated by processing the local medical data by the trained second medical data processing model Calculate the second prediction accuracy rate of the second processing result at the same time;
  • the second-stage processing module 50 is configured to set the second processing result as the second-stage processing result of the local medical data when the second prediction accuracy rate is greater than the first prediction accuracy rate;
  • the second setting module 60 is configured to receive a second setting instruction when the quantity of the local medical data reaches a preset quantity threshold and the increase in the second prediction accuracy rate is greater than the preset accuracy increase threshold, and according to the The second setting instruction executes the unfreezing operation in the current second medical data processing model;
  • the first setting module 20 further includes:
  • the increase linear layer unit is used to receive a first increase linear layer instruction, and add several linear layers on the first medical data processing model according to the first increase linear layer instruction, the first linear layer of the several linear layers Connected to the trained network layer of the first medical data processing model, the first linear layer is used to receive the output data of the trained network layer; the last linear layer in the several linear layers is used Output the second processing result;
  • a freezing network layer unit configured to receive a first freezing network layer instruction, and freezing the trained network layer in the first medical data processing model according to the first freezing network layer instruction;
  • a second model unit is determined, which is used to determine a first medical data processing model in which several linear layers have been added and the trained network layer has been frozen as the second medical data processing model.
  • the first setting module 20 includes:
  • a linear layer adjustment unit configured to receive a linear layer adjustment instruction, and set a dropout mechanism on the plurality of linear layers according to the linear layer adjustment instruction;
  • a neuron activation unit configured to receive a neuron activation instruction, set a linear rectification function in the plurality of linear layers according to the neuron activation instruction, and activate the neurons in the plurality of linear layers through the linear rectification function;
  • the normalization unit is configured to receive a normalization instruction, and set a normalized exponential function in the last linear layer of the plurality of linear layers according to the normalized instruction, so as to calculate from the normalized exponential function The second processing result.
  • the first setting module 20 further includes:
  • a pooling setting unit for receiving a pooling setting instruction, and performing average pooling processing on all hidden layer output data of the trained network layer according to the pooling setting instruction to obtain pooling data;
  • the input setting unit is configured to receive an input setting instruction, and input the pooled data into the first linear layer of the plurality of linear layers according to the input setting instruction.
  • the training second model module 40 includes:
  • the parameter update unit is used to adjust the learning rate of the parameter update of the linear layer by adopting the warm-up mechanism in the first stage of training.
  • the preset number threshold is calculated by the following formula:
  • ⁇ is the predetermined threshold number
  • ⁇ is the hyper-parameters
  • Num modelA to the amount of training data of the first medical data processing model.
  • Each module in the above-mentioned medical data processing device based on migration learning can be implemented in whole or in part by software, hardware, and a combination thereof.
  • the above-mentioned modules may be embedded in the form of hardware or independent of the processor in the computer equipment, or may be stored in the memory of the computer equipment in the form of software, so that the processor can call and execute the operations corresponding to the above-mentioned modules.
  • a computer device is provided.
  • the computer device may be a server, and its internal structure diagram may be as shown in FIG. 7.
  • the computer equipment includes a processor, a memory, a network interface, and a database connected through a system bus.
  • the processor of the computer device is used to provide calculation and control capabilities.
  • the memory of the computer device includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system, computer readable instructions, and a database.
  • the internal memory provides an environment for the operation of the operating system and computer-readable instructions in the non-volatile storage medium.
  • the database of the computer device is used to store the data involved in the above-mentioned medical data processing method based on migration learning.
  • the network interface of the computer device is used to communicate with an external terminal through a network connection.
  • the computer-readable instructions are executed by the processor to realize a medical data processing method based on transfer learning.
  • a computer device including a memory, a processor, and computer-readable instructions stored on the memory and capable of running on the processor, and the processor implements the following steps when the processor executes the computer-readable instructions:
  • the first medical data processing model uses the first medical data processing model to process the local medical data, obtain a first processing result, and calculate the first prediction accuracy rate of the first processing result; meanwhile, the first processing result is Set as the processing result of the local medical data in the first stage;
  • the medical data processing model performs a thawing operation
  • the current local medical data is used to train the second medical data processing model after the thawing operation is performed, and the second medical data processing model after the training is determined to be the third medical data processing model.
  • one or more computer-readable storage media storing computer-readable instructions are provided.
  • the readable storage media provided in this embodiment include non-volatile readable storage media and volatile readable storage media. Storage medium.
  • the readable storage medium stores computer readable instructions, and when the computer readable instructions are executed by one or more processors, the following steps are implemented:
  • the first medical data processing model uses the first medical data processing model to process the local medical data, obtain a first processing result, and calculate the first prediction accuracy rate of the first processing result; meanwhile, the first processing result is Set as the processing result of the local medical data in the first stage;
  • the medical data processing model performs a thawing operation
  • the current local medical data is used to train the second medical data processing model after the thawing operation is performed, and the second medical data processing model after the training is determined to be the third medical data processing model.
  • Non-volatile memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory may include random access memory (RAM) or external cache memory.
  • RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain Channel (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Instructional Devices (AREA)

Abstract

本申请涉及人工智能中的机器学习领域，公开了一种基于迁移学习的医疗数据处理方法、装置、设备及介质，其方法包括：在第一阶段，在第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型；并使用本地医疗数据对第二医疗数据处理模型进行训练；计算两个模型的预测准确率，当第二预测准确率大于第一预测准确率，进入第二阶段的训练；当本地医疗数据足够多且第二预测准确率较高时，解冻网络层；完成第三阶段的训练，获得第三医疗数据处理模型。本申请可以降低本地医疗数据处理模型的训练成本，减少模型生成时间。本申请还可应用于智慧城市的建设。

Description

基于迁移学习的医疗数据处理方法、装置、设备及介质
本申请要求于2020年9月9日提交中国专利局、申请号为202010941857.9，发明名称为“基于迁移学习的医疗数据处理方法、装置、设备及介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及机器学习领域，尤其涉及一种基于迁移学习的医疗数据处理方法、装置、设备及介质。
背景技术
随着人工智能技术的快速发展，在医疗领域，人工智能技术也得到广泛的应用。然而，发明人发现，医疗数据获取困难且具有明显的地域差异性，在其他地区已训练好的医疗数据处理模型，用来处理本地医疗数据时，其生成的处理结果往往并不理想，准确率偏低。
当然，也可以单独在本地累积一定量的医疗数据，再重新构建新的医疗数据处理模型。但是这样的训练成本高，获得医疗数据处理模型的时间周期长，难以满足实际的使用需求。
申请内容
基于此，有必要针对上述技术问题，提供一种基于迁移学习的医疗数据处理方法、装置、设备及介质，以降低本地医疗数据处理模型的训练成本，减少模型生成时间。
一种基于迁移学习的医疗数据处理方法，包括：
获取已训练好的第一医疗数据处理模型；
接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型；
获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果；
使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率；
当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果；
当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作；
使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。
一种基于迁移学习的医疗数据处理装置，包括：
获取第一模型模块，用于获取已训练好的第一医疗数据处理模型；
第一设置模块，用于接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型；
第一阶段处理模块，用于获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时 将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果；
训练第二模型模块，用于使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率；
第二阶段处理模块，用于当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果；
第二设置模块，用于当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作；
确定第三模型模块，用于使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：
获取已训练好的第一医疗数据处理模型；
接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型；
获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果；
使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率；
当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果；
当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作；
使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。
一个或多个存储有计算机可读指令的可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如下步骤：
获取已训练好的第一医疗数据处理模型；
接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型；
获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果；
使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率；
当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果；
当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗 数据处理模型执行解冻操作；
使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。
上述基于迁移学习的医疗数据处理方法、装置、计算机设备及存储介质，通过获取已训练好的第一医疗数据处理模型，在此处，第一医疗数据处理模型即为待迁移的模型。接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型，在此处，增加线性层可以提高模型的学习能力，设置冻结层可以保持原有模型的稳定性。获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果，在此处，第一阶段为起始的过渡阶段。使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率，在此处，开始对第二医疗数据处理模型进行训练，随着本地医疗数据的增多，逐步提高第二预测准确率。当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果，在此处，进入第二阶段，相较于第一阶段，本地医疗数据处理结果的预测准确率有一定程度的改善。当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作，在此处，当满足的条件时，需要对冻结的网络层进行解冻。使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型，在此处，获得了迁移学习后的学习成果，即第三医疗数据处理模型。本申请可以降低本地医疗数据处理模型的训练成本，减少模型生成时间。本申请还可应用于智慧城市的智能医疗领域中，从而推动智慧城市的建设。
本申请的一个或多个实施例的细节在下面的附图和描述中提出，本申请的其他特征和优点将从说明书、附图以及权利要求变得明显。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例中基于迁移学习的医疗数据处理方法的一应用环境示意图；
图2是本申请一实施例中基于迁移学习的医疗数据处理方法的一流程示意图；
图3是本申请一实施例中基于迁移学习的医疗数据处理方法的一流程示意图；
图4是本申请一实施例中基于迁移学习的医疗数据处理方法的一流程示意图；
图5是本申请一实施例中基于迁移学习的医疗数据处理方法的一流程示意图；
图6是本申请一实施例中基于迁移学习的医疗数据处理装置的一结构示意图；
图7是本申请一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本实施例提供的基于迁移学习的医疗数据处理方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种基于迁移学习的医疗数据处理方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：
S10、获取已训练好的第一医疗数据处理模型。
本实施例中，已训练好的第一医疗数据处理模型(可用模型A表示)可以指其他地区已经训练好的医疗数据处理模型。在一示例中，第一医疗数据处理模型包括但不限分诊模型(如指引患者到正确科室进行就诊)，病历筛查模型。第一医疗数据处理模型的训练算法包括但不限于LSTM(Long Short Term Memory Network，长短时记忆网络)算法、TextCNN(Text Convolutional Neural Networks，文本卷积神经网络)算法、BERT(Bidirectional Encoder Representation from Transformers，双向转换编码)算法。第一医疗数据处理模型中包括多个已训练好的网络层。每个网络层都包含多个神经元节点。
S20、接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型。
在此处，第一设置指令用于在第一医疗数据处理模型增加线性层，同时将第一医疗数据处理模型中已训练好的网络层进行冻结。增加线性层并冻结已训练好的网络层后，得到初始的第二医疗数据处理模型(即为本地医疗数据处理模型，可用模型B表示)。本实施例的目的在于获得可以用于处理本地医疗数据的模型(即第三医疗数据处理模型，等同于已训练好的第二医疗数据处理模型)，因而可以借用其他地区类似的医疗数据处理模型(在此处为第一医疗数据处理模型)。但由于在起始阶段，本地医疗数据较少(甚至接近于零)，直接用少量的本地医疗数据更新第一医疗数据处理模型的网络层参数，是没有效果的。而增加的线性层可以更好地使第二医疗数据处理模型适应本地医疗数据。设置冻结层的目的在于保持原来第一医疗数据处理模型的处理能力。
在设置完毕后，可以进入对第二医疗数据处理模型进行训练的三个阶段，分别为第一阶段、第二阶段和第三阶段。
S30、获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果。
本步骤主要目的在于获取第一预测准确率。第一预测准确率可与第二预测准确率比较，以确定第二医疗数据处理模型的训练阶段。在第一阶段，第二预测准确率不大于第一预测准确率。因而，可以使用第一医疗数据处理模型处理本地医疗数据，获得第一处理结果，并将第一处理结果设置为当前需要使用的处理结果。本地医疗数据的来源地区与第二医疗数据处理模型所在地区相同，与第一医疗数据处理模型所在地区不同。
S40、使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率。
本步骤同样属于第一阶段。在此阶段，可以通过逐渐累积的本地医疗数据对第二医疗数据处理模型中的线性层进行更新(即改变线性层的参数)。而由于网络层已被冻结，网络层的参数维持不变。线性层一方面可以学习本地医疗数据的特征，另一方面也可基于网络层的特点学习到第一医疗数据处理模型的特征。
S50、当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果。
当第一阶段进行一段时间后，第二预测准确率逐渐提升。当第二预测准确率大于第一 预测准确率时(指的是第二预测准确率持续保持大于第一预测准确率的状态，并不是指仅仅某个时间点大于第一预测准确率，然后又小于第一预测准确率)，可以使用第二医疗数据处理模型生成的第二处理结果作为本地医疗数据在第二阶段的处理结果。经过第一阶段的训练，第二医疗数据处理模型中的线性层能够较好的拟合本地医疗数据的特征。
S60、当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作。
当第二阶段进行一段时间后，本地医疗数据的数量已经达到一定规模，并超出预设数量阈值，同时模型的第二预测准确率的提升幅度大于预设准确率提升阈值，此时，需要对第二医疗数据处理模型中网络层的参数进行更新。因而，可以执行解冻操作，使第二医疗数据处理模型中被冻结的网络层解冻。第二预测准确率的提升幅度指的是第二预测准确率与第一预测准确率的差值与第一预测准确率的比值。预设准确率提升阈值是一个经验参数，可以根据实际情况进行设置。当第二预测准确率的提升幅度对预设准确率提升阈值，同时本地医疗数据的数量足够(即达到预设数量阈值，指的是不少于预设数量阈值)，则可以进入第三阶段对第二医疗数据处理模型训练。在进入第三阶段前，需要对第二医疗数据处理模型执行解冻操作，解冻所有被解冻的网络层。
S70、使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。
在执行解冻操作后，需要进行对第二医疗数据处理模型进行训练，直至满足完成训练的条件。在此处，可以基于第二医疗数据处理模型的模型类型选择适当的完成训练的条件。可以将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。获得的第三医疗数据处理模型可以用于处理本地医疗数据，生成处理结果，并且处理结果具有较高的预测准确率。
步骤S10-S70中，获取已训练好的第一医疗数据处理模型，在此处，第一医疗数据处理模型即为待迁移的模型。接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型，在此处，增加线性层可以提高模型的学习能力，设置冻结层可以保持原有模型的稳定性。获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果，在此处，第一阶段为起始的过渡阶段。使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率，在此处，开始对第二医疗数据处理模型进行训练，随着本地医疗数据的增多，逐步提高第二预测准确率。当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果，在此处，进入第二阶段，相较于第一阶段，本地医疗数据处理结果的预测准确率有一定程度的改善。当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作，在此处，当满足进入第三阶段的条件时，需要对冻结的网络层进行解冻。使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型，在此处，获得了迁移学习后的学习成果，即第三医疗数据处理模型。
可选的，如图3所示，步骤S20，即所述接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型，包括：
S201、接收第一增加线性层指令，根据所述第一增加线性层指令在所述第一医疗数据处理模型上增加若干线性层，所述若干线性层中的第一线性层与所述第一医疗数据处理模型已训练好的网络层连接，该第一线性层用于接收所述已训练好的网络层的输出数据；所述若干线性层中的最后一个线性层用于输出所述第二处理结果；
S202、接收第一冻结网络层指令，根据所述第一冻结网络层指令将所述第一医疗数据处理模型中已训练好的网络层进行冻结；
S203、将已增加若干线性层，且已冻结所述已训练好的网络层的第一医疗数据处理模型确定为所述第二医疗数据处理模型。
在本实施例中，主要对第一医疗数据处理模型进行两方面的改造，即新增若干线性层和冻结已训练好的网络层。线性层的数量可以根据实际需要进行设置。训练的数据先输入被冻结的网络层，经网络层处理得到输出数据，然后输入第一线性层。经过多个第一线性层的计算，在线性层的最后一个线性层输出第二处理结果。
可选的，如图4所示，步骤S201，即所述接收第一增加线性层指令，根据所述第一增加线性层指令在所述第一医疗数据处理模型上增加若干线性层之后，还包括：
S2011、接收线性层调节指令，根据所述线性层调整指令在所述若干线性层设置dropout机制；
S2012、接收神经元激活指令，根据所述神经元激活指令在所述若干线性层设置线性整流函数，通过所述线性整流函数激活所述若干线性层中的神经元；
S2013、接收归一化指令，根据所述归一化指令在所述若干线性层中的最后一个线性层设置归一化指数函数，以通过所述归一化指数函数计算出所述第二处理结果。
本实施例中，主要涉及三个方面的设置，分别为：在线性层间加入dropout机制，用线性整流函数(Relu函数)激活线性层，以及使用归一化指数函数(softmax函数)计算第二处理结果。dropout机制可以防止线性层过拟合，同时提高训练效率。线性整流函数可以在神经元经线性变换后非线性输出结果。归一化指数函数可以确保第二处理结果为非负数，且所有处理结果的和为1。
可选的，如图5所示，步骤S202，即所述接收第一冻结网络层指令，根据所述第一冻结网络层指令将所述第一医疗数据处理模型中已训练好的网络层进行冻结之后，还包括：
S2021、接收池化设置指令，根据所述池化设置指令将所有所述已训练好的网络层的隐层输出数据进行均值池化处理，获得池化数据；
S2022、接收输入设置指令，根据所述输入设置指令将所述池化数据输入所述若干线性层中的第一线性层。
本实施例中，增加的线性层输入不仅考虑第一医疗数据处理模型的最后一层输入，也将第一医疗数据处理模型中的各网络层的隐层输出数据作为第一线性层的输入。在此处，池化数据可表示为：
input＝mean-pooling(w 1L 1,w 2L 2,...w nL n)
其中，input指的是池化数据，L 1，L 2，…，L n为各网络层的隐层输出数据，w 1，w 2，…，w n是各隐层输出数据的权重，mean-pooling指的是加权平均。
生成的池化数据将输入第一线性层。
可选的，步骤S40中，所述使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，包括：
在第一阶段的训练中，采用warm-up机制调整所述线性层的参数更新的学习率。
在此处，warm-up机制指的是在开始训练时以很小的学习率进行训练，使得线性层熟悉数据，随着训练的进行学习率慢慢变大。在此处，warm-up机制可以是常量warm-up(constant warmup)，也可以是梯度warm-up(gradual warmup)。
可选的，所述预设数量阈值通过以下公式进行计算：
θ＝δ*Num modelA
其中，θ为所述预设数量阈值，δ为超参数，Num modelA为训练所述第一医疗数据处理模型时的数据量。
在此处，δ可以根据实际需要进行设置。Num modelA为训练第一医疗数据处理模型时的数据量，可以指样本数量。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种基于迁移学习的医疗数据处理装置，该基于迁移学习的医疗数据处理装置与上述实施例中基于迁移学习的医疗数据处理方法一一对应。如图6所示，该基于迁移学习的医疗数据处理装置包括获取第一模型模块10、第一设置模块20、第一阶段处理模块30、训练第二模型模块40、第二阶段处理模块50、第二设置模块60和确定第三模型模块70。各功能模块详细说明如下：
获取第一模型模块10，用于获取已训练好的第一医疗数据处理模型；
第一设置模块20，用于接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型；
第一阶段处理模块30，用于获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果；
训练第二模型模块40，用于使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率；
第二阶段处理模块50，用于当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果；
第二设置模块60，用于当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作；
确定第三模型模块70，用于使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。
可选的，第一设置模块20还包括：
增加线性层单元，用于接收第一增加线性层指令，根据所述第一增加线性层指令在所述第一医疗数据处理模型上增加若干线性层，所述若干线性层中的第一线性层与所述第一医疗数据处理模型已训练好的网络层连接，该第一线性层用于接收所述已训练好的网络层的输出数据；所述若干线性层中的最后一个线性层用于输出所述第二处理结果；
冻结网络层单元，用于接收第一冻结网络层指令，根据所述第一冻结网络层指令将所述第一医疗数据处理模型中已训练好的网络层进行冻结；
确定第二模型单元，用于将已增加若干线性层，且已冻结所述已训练好的网络层的第一医疗数据处理模型确定为所述第二医疗数据处理模型。
可选的，第一设置模块20包括：
线性层调节单元，用于接收线性层调节指令，根据所述线性层调整指令在所述若干线性层设置dropout机制；
神经元激活单元，用于接收神经元激活指令，根据所述神经元激活指令在所述若干线性层设置线性整流函数，通过所述线性整流函数激活所述若干线性层中的神经元；
归一化单元，用于接收归一化指令，根据所述归一化指令在所述若干线性层中的最后一个线性层设置归一化指数函数，以通过所述归一化指数函数计算出所述第二处理结果。
可选的，第一设置模块20还包括：
池化设置单元，用于接收池化设置指令，根据所述池化设置指令将所有所述已训练好的网络层的隐层输出数据进行均值池化处理，获得池化数据；
输入设置单元，用于接收输入设置指令，根据所述输入设置指令将所述池化数据输入所述若干线性层中的第一线性层。
可选的，训练第二模型模块40包括：
参数更新单元，用于在第一阶段的训练中，采用warm-up机制调整所述线性层的参数更新的学习率。
可选的，所述预设数量阈值通过以下公式进行计算：
θ＝δ*Num modelA
其中，θ为所述预设数量阈值，δ为超参数，Num modelA为训练所述第一医疗数据处理模型时的数据量。
关于基于迁移学习的医疗数据处理装置的具体限定可以参见上文中对于基于迁移学习的医疗数据处理方法的限定，在此不再赘述。上述基于迁移学习的医疗数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储上述基于迁移学习的医疗数据处理方法所涉及的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种基于迁移学习的医疗数据处理方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现以下步骤：
获取已训练好的第一医疗数据处理模型；
接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型；
获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果；
使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率；
当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果；
当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作；
使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。
在一个实施例中，提供了一个或多个存储有计算机可读指令的计算机可读存储介质，本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。可读 存储介质上存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时实现以下步骤：
获取已训练好的第一医疗数据处理模型；
接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型；
获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果；
使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率；
当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果；
当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作；
使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性可读取存储介质或易失性可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (20)

  1. 一种基于迁移学习的医疗数据处理方法，其中，包括：
    获取已训练好的第一医疗数据处理模型；
    接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型；
    获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果；
    使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率；
    当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果；
    当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作；
    使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。
  2. 如权利要求1所述的基于迁移学习的医疗数据处理方法，其中，所述接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型，包括：
    接收第一增加线性层指令，根据所述第一增加线性层指令在所述第一医疗数据处理模型上增加若干线性层，所述若干线性层中的第一线性层与所述第一医疗数据处理模型已训练好的网络层连接，该第一线性层用于接收所述已训练好的网络层的输出数据；所述若干线性层中的最后一个线性层用于输出所述第二处理结果；
    接收第一冻结网络层指令，根据所述第一冻结网络层指令将所述第一医疗数据处理模型中已训练好的网络层进行冻结；
    将已增加若干线性层，且已冻结所述已训练好的网络层的第一医疗数据处理模型确定为所述第二医疗数据处理模型。
  3. 如权利要求2所述的基于迁移学习的医疗数据处理方法，其中，所述接收第一增加线性层指令，根据所述第一增加线性层指令在所述第一医疗数据处理模型上增加若干线性层之后，还包括：
    接收线性层调节指令，根据所述线性层调整指令在所述若干线性层设置dropout机制；
    接收神经元激活指令，根据所述神经元激活指令在所述若干线性层设置线性整流函数，通过所述线性整流函数激活所述若干线性层中的神经元；
    接收归一化指令，根据所述归一化指令在所述若干线性层中的最后一个线性层设置归一化指数函数，以通过所述归一化指数函数计算出所述第二处理结果。
  4. 如权利要求2所述的基于迁移学习的医疗数据处理方法，其中，所述接收第一冻结网络层指令，根据所述第一冻结网络层指令将所述第一医疗数据处理模型中已训练好的网络层进行冻结之后，还包括：
    接收池化设置指令，根据所述池化设置指令将所有所述已训练好的网络层的隐层输出数据进行均值池化处理，获得池化数据；
    接收输入设置指令，根据所述输入设置指令将所述池化数据输入所述若干线性层中的第一线性层。
  5. 如权利要求2所述的基于迁移学习的医疗数据处理方法，其中，所述使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，包括：
    在第一阶段的训练中，采用warm-up机制调整所述线性层的参数更新的学习率。
  6. 如权利要求1所述的基于迁移学习的医疗数据处理方法，其中，所述预设数量阈值通过以下公式进行计算：
    θ＝δ*Num modelA
    其中，θ为所述预设数量阈值，δ为超参数，Num modelA为训练所述第一医疗数据处理模型时的数据量。
  7. 一种基于迁移学习的医疗数据处理装置，其中，包括：
    获取第一模型模块，用于获取已训练好的第一医疗数据处理模型；
    第一设置模块，用于接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型；
    第一阶段处理模块，用于获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果；
    训练第二模型模块，用于使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率；
    第二阶段处理模块，用于当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果；
    第二设置模块，用于当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作；
    确定第三模型模块，用于使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。
  8. 如权利要求7所述的基于迁移学习的医疗数据处理装置，其中，所述第一设置模块包括：
    增加线性层单元，用于接收第一增加线性层指令，根据所述第一增加线性层指令在所述第一医疗数据处理模型上增加若干线性层，所述若干线性层中的第一线性层与所述第一医疗数据处理模型已训练好的网络层连接，该第一线性层用于接收所述已训练好的网络层的输出数据；所述若干线性层中的最后一个线性层用于输出所述第二处理结果；
    冻结网络层单元，用于接收第一冻结网络层指令，根据所述第一冻结网络层指令将所述第一医疗数据处理模型中已训练好的网络层进行冻结；
    确定第二模型单元，用于将已增加若干线性层，且已冻结所述已训练好的网络层的第一医疗数据处理模型确定为所述第二医疗数据处理模型。
  9. 一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其中，所述处理器执行所述计算机可读指令时实现如下步骤：
    获取已训练好的第一医疗数据处理模型；
    接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型；
    获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果；
    使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二 医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率；
    当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果；
    当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作；
    使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。
  10. 如权利要求9所述的计算机设备，其中，所述接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型，包括：
    接收第一增加线性层指令，根据所述第一增加线性层指令在所述第一医疗数据处理模型上增加若干线性层，所述若干线性层中的第一线性层与所述第一医疗数据处理模型已训练好的网络层连接，该第一线性层用于接收所述已训练好的网络层的输出数据；所述若干线性层中的最后一个线性层用于输出所述第二处理结果；
    接收第一冻结网络层指令，根据所述第一冻结网络层指令将所述第一医疗数据处理模型中已训练好的网络层进行冻结；
    将已增加若干线性层，且已冻结所述已训练好的网络层的第一医疗数据处理模型确定为所述第二医疗数据处理模型。
  11. 如权利要求10所述的计算机设备，其中，所述接收第一增加线性层指令，根据所述第一增加线性层指令在所述第一医疗数据处理模型上增加若干线性层之后，还包括：
    接收线性层调节指令，根据所述线性层调整指令在所述若干线性层设置dropout机制；
    接收神经元激活指令，根据所述神经元激活指令在所述若干线性层设置线性整流函数，通过所述线性整流函数激活所述若干线性层中的神经元；
    接收归一化指令，根据所述归一化指令在所述若干线性层中的最后一个线性层设置归一化指数函数，以通过所述归一化指数函数计算出所述第二处理结果。
  12. 如权利要求10所述的计算机设备，其中，所述接收第一冻结网络层指令，根据所述第一冻结网络层指令将所述第一医疗数据处理模型中已训练好的网络层进行冻结之后，还包括：
    接收池化设置指令，根据所述池化设置指令将所有所述已训练好的网络层的隐层输出数据进行均值池化处理，获得池化数据；
    接收输入设置指令，根据所述输入设置指令将所述池化数据输入所述若干线性层中的第一线性层。
  13. 如权利要求10所述的计算机设备，其中，所述使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，包括：
    在第一阶段的训练中，采用warm-up机制调整所述线性层的参数更新的学习率。
  14. 如权利要求9所述的计算机设备，其中，所述预设数量阈值通过以下公式进行计算：
    θ＝δ*Num modelA
    其中，θ为所述预设数量阈值，δ为超参数，Num modelA为训练所述第一医疗数据处理模型时的数据量。
  15. 一个或多个存储有计算机可读指令的可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如下步骤：
    获取已训练好的第一医疗数据处理模型；
    接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型；
    获取本地医疗数据，使用所述第一医疗数据处理模型处理所述本地医疗数据，获得第一处理结果，并计算所述第一处理结果的第一预测准确率；同时将所述第一处理结果设置为所述本地医疗数据在第一阶段的处理结果；
    使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，并获取训练后的第二医疗数据处理模型处理所述本地医疗数据生成的第二处理结果，同时计算所述第二处理结果的第二预测准确率；
    当所述第二预测准确率大于所述第一预测准确率时，将所述第二处理结果设置为所述本地医疗数据在第二阶段的处理结果；
    当所述本地医疗数据的数量达到预设数量阈值且所述第二预测准确率的提升幅度大于预设准确率提升阈值时，接收第二设置指令，根据所述第二设置指令在当前的第二医疗数据处理模型执行解冻操作；
    使用当前的本地医疗数据对执行解冻操作后的第二医疗数据处理模型进行训练，并将训练完毕后的第二医疗数据处理模型确定为第三医疗数据处理模型。
  16. 如权利要求15所述的可读存储介质，其中，所述接收第一设置指令，根据所述第一设置指令在所述第一医疗数据处理模型执行增加线性层操作和设置冻结层操作，形成第二医疗数据处理模型，包括：
    接收第一增加线性层指令，根据所述第一增加线性层指令在所述第一医疗数据处理模型上增加若干线性层，所述若干线性层中的第一线性层与所述第一医疗数据处理模型已训练好的网络层连接，该第一线性层用于接收所述已训练好的网络层的输出数据；所述若干线性层中的最后一个线性层用于输出所述第二处理结果；
    接收第一冻结网络层指令，根据所述第一冻结网络层指令将所述第一医疗数据处理模型中已训练好的网络层进行冻结；
    将已增加若干线性层，且已冻结所述已训练好的网络层的第一医疗数据处理模型确定为所述第二医疗数据处理模型。
  17. 如权利要求16所述的可读存储介质，其中，所述接收第一增加线性层指令，根据所述第一增加线性层指令在所述第一医疗数据处理模型上增加若干线性层之后，还包括：
    接收线性层调节指令，根据所述线性层调整指令在所述若干线性层设置dropout机制；
    接收神经元激活指令，根据所述神经元激活指令在所述若干线性层设置线性整流函数，通过所述线性整流函数激活所述若干线性层中的神经元；
    接收归一化指令，根据所述归一化指令在所述若干线性层中的最后一个线性层设置归一化指数函数，以通过所述归一化指数函数计算出所述第二处理结果。
  18. 如权利要求16所述的可读存储介质，其中，所述接收第一冻结网络层指令，根据所述第一冻结网络层指令将所述第一医疗数据处理模型中已训练好的网络层进行冻结之后，还包括：
    接收池化设置指令，根据所述池化设置指令将所有所述已训练好的网络层的隐层输出数据进行均值池化处理，获得池化数据；
    接收输入设置指令，根据所述输入设置指令将所述池化数据输入所述若干线性层中的第一线性层。
  19. 如权利要求16所述的可读存储介质，其中，所述使用所述本地医疗数据对所述第二医疗数据处理模型进行训练，包括：
    在第一阶段的训练中，采用warm-up机制调整所述线性层的参数更新的学习率。
  20. 如权利要求15所述的可读存储介质，其中，所述预设数量阈值通过以下公式进行计算：
    θ＝δ*Num modelA
    其中，θ为所述预设数量阈值，δ为超参数，Num modelA为训练所述第一医疗数据处理模型时的数据量。
PCT/CN2020/124217 2020-09-09 2020-10-28 基于迁移学习的医疗数据处理方法、装置、设备及介质 WO2021151324A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010941857.9A CN112016702B (zh) 2020-09-09 2020-09-09 基于迁移学习的医疗数据处理方法、装置、设备及介质
CN202010941857.9 2020-09-09

Publications (1)

Publication Number Publication Date
WO2021151324A1 true WO2021151324A1 (zh) 2021-08-05

Family

ID=73521469

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/124217 WO2021151324A1 (zh) 2020-09-09 2020-10-28 基于迁移学习的医疗数据处理方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN112016702B (zh)
WO (1) WO2021151324A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113747450B (zh) * 2021-07-27 2022-12-09 清华大学 一种移动网络中业务部署方法、装置及电子设备
CN114386454B (zh) * 2021-12-09 2023-02-03 首都医科大学附属北京友谊医院 基于信号混合策略的医疗时序信号数据处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874754A (zh) * 2018-05-30 2018-11-23 苏州思必驰信息科技有限公司 语言模型压缩方法和系统
CN109977848A (zh) * 2019-03-22 2019-07-05 广州新视展投资咨询有限公司 色情检测模型的训练方法及装置、计算机设备及可读介质
CN110378252A (zh) * 2019-06-28 2019-10-25 浙江大学 一种基于深度迁移学习的混凝土裂缝识别方法
CN110543815A (zh) * 2019-07-22 2019-12-06 平安科技（深圳）有限公司 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质
US10721332B2 (en) * 2016-10-31 2020-07-21 Cisco Technology, Inc. System and method for process migration in a content centric network

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190139643A1 (en) * 2017-11-08 2019-05-09 International Business Machines Corporation Facilitating medical diagnostics with a prediction model
CN108461152A (zh) * 2018-01-12 2018-08-28 平安科技（深圳）有限公司 医疗模型训练方法、医疗识别方法、装置、设备及介质
CN109409198B (zh) * 2018-08-31 2023-09-05 平安科技（深圳）有限公司 Au检测方法、装置、设备及介质
CN110660478A (zh) * 2019-09-18 2020-01-07 西安交通大学 一种基于迁移学习的癌症图像预测判别方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10721332B2 (en) * 2016-10-31 2020-07-21 Cisco Technology, Inc. System and method for process migration in a content centric network
CN108874754A (zh) * 2018-05-30 2018-11-23 苏州思必驰信息科技有限公司 语言模型压缩方法和系统
CN109977848A (zh) * 2019-03-22 2019-07-05 广州新视展投资咨询有限公司 色情检测模型的训练方法及装置、计算机设备及可读介质
CN110378252A (zh) * 2019-06-28 2019-10-25 浙江大学 一种基于深度迁移学习的混凝土裂缝识别方法
CN110543815A (zh) * 2019-07-22 2019-12-06 平安科技（深圳）有限公司 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112016702A (zh) 2020-12-01
CN112016702B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
US20220374688A1 (en) Training method of neural network based on memristor and training device thereof
WO2020151310A1 (zh) 文本生成方法、装置、计算机设备及介质
US20190180177A1 (en) Method and apparatus for generating fixed point neural network
WO2021151324A1 (zh) 基于迁移学习的医疗数据处理方法、装置、设备及介质
CN111061847A (zh) 对话生成及语料扩充方法、装置、计算机设备和存储介质
WO2021184902A1 (zh) 图像分类方法、装置、及其训练方法、装置、设备、介质
CN113593611B (zh) 语音分类网络训练方法、装置、计算设备及存储介质
CN110428042B (zh) 往复地缩放神经元的连接权重和输入值来挫败硬件限制
CN109635204A (zh) 基于协同过滤和长短记忆网络的在线推荐系统
WO2021143021A1 (zh) 基于大数据的答案位置获取方法、装置、设备及介质
CN111461463A (zh) 一种基于tcn-bp的短期负荷预测方法、系统及设备
CN110598210B (zh) 实体识别模型训练、实体识别方法、装置、设备及介质
CN111598213A (zh) 网络训练方法、数据识别方法、装置、设备和介质
WO2021057884A1 (zh) 语句复述方法、训练语句复述模型的方法及其装置
US11625583B2 (en) Quality monitoring and hidden quantization in artificial neural network computations
CN113626610A (zh) 知识图谱嵌入方法、装置、计算机设备和存储介质
CN114999182A (zh) 基于lstm回馈机制的车流量预测方法、装置及设备
WO2024094094A1 (zh) 一种模型训练方法及装置
CN113537591A (zh) 长期天气预测方法、装置、计算机设备及存储介质
CN112183744A (zh) 一种神经网络剪枝方法及装置
WO2022141258A1 (zh) 一种图像分类方法、计算机设备和存储介质
CN113449863A (zh) 一种基于查表的神经网络量化方法
TW202301130A (zh) 深度學習網路裝置、其使用的記憶體存取方法與非揮發性儲存媒介
CN113435581A (zh) 数据处理方法、量子计算机、装置及存储介质
CN113705079A (zh) 基于层数采样的模型压缩方法、深度神经网络模型

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20916997

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20916997

Country of ref document: EP

Kind code of ref document: A1