WO2021169126A1 - 病灶分类模型训练方法、装置、计算机设备和存储介质 - Google Patents

病灶分类模型训练方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
WO2021169126A1
WO2021169126A1 PCT/CN2020/099473 CN2020099473W WO2021169126A1 WO 2021169126 A1 WO2021169126 A1 WO 2021169126A1 CN 2020099473 W CN2020099473 W CN 2020099473W WO 2021169126 A1 WO2021169126 A1 WO 2021169126A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion
image information
area
target
type
Prior art date
Application number
PCT/CN2020/099473
Other languages
English (en)
French (fr)
Inventor
甘伟焜
詹维伟
张璐
陈超
黄凌云
刘玉宇
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021169126A1 publication Critical patent/WO2021169126A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Definitions

  • This application relates to the field of artificial intelligence technology, and in particular to a training method, device, computer equipment, and storage medium for a lesion classification model.
  • the judgment of the disease is basically realized by the doctor's manual judgment, and the manual judgment is time-consuming, involves many processes, and needs to be based on a variety of indicators of the lesion, such as whether it is calcified, whether it is cystic, echo level, etc.
  • the result of the diagnosis is not easy to quantify, and it also relies heavily on the doctor's own experience.
  • judgment errors are prone to occur.
  • the diagnosis of benign and malignant is a classification problem to a certain extent.
  • the existing lesion classification method is implemented by inputting an image marked with a lesion area into a pre-trained lesion classification model.
  • Some lesion classification models are all single-input channels, and the classification effect of single-input-channel lesion classification models is easily affected by the image size, so the effect is often poor when processing data with a large size range.
  • the existing method is to separately establish models for different lesion size ranges.
  • each individual model requires samples of corresponding scales for training, which leads to an increase in the demand for sample data.
  • the purpose of this application is to provide a lesion classification model training method, device, computer equipment, and storage medium, so as to reduce the requirement on the amount of sample data on the premise of achieving accurate lesion classification.
  • this application provides a method for training a lesion classification model, including:
  • sample data set including a number of sample pictures respectively marked with lesion areas, and each of the lesion areas is marked with a corresponding classification label
  • a pre-established lesion classification model with dual input channels is trained to obtain a target lesion classification model.
  • this application also provides a training device for a lesion classification model, including:
  • a sample acquisition module configured to acquire a sample data set, the sample data set includes a number of sample pictures respectively marked with lesion areas, and each of the lesion areas is marked with a corresponding classification label;
  • the first partial image information collection module is configured to perform partial image information collection processing on each of the lesion areas to obtain partial image information of each of the lesion areas;
  • the first global image information collection module is configured to perform global image information collection processing on each of the lesion areas to obtain global image information of each of the lesion areas;
  • the model training module is used to train a pre-established lesion classification model with dual input channels by using the local image information and global image information of each lesion area and the classification label corresponding to each lesion area to obtain Target lesion classification model.
  • the present application also provides a computer device, including a memory, a processor, and a computer program stored in the memory and running on the processor.
  • the processor implements the aforementioned lesion classification model when the computer program is executed. The following steps of the training method:
  • sample data set including a number of sample pictures respectively marked with lesion areas, and each of the lesion areas is marked with a corresponding classification label
  • the present application also provides a computer-readable storage medium on which a computer program is stored, and when the computer program is executed by a processor, the following steps of the aforementioned lesion classification model training method are realized:
  • sample data set including a number of sample pictures respectively marked with lesion areas, and each of the lesion areas is marked with a corresponding classification label
  • a pre-established lesion classification model with dual input channels is trained to obtain a target lesion classification model.
  • This application designs a lesion classification model with dual input channels.
  • the local image information and global image information of the lesion area are respectively received through the two input channels. Since the local image information contains more detailed information of the lesion area, the global image information can better reflect Because of the global characteristics of the lesion area, the trained lesion classification model is more accurate than the existing single-input lesion classification model. At the same time, this application does not need to separately establish models for different lesion size ranges, thereby reducing the demand for sample data for model training.
  • FIG. 1 is a flowchart of an embodiment of a method for training a lesion classification model according to the application
  • Figure 2 is a schematic diagram of the structure of the lesion classification model in this application.
  • FIG. 3 is a schematic diagram of the structure of the first convolutional network and the second convolutional network in this application;
  • Figure 4 is a schematic diagram of the structure of the residual module in this application.
  • FIG. 5 is a schematic diagram of the structure of the attention network in this application.
  • FIG. 6 is a flowchart of another embodiment of a method for training a lesion classification model according to the application.
  • FIG. 7 is a structural block diagram of an embodiment of a training device for a lesion classification model according to the present application.
  • FIG. 8 is a structural block diagram of another embodiment of a training device for a lesion classification model according to the present application.
  • Figure 9 is a hardware architecture diagram of the computer equipment of this application.
  • This embodiment provides a method for training a lesion classification model, which is mainly applicable to fields such as smart medical care and disease risk assessment. As shown in FIG. 1, the method includes the following steps:
  • S11 Obtain a sample data set, the sample data set includes a plurality of sample pictures respectively marked with lesion areas, and each lesion area is marked with a corresponding classification label.
  • sample pictures can be obtained from the hospital’s sample database.
  • the contour of the lesion in each sample picture is manually marked by the doctor in advance or automatically or semi-automatically by the existing detection or segmentation algorithm, and each lesion is marked automatically or semi-automatically.
  • the classification label corresponding to the area is also marked by the doctor in advance, for example, benign label [1 0] and malignant label [0 1] are marked.
  • the sample image mainly refers to an ultrasound image, especially an ultrasound image marked with a thyroid lesion area or a breast lesion area.
  • S12 Perform local image information collection processing on each lesion area to obtain local image information of each lesion area.
  • the local image information collection and processing can be implemented through the following steps:
  • S121 Construct a rectangular frame of the lesion based on the uppermost point, the lowermost point, the leftmost point, and the rightmost point of the lesion area.
  • S122 In the neighborhood of the lesion area, randomly move the rectangular frame of the lesion multiple times, and collect the image information in the rectangular frame of the lesion after each movement as the partial image information of the corresponding lesion area.
  • the reason for moving the rectangular frame of the lesion is that in practical applications, the ultrasound image has defects such as low resolution, artifacts in the image, and no obvious boundary of the lesion area itself, so the labeling position of the lesion area may not be accurate, so it is repeated many times. Move; In addition, the amount of data is increased by random movement, which can further reduce the demand for sample data to a certain extent.
  • the local image information collection processing may further include the following steps: taking the center of the rectangular frame of the lesion as a reference, the rectangular frame of the lesion is enlarged by a preset enlargement ratio N%, and the enlarged rectangular frame of the lesion
  • the size the size of the rectangle frame of the original lesion * (1 + N%).
  • S13 Perform global image information collection processing on each lesion area to obtain global image information of each lesion area.
  • the global image information collection processing includes:
  • S131 Divide each lesion into a type 1 lesion area, a type 2 lesion area, and a type 3 lesion area according to the size, where the size of the type 1 lesion area, the type 2 lesion area and the type 3 lesion area are reduced in order small.
  • the classification process is as follows: First, the size of the long axis (the longest axis that passes through the center of the focus area) of each lesion area in the sample data set is counted, and the median M of all the long axes is obtained, and the long axis is greater than The focus area of M is regarded as the large focus area, and the focus area with the long axis less than M is regarded as the small focus area; then, the median M1 of the long axis of all large focus areas is obtained, and the large focus area with the long axis greater than M1 is taken as the first focus area.
  • a type of lesion area then obtain the average value M2 of the long axis of all small lesion areas, and set the small lesion area with the long axis less than M2 as the third type lesion area; at the same time, the large lesion area with the long axis less than M1 and the long axis Small lesions smaller than M2 are regarded as the second type of lesions.
  • S132 Perform down-sampling processing on each focus area in the first-type focus area, so as to adjust each focus area in the first-type focus area to have the same long axis as M1 through down-sampling, and undergo down-sampling processing
  • the image information of is used as the global image information of the corresponding lesion area in the first type of lesion area.
  • S133 Use image information of each focus area in the second type of focus area as global image information of the corresponding focus area in the second type of focus area.
  • S134 Perform interpolation processing on each focus area in the third type focus area, so as to adjust each focus area in the third type focus area to have the same long axis as M2 through interpolation, and use the interpolation processed image information As the global image information of the corresponding lesion area in the third type of lesion area.
  • each lesion area in the sample data set can be unified into a certain size range (the long axis is between M2 and M1). Since the benign and malignant degree of the lesion area is not directly related to the size of the lesion area, adjusting the size will not affect the classification of the lesion, and can avoid the adverse effect on the subsequent lesion classification model due to the large difference in the size of the lesion.
  • a gradient descent method is used to train the lesion classification model
  • the deep learning network accelerator weight normalization can be used to accelerate the training during the training process.
  • the commonly used K-fold cross-validation method can be used to verify the trained model to obtain the performance of the trained lesion classification model, such as the accuracy rate/AUC curve.
  • the embodiment it is also possible to obtain multiple trained lesion classification models by adjusting the value of the enlargement ratio N% multiple times, and use the best-performing model among the multiple trained lesion classification models as the target lesion classification model.
  • the following rules can be used to adjust the enlargement ratio N%: assuming that the value range of N% is set to be less than 100%, first set the initial value of N% to 10%, and then press a predetermined step (such as 10% ) Increase N% until N% reaches 100%. It should be understood that if N% takes different values, different local image information of each lesion area will be obtained, so that different lesion classification models can be trained.
  • the lesion classification model used in this implementation is shown in Figure 2 and includes a first convolutional network, a second convolutional network, a splicing layer, and a fully connected classification layer.
  • the first convolutional network and the first convolutional network The network is a parallel network.
  • the input end of the first convolutional network is used to receive the local image information of each lesion area, and the input end of the second convolutional network is used to receive the global image information of each lesion area.
  • the input end of the splicing layer and the first One convolutional network is connected to the output end of the second convolutional network, and the input end of the fully connected classification layer is connected to the output end of the splicing layer.
  • the features in the local image information and the global image information can be extracted through the first convolutional network and the second convolutional network, and then the features in the local image information and the global image information can be spliced by the stitching layer and then input into the fully connected classification Finally, the classification process is performed through the fully connected classification layer, and the classification result is output.
  • the first convolutional network and the second convolutional network in this embodiment are deep residual networks (resnet), where the deep residual network preferably includes a convolutional layer, a residual module (Resblock), and pooling. Floor.
  • the specific structures of the first convolutional network and the second convolutional network are shown.
  • the first convolutional network/the second convolutional network receives the local image information/global image information, they pass through the first convolutional network in turn.
  • the image information is processed to obtain the features in the local image information/global image information.
  • the parameters of the third convolutional layer, the third residual module and the pooling layer of the first convolutional network and the second convolutional network are independent, and the parameters of other layers are shared.
  • each residual module in this application includes a residual module layer and an attention network.
  • the residual module layer includes a fourth convolutional layer, a fifth convolutional layer, and a sixth convolutional layer.
  • the residual module layer receives the input signal, it sequentially processes the input signal through the fourth convolutional layer, the fifth convolutional layer and the sixth convolutional layer, and then combines the output result of the sixth convolutional layer with the input signal After summing, input the attention network for processing.
  • the attention network here plays the role of making the model focus on the key areas. Its structure is shown in Figure 5, including two paths.
  • the first path includes the 1*1 seventh convolutional layer; the second path includes the first path.
  • a maximum pooling layer, eighth convolutional layer, second maximum pooling layer, ninth convolutional layer, sub-pixel up-sampling layer and classification layer are used to obtain the attention weighting matrix, and finally the attention weighting matrix is combined with the first
  • the output results of one pass are multiplied to make the model pay more attention to high-weight areas.
  • sub-pixel up-sampling is obtained by interpolation and adjustment of up-sampling. Compared with up-sampling, sub-pixel up-sampling does not need to reduce the channel of the model to 1 during the convolution process, and is more conducive to integrating information in multiple channels .
  • this embodiment designs a dual-input channel lesion classification model, and the local image information and global image information of the lesion area are respectively received through the two input channels. Because the local image information contains more detailed information of the lesion area, Global image information can better reflect the global characteristics of the lesion area, so the trained lesion classification model is more accurate than the existing single-input lesion classification model. At the same time, this application does not need to separately establish models for different lesion size ranges, thereby reducing the demand for sample data.
  • This embodiment provides a method for training a lesion classification model based on the first embodiment.
  • the difference between the method of this embodiment and the first embodiment is that after the target lesion classification model is obtained in step S14, the steps shown in FIG. 6 are executed. , Specifically including:
  • S21 Obtain a picture of a target case, where the contour of the target lesion area is marked in the picture of the target case.
  • step S22 Perform partial image information collection processing on the target lesion area to obtain partial image information of the target lesion area.
  • the partial image information collection process in this step is the same as the partial image information collection process in step S12, and will not be repeated here.
  • step S23 Perform global image information collection processing on the target lesion area to obtain global image information of the target lesion area.
  • the global image information collection process in this step is the same as the global image information collection process in step S13, and will not be repeated here.
  • S24 Use the target lesion classification model trained in the first embodiment to process the local image information and global image information of the target lesion area to obtain benign and malignant classification results of the target lesion area.
  • the local image information and global image information of the target lesion area are respectively received through the two input channels of the aforementioned target lesion classification model. Since the target lesion classification model has a more accurate classification effect, the target lesion area in the case picture can be analyzed. Accurate classification.
  • This embodiment provides an apparatus 10 for training a lesion classification model. As shown in FIG. 7, the apparatus includes:
  • the sample acquisition module 11 is configured to acquire a sample data set, the sample data set includes a number of sample pictures marked with lesion areas, and each lesion area is marked with a corresponding classification label;
  • the first partial image information collection module 12 is configured to perform partial image information collection processing on each of the lesion areas to obtain partial image information of each of the lesion areas;
  • the first global image information collection module 13 is configured to perform global image information collection processing on each of the lesion areas to obtain global image information of each of the lesion areas;
  • the model training module 14 is configured to use the local image information and global image information of each lesion area and the classification label corresponding to each lesion area to train a pre-established lesion classification model with dual input channels, Obtain the target lesion classification model.
  • the first partial image information collection module is specifically configured to:
  • the rectangular frame of the lesion is randomly moved multiple times, and the image information in the rectangular frame of the lesion after each movement is used as the partial image information of the lesion area.
  • the first partial image information collection module is further configured to: before randomly moving the rectangular frame of the lesion multiple times in the neighborhood of the lesion area,
  • the rectangular frame of the lesion is enlarged according to a preset enlargement ratio.
  • the first global image information collection module is specifically configured to:
  • the lesions are divided into the first type, the second type and the third type.
  • the size of the first type, the second type and the third type are reduced in order. small;
  • Interpolation processing is performed on each lesion area in the third type lesion area, and the image information subjected to the interpolation processing is used as the global image information of the corresponding lesion area in the third type lesion area.
  • the lesion classification model includes a first convolutional network, a second convolutional network, a splicing layer, and a fully connected classification layer, wherein the input end of the first convolutional network is used to receive each of the Local image information of the lesion area, the input end of the second convolutional network is used to receive the global image information of each lesion area, and the input end of the splicing layer is connected to the first convolutional network and the second convolutional network respectively The output end of the product network is connected, and the input end of the fully connected classification layer is connected to the output end of the splicing layer.
  • This embodiment provides a lesion classification model training device 10 based on the third embodiment. As shown in FIG. 8, the device of this embodiment is different from the third embodiment in that it further includes the following modules:
  • the case picture obtaining module 15 is used to obtain a target case picture, in which the target lesion area is marked;
  • the second partial image information collection module 16 is configured to perform the partial image information collection processing on the target lesion area to obtain the partial image information of the target lesion area;
  • the second global image information collection module 17 is configured to perform the global image information collection processing on the target lesion area to obtain the global image information of the target lesion area;
  • the model processing module 18 is configured to use the target lesion classification model obtained by the lesion classification model training device of the third embodiment to process the local image information and global image information of the target lesion area to obtain the target lesion area Classification results.
  • This embodiment provides a computer device, such as a smart phone, a tablet computer, a notebook computer, a desktop computer, a rack server, a blade server, a tower server, or a cabinet server (including independent servers, or more) that can execute programs.
  • a server cluster composed of two servers) and so on.
  • the computer device 20 in this embodiment at least includes but is not limited to: a memory 21 and a processor 22 that can be communicably connected to each other through a system bus, as shown in FIG. 9. It should be pointed out that FIG. 9 only shows the computer device 20 with components 21-22, but it should be understood that it is not required to implement all the illustrated components, and more or fewer components may be implemented instead.
  • the memory 21 (ie, readable storage medium) includes flash memory, hard disk, multimedia card, card-type memory (for example, SD or DX memory, etc.), random access memory (RAM), static random access memory (SRAM), Read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), programmable read-only memory (PROM), magnetic memory, magnetic disks, optical disks, etc.
  • the memory 21 may be an internal storage unit of the computer device 20, such as a hard disk or a memory of the computer device 20.
  • the memory 21 may also be an external storage device of the computer device 20, such as a plug-in hard disk equipped on the computer device 20, a smart memory card (Smart Media Card, SMC), Secure Digital (SD) card, Flash Card, etc.
  • the memory 21 may also include both an internal storage unit of the computer device 20 and an external storage device thereof.
  • the memory 21 is generally used to store the operating system and various application software installed in the computer device 20, such as the program code of the lesion classification model training device 10 of the third and fourth embodiments.
  • the memory 21 can also be used to temporarily store various types of data that have been output or will be output.
  • the processor 22 may be a central processing unit (Central Processing Unit, CPU), a controller, a microcontroller, a microprocessor, or other data processing chips in some embodiments.
  • the processor 22 is generally used to control the overall operation of the computer device 20.
  • the processor 22 is used to run the program code or process data stored in the memory 21, for example, to run the lesion classification model training device 10 to implement the lesion classification model training method of the first or second embodiment.
  • This embodiment provides a computer-readable storage medium, such as flash memory, hard disk, multimedia card, card-type memory (for example, SD or DX memory, etc.), random access memory (RAM), static random access memory (SRAM), read-only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), magnetic memory, magnetic disks, optical disks, servers, App application malls, etc., on which computer programs and programs are stored The corresponding function is realized when executed by the processor.
  • the computer-readable storage medium of this embodiment is used to store the lesion classification model training device 10, and when executed by a processor, the lesion classification model training method of the first or second embodiment is implemented.
  • the computer-readable storage medium may be non-volatile or volatile.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种病灶分类模型训练方法、装置、计算机设备和存储介质，病灶分类模型训练方法包括：获取样本数据集，所述样本数据集包含若干分别标注有病灶区的样本图片，且各所述病灶区分别标记有对应的分类标签；对各所述病灶区进行局部图像信息采集处理，得到各所述病灶区的局部图像信息；对各所述病灶区进行全局图像信息采集处理，得到各所述病灶区的全局图像信息；利用各所述病灶区的所述局部图像信息和全局图像信息、以及各所述病灶区对应的分类标签，对预先建立的具有双输入通道的病灶分类模型进行训练，得到目标病灶分类模型。本申请能够在实现病灶准确分类的前提下，降低对样本数据量的要求。

Description

病灶分类模型训练方法、装置、计算机设备和存储介质
本申请要求于2020年02月25日递交的申请号为CN202010115041.0、名称为“病灶分类模型训练方法、装置、计算机设备和存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能技术领域，尤其涉及一种病灶分类模型训练方法、装置、计算机设备和存储介质。
 背景技术
传统地，对于疾病的判断基本是医生人工判断来实现的，而人工判断耗时长、涉及过程多，并且需要根据病灶的多种指标，如是否钙化、是否为囊性、回声水平等一系列指标来综合诊断，诊断的结果不容易量化同时也很依赖医生自身的经验，在实际诊断过程中容易发生判断错误的情况。
随着医学和计算机图像处理技术的飞速发展，医学图像自动识别诊断是当前计算机图像技术和医学图像交叉领域研究的热点。利用计算机图像处理技术完成对超声影像的辅助诊断，主要是通过构造快速、正确率高的分类器，协助医生对病灶区进行良恶性诊断。
良恶性的诊断在某种程度上属于分类问题，现有的病灶分类方法通过将标注有病灶区域的图像输入预先训练的病灶分类模型实现。
 技术问题
发明人发现，病灶区域尺寸相差较大，反映在超声影像中病灶区域的像素点数可以从几百到几万不等（而病灶区域的良恶性程度与病灶区的尺寸无直接关系），由于现有的病灶分类模型都是单输入通道，单输入通道病灶分类模型的分类效果容易受到图像尺寸的影响，所以在处理尺寸范围较大的数据时往往效果较差。为了解决这个问题，现有的方法是针对不同病灶尺寸范围单独建立模型，然而，每个单独的模型分别需要对应尺度的样本进行训练，导致对样本数据量的需求提高。
 技术解决方案
针对上述现有技术的不足，本申请的目的在于提供一种病灶分类模型训练方法、装置、计算机设备和存储介质，以在实现病灶准确分类的前提下，降低对样本数据量的要求。
为了实现上述目的，本申请提供一种病灶分类模型训练方法，包括：
获取样本数据集，所述样本数据集包含若干分别标注有病灶区的样本图片，且各所述病灶区分别标记有对应的分类标签；
对各所述病灶区进行局部图像信息采集处理，得到各所述病灶区的局部图像信息；
对各所述病灶区进行全局图像信息采集处理，得到各所述病灶区的全局图像信息；
利用各所述病灶区的所述局部图像信息和全局图像信息、以及各所述病灶区对应的分类标签，对预先建立的具有双输入通道的病灶分类模型进行训练，得到目标病灶分类模型。
为了实现上述目的，本申请还提供一种病灶分类模型训练装置，包括：
样本获取模块，用于获取样本数据集，所述样本数据集包含若干分别标注有病灶区的样本图片，且各所述病灶区分别标记有对应的分类标签；
第一局部图像信息采集模块，用于对各所述病灶区进行局部图像信息采集处理，得到各所述病灶区的局部图像信息；
第一全局图像信息采集模块，用于对各所述病灶区进行全局图像信息采集处理，得到各所述病灶区的全局图像信息；
模型训练模块，用于利用各所述病灶区的所述局部图像信息和全局图像信息、以及各所述病灶区对应的分类标签，对预先建立的具有双输入通道的病灶分类模型进行训练，得到目标病灶分类模型。
为了实现上述目的，本申请还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述病灶分类模型训练方法的以下步骤：
获取样本数据集，所述样本数据集包含若干分别标注有病灶区的样本图片，且各所述病灶区分别标记有对应的分类标签；
对各所述病灶区进行局部图像信息采集处理，得到各所述病灶区的局部图像信息；
对各所述病灶区进行全局图像信息采集处理，得到各所述病灶区的全局图像信息；
利用各所述病灶区的所述局部图像信息和全局图像信息、以及各所述病灶区对应的分类标签，对预先建立的具有双输入通道的病灶分类模型进行训练，得到目标病灶分类模型。为了实现上述目的，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述病灶分类模型训练方法的以下步骤：
获取样本数据集，所述样本数据集包含若干分别标注有病灶区的样本图片，且各所述病灶区分别标记有对应的分类标签；
对各所述病灶区进行局部图像信息采集处理，得到各所述病灶区的局部图像信息；
对各所述病灶区进行全局图像信息采集处理，得到各所述病灶区的全局图像信息；
利用各所述病灶区的所述局部图像信息和全局图像信息、以及各所述病灶区对应的分类标签，对预先建立的具有双输入通道的病灶分类模型进行训练，得到目标病灶分类模型。
 有益效果
本申请设计了双输入通道的病灶分类模型，通过两个输入通道分别接收病灶区的局部图像信息和全局图像信息，由于局部图像信息包含了病灶区的更多细节信息、全局图像信息更能反映病灶区的全局特点，所以训练得到的病灶分类模型相对于现有的单输入病灶分类模型准确性更高。同时，本申请无需针对不同病灶尺寸范围分别建立模型，从而降低了模型训练对样本数据量的需求。
 附图说明
图1为本申请病灶分类模型训练方法的一个实施例的流程图；
图2为本申请中病灶分类模型的结构示意图；
图3为本申请中第一卷积网络和第二卷积网络的结构示意图；
图4为本申请中残差模块的结构示意图；
图5为本申请中注意力网络的结构示意图；
图6为本申请病灶分类模型训练方法的另一个实施例的流程图；
图7为本申请病灶分类模型训练装置的一个实施例的结构框图；
图8为本申请病灶分类模型训练装置的另一个实施例的结构框图；
图9为本申请计算机设备的硬件架构图。
 本发明的实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
实施例一
本实施例提供一种病灶分类模型训练方法，主要适用于智慧医疗、疾病风险评估等领域，如图1所示，该方法包括以下步骤：
S11，获取样本数据集，该样本数据集包含若干分别标注有病灶区的样本图片，且各病灶区分别标记有对应的分类标签。
具体来说，本步骤可以从医院的样本数据库中获得样本图片，每张样本图片中的病灶区轮廓预先由医生手动标注出来或者通过现有的检测或分割算法自动或半自动标注出来，并且各病灶区对应的分类标签也预先由医生进行了标记，如，标记了良性标签[1 0]、恶性标签[0 1]。在本实施例中，样本图片主要是指超声波图片，特别是标注有甲状腺病灶区或乳腺病灶区的超声波图片。
S12，对各病灶区进行局部图像信息采集处理，得到各病灶区的局部图像信息。在本实施例中，局部图像信息采集处理可以通过如下步骤实现：
S121，以病灶区的最上点、最下点、最左点和最右点为基准，构造病灶矩形框。
S122，在病灶区的邻域，多次随机移动病灶矩形框，并采集每次移动后的病灶矩形框内的图像信息作为对应病灶区的局部图像信息。移动病灶矩形框是因为：在实际应用中，超声影像具有分辨率较低、图像存在伪影、病灶区本身没有明显的界限等缺陷，所以造成病灶区的标注位置不一定准确，所以进行多次移动；此外，通过随机移动使得数据量增加，一定程度上可以进一步减小对样本数据量的需求。
优选地，在执行步骤S122之前，局部图像信息采集处理还可以包括以下步骤：以病灶矩形框的中心为基准，将病灶矩形框按预设的放大比例N%进行放大，放大后的病灶矩形框的尺寸=原始病灶矩形框的尺寸*（1+ N%）。此处对病灶矩形框进行放大是因为：在对病灶区进行分类时，结合病灶区和周边区域的图像进行分类可以得到更好的分类效果。
S13，对各病灶区进行全局图像信息采集处理，得到各病灶区的全局图像信息。在本实施例中，全局图像信息采集处理包括：
S131，按尺寸大小将各病灶区分为第一类病灶区、第二类病灶区和第三类病灶区，其中第一类病灶区、第二类病灶区和第三类病灶区的尺寸依次减小。其中，分类程如下：首先，统计样本数据集中各病灶区的长轴（长轴即通过病灶区中心的最长的轴）的尺寸，并获取所有长轴的中位数M，将长轴大于M的病灶区作为大病灶区，将长轴小于M的病灶区作为小病灶区；而后，获取所有大病灶区的长轴的中位数M1，并将长轴大于M1的大病灶区作为第一类病灶区；再获取所有小病灶区的长轴的平均值M2，并将长轴小于M2的小病灶区作为第三类病灶区；同时，将长轴小于M1的大病灶区和长轴小于M2的小病灶区作为第二类病灶区。
S132，对第一类病灶区中的每个病灶区进行降采样处理，以通过降采样将第一类病灶区中的各病灶区均调整至其长轴与M1相同，并将经过降采样处理的图像信息作为所述第一类病灶区中对应病灶区的全局图像信息。
S133，将所述第二类病灶区中各病灶区的图像信息作为所述第二类病灶区中对应病灶区的全局图像信息。
S134，对第三类病灶区中的每个病灶区进行插值处理，以通过插值将第三类病灶区中的各病灶区均调整至其长轴与M2相同，并将经过插值处理的图像信息作为所述第三类病灶区中对应病灶区的全局图像信息。
通过上述处理，可将样本数据集中各病灶区统一到一定尺寸范围（长轴在M2~M1之间）内。由于病灶区域的良恶性程度与病灶区的尺寸无直接关系，所以调整尺寸并不会影响病灶分类，而且可以避免因病灶尺寸相差较大对后续病灶分类模型造成的不利影响。
S14，利用各病灶区的局部图像信息和全局图像信息、以及各病灶区对应的分类标签，对预先建立的具有双输入通道的病灶分类模型进行训练，得到目标病灶分类模型。
具体来说，本实施例使用梯度下降方式对病灶分类模型进行训练，在训练过程中可以使用深度学习网络加速器weight normalization进行训练加速。同时，可以采用常用的K折交叉验证方法对训练得到的模型进行验证，以得到训练后的病灶分类模型的性能，如准确率/AUC曲线等。
在实施例中，还可以通过多次调整放大比例N%的值，得到多个经过训练的病灶分类模型，并将多个经过训练的病灶分类模型中性能最佳的模型作为目标病灶分类模型。其中，可以采用如下规则对放大比例N%进行调整：假设N%的取值范围设定为小于100%，则首先将N%的初始值设为10%，然后按预定步长（如10%）增大N%，直至N%达到100%。应该理解，N%取不同的值，将得到各病灶区的不同局部图像信息，从而训练得到不同的病灶分类模型。
优选地，本实施中采用的病灶分类模型如图2所示，包括第一卷积网络、第二卷积网络、拼接层以及全连接分类层，其中，第一卷积网和第一卷积网为并行网络，第一卷积网络的输入端用于接收各病灶区的局部图像信息，第二卷积网的输入端用于接收各病灶区的全局图像信息，拼接层的输入端与第一卷积网络和第二卷积网络的输出端连接，全连接分类层的输入端与拼接层的输出端连接。从而，可以通过第一卷积网络和第二卷积网络分别提取局部图像信息和全局图像信息中的特征，再通过拼接层将局部图像信息和全局图像信息中的特征进行拼接后输入全连接分类层，最后通过全连接分类层进行分类处理，并输出分类结果。
具体来说，本实施例中的第一卷积网络和第二卷积网络为深度残差网络（resnet），其中，深度残差网络优选包括卷积层、残差模块（Resblock）和池化层。如图3所示，示出了第一卷积网络和第二卷积网络的具体结构，当第一卷积网络/第二卷积网络接收到局部图像信息/全局图像信息后，依次通过第一卷积层、3个第一残差模块、第二卷积层、3个第二残差模块、第三卷积层、3个第三残差模块以及池化层对局部图像信息/全局图像信息进行处理，以得到局部图像信息/全局图像信息中的特征。优选地，第一卷积网络和第二卷积网络的第三卷积层、第三残差模块和池化层的参数是独立的，其它层的参数是共享的。
此外，本申请中各残差模块的结构如图4所示，包括残差模块层以及注意力网络（attention）。其中，残差模块层包括第四卷积层、第五卷积层和第六卷积层。当残差模块层接收到输入信号后，其依次通过第四卷积层、第五卷积层和第六卷积层对输入信号进行处理，然后将第六卷积层的输出结果与输入信号求和后，再输入注意力网络进行处理。
注意力网络在此起到使模型关注重点区域的作用，其结构如图5所示，包括两条通路，其中第一条通路包括1*1的第七卷积层；第二条通路包括第一最大池化层、第八卷积层、第二最大池化层、第九卷积层、子像素上采样层和分类层，用于得到注意力加权矩阵，最后将注意力加权矩阵与第一通路的输出结果相乘，使模型更加关注高权值区域。其中，子像素上采样通过对上采样进行插值调整得到，与上采样相比，子像素上采样不必在卷积过程中将模型的通道降到1，且更有利于整合多个通道中的信息。
综上所述，本实施例设计了双输入通道的病灶分类模型，通过两个输入通道分别接收病灶区的局部图像信息和全局图像信息，由于局部图像信息包含了病灶区的更多细节信息、全局图像信息更能反映病灶区的全局特点，所以训练得到的病灶分类模型相对于现有的单输入病灶分类模型准确性更高。同时，本申请无需针对不同病灶尺寸范围分别建立模型，从而降低了对样本数据量的需求。
实施例二
本实施例提供一种基于实施例一的病灶分类模型训练方法，本实施例的方法与实施例一的区别在于，在步骤S14得到所述目标病灶分类模型之后，再执行图6所示的步骤，具体包括：
S21，获取目标病例图片，该目标病例图片中标记有目标病灶区的轮廓。
S22，对目标病灶区进行局部图像信息采集处理，得到目标病灶区的局部图像信息。其中，本步骤的局部图像信息采集处理与步骤S12中的局部图像信息采集处理过程相同，在此不再赘述。
S23，对目标病灶区进行全局图像信息采集处理，得到目标病灶区的全局图像信息。其中，本步骤的全局图像信息采集处理与步骤S13中的全局图像信息采集处理过程相同，在此不再赘述。
S24，利用实施例一训练得到的所述目标病灶分类模型，对所述目标病灶区的局部图像信息和全局图像信息进行处理，得到所述目标病灶区的良、恶性分类结果。
本实施例通过前述目标病灶分类模型的两个输入通道分别接收目标病灶区的局部图像信息和全局图像信息，由于目标病灶分类模型具有更加准确的分类效果，从而可以对病例图片中目标病灶区进行准确分类。
需要说明的是，对于实施例一和实施例二，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请所必须的。
实施例三
本实施例提供一种病灶分类模型训练装置10，如图7所示，该装置包括：
样本获取模块11，用于获取样本数据集，所述样本数据集包含若干分别标注有病灶区的样本图片，且各所述病灶区分别标记有对应的分类标签；
第一局部图像信息采集模块12，用于对各所述病灶区进行局部图像信息采集处理，得到各所述病灶区的局部图像信息；
第一全局图像信息采集模块13，用于对各所述病灶区进行全局图像信息采集处理，得到各所述病灶区的全局图像信息；
模型训练模块14，用于利用各所述病灶区的所述局部图像信息和全局图像信息、以及各所述病灶区对应的分类标签，对预先建立的具有双输入通道的病灶分类模型进行训练，得到目标病灶分类模型。
在本实施例中，所述第一局部图像信息采集模块具体用于：
以所述病灶区的最上点、最下点、最左点和最右点为基准，构造病灶矩形框；
在所述病灶区的邻域，多次随机移动所述病灶矩形框，并将每次移动后的所述病灶矩形框内的图像信息作为所述病灶区的局部图像信息。
在本实施例中，所述第一局部图像信息采集模块还用于：在所述病灶区的邻域，多次随机移动所述病灶矩形框之前，
以所述病灶矩形框的中心为基准，将所述病灶矩形框按预设的放大比例进行放大。
在本实施例中，所述第一全局图像信息采集模块具体用于：
按尺寸大小将各所述病灶区分为第一类病灶区、第二类病灶区和第三类病灶区，其中第一类病灶区、第二类病灶区和第三类病灶区的尺寸依次减小；
对所述第一类病灶区中各病灶区进行降采样处理，并将经过降采样处理的图像信息作为所述第一类病灶区中对应病灶区的全局图像信息；
将所述第二类病灶区中各病灶区的图像信息作为所述第二类病灶区中对应病灶区的全局图像信息；
对所述第三类病灶区中各病灶区进行插值处理，并将经过插值处理的图像信息作为所述第三类病灶区中对应病灶区的全局图像信息。
在本实施例中，所述病灶分类模型包括第一卷积网络、第二卷积网络、拼接层以及全连接分类层，其中，所述第一卷积网络的输入端用于接收各所述病灶区的局部图像信息，所述第二卷积网的输入端用于接收各所述病灶区的全局图像信息，所述拼接层的输入端分别与所述第一卷积网络和第二卷积网络的输出端连接，所述全连接分类层的输入端与所述拼接层的输出端连接。
实施例四
本实施例提供一种基于实施例三的病灶分类模型训练装置10，如图8所示，本实施例的装置与实施例三的区别在于，还包括以下模块：
病例图片获取模块15，用于获取目标病例图片，所述目标病例图片中标记有目标病灶区；
第二局部图像信息采集模块16，用于对所述目标病灶区进行所述局部图像信息采集处理，得到所述目标病灶区的局部图像信息；
第二全局图像信息采集模块17，用于对所述目标病灶区进行所述全局图像信息采集处理，得到所述目标病灶区的全局图像信息；
模型处理模块18，用于利用实施例三的病灶分类模型训练装置得到的所述目标病灶分类模型，对所述目标病灶区的局部图像信息和全局图像信息进行处理，得到所述目标病灶区的分类结果。
对于上述装置实施例而言，其与前述方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。同时，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的模块作并不一定是本申请所必须的。
实施例五
本实施例提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器（包括独立的服务器，或者多个服务器所组成的服务器集群）等。本实施例的计算机设备20至少包括但不限于：可通过系统总线相互通信连接的存储器21、处理器22，如图9所示。需要指出的是，图9仅示出了具有组件21-22的计算机设备20，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器21（即可读存储介质）包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备20的内部存储单元，例如该计算机设备20的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备20的外部存储设备，例如该计算机设备20上配备的插接式硬盘，智能存储卡（Smart Media Card， SMC），安全数字（Secure Digital， SD）卡，闪存卡（Flash Card）等。当然，存储器21还可以既包括计算机设备20的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备20的操作系统和各类应用软件，例如实施例三/四的病灶分类模型训练装置10的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备20的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行病灶分类模型训练装置10，以实现实施例一或二的病灶分类模型训练方法。
实施例六
本实施例提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储病灶分类模型训练装置10，被处理器执行时实现实施例一或二的病灶分类模型训练方法。所述计算机可读存储介质可以是非易失性，也可以是易失性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种病灶分类模型训练方法，其中，包括：
    获取样本数据集，所述样本数据集包含若干分别标注有病灶区的样本图片，且各所述病灶区分别标记有对应的分类标签；
    对各所述病灶区进行局部图像信息采集处理，得到各所述病灶区的局部图像信息；
    对各所述病灶区进行全局图像信息采集处理，得到各所述病灶区的全局图像信息；
    利用各所述病灶区的所述局部图像信息和全局图像信息、以及各所述病灶区对应的分类标签，对预先建立的具有双输入通道的病灶分类模型进行训练，得到目标病灶分类模型。
  2. 根据权利要求1所述的病灶分类模型训练方法，其中，所述局部图像信息采集处理包括：
    以所述病灶区的最上点、最下点、最左点和最右点为基准，构造病灶矩形框；
    在所述病灶区的邻域，多次随机移动所述病灶矩形框，并将每次移动后的所述病灶矩形框内的图像信息作为所述病灶区的局部图像信息。
  3. 根据权利要求1所述的病灶分类模型训练方法，其中，在所述病灶区的邻域，多次随机移动所述病灶矩形框之前，所述局部图像信息采集处理还包括：
    以所述病灶矩形框的中心为基准，将所述病灶矩形框按预设的放大比例进行放大。
  4. 根据权利要求1所述的病灶分类模型训练方法，其中，所述全局图像信息采集处理包括：
    按尺寸大小将各所述病灶区分为第一类病灶区、第二类病灶区和第三类病灶区，其中第一类病灶区、第二类病灶区和第三类病灶区的尺寸依次减小；
    对所述第一类病灶区中各病灶区进行降采样处理，并将经过降采样处理的图像信息作为所述第一类病灶区中对应病灶区的全局图像信息；
    将所述第二类病灶区中各病灶区的图像信息作为所述第二类病灶区中对应病灶区的全局图像信息；
    对所述第三类病灶区中各病灶区进行插值处理，并将经过插值处理的图像信息作为所述第三类病灶区中对应病灶区的全局图像信息。
  5. 根据权利要求1所述的病灶分类模型训练方法，其中，所述病灶分类模型包括第一卷积网络、第二卷积网络、拼接层以及全连接分类层，其中，所述第一卷积网络的输入端用于接收各所述病灶区的局部图像信息，所述第二卷积网的输入端用于接收各所述病灶区的全局图像信息，所述拼接层的输入端分别与所述第一卷积网络和第二卷积网络的输出端连接，所述全连接分类层的输入端与所述拼接层的输出端连接。
  6. 根据权利要求1所述的病灶分类模型训练方法，其中，在得到所述目标病灶分类模型之后，还包括：
    获取目标病例图片，所述目标病例图片中标记有目标病灶区；
    对所述目标病灶区进行所述局部图像信息采集处理，得到所述目标病灶区的局部图像信息；
    对所述目标病灶区进行所述全局图像信息采集处理，得到所述目标病灶区的全局图像信息；
    利用所述目标病灶分类模型对所述目标病灶区的局部图像信息和全局图像信息进行处理，得到所述目标病灶区的分类结果。
  7. 一种病灶分类模型训练装置，其中，该装置包括：
    样本获取模块，用于获取样本数据集，所述样本数据集包含若干分别标注有病灶区的样本图片，且各所述病灶区分别标记有对应的分类标签；
    第一局部图像信息采集模块，用于对各所述病灶区进行局部图像信息采集处理，得到各所述病灶区的局部图像信息；
    第一全局图像信息采集模块，用于对各所述病灶区进行全局图像信息采集处理，得到各所述病灶区的全局图像信息；
    模型训练模块，用于利用各所述病灶区的所述局部图像信息和全局图像信息、以及各所述病灶区对应的分类标签，对预先建立的具有双输入通道的病灶分类模型进行训练，得到目标病灶分类模型。
  8. 根据权利要求7所述的病灶分类模型训练装置，其中，该装置还包括：
    病例图片获取模块，用于在所述模型训练模块得到所述目标病灶分类模型之后，获取目标病例图片，所述目标病例图片中标记有目标病灶区；
    第二局部图像信息采集模块，用于对所述目标病灶区进行所述局部图像信息采集处理，得到所述目标病灶区的局部图像信息；
    第二全局图像信息采集模块，用于对所述目标病灶区进行所述全局图像信息采集处理，得到所述目标病灶区的全局图像信息；
    模型处理模块，用于利用所述目标病灶分类模型对所述目标病灶区的局部图像信息和全局图像信息进行处理，得到所述目标病灶区的分类结果。
  9. 一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现病灶分类模型训练方法的以下步骤：
    获取样本数据集，所述样本数据集包含若干分别标注有病灶区的样本图片，且各所述病灶区分别标记有对应的分类标签；
    对各所述病灶区进行局部图像信息采集处理，得到各所述病灶区的局部图像信息；
    对各所述病灶区进行全局图像信息采集处理，得到各所述病灶区的全局图像信息；
    利用各所述病灶区的所述局部图像信息和全局图像信息、以及各所述病灶区对应的分类标签，对预先建立的具有双输入通道的病灶分类模型进行训练，得到目标病灶分类模型。
  10. 根据权利要求9所述的计算机设备，其中，所述局部图像信息采集处理包括：
    以所述病灶区的最上点、最下点、最左点和最右点为基准，构造病灶矩形框；
    在所述病灶区的邻域，多次随机移动所述病灶矩形框，并将每次移动后的所述病灶矩形框内的图像信息作为所述病灶区的局部图像信息。
  11. 根据权利要求9所述的计算机设备，其中，在所述病灶区的邻域，多次随机移动所述病灶矩形框之前，所述局部图像信息采集处理还包括：
    以所述病灶矩形框的中心为基准，将所述病灶矩形框按预设的放大比例进行放大。
  12. 根据权利要求9所述的计算机设备，其中，所述全局图像信息采集处理包括：
    按尺寸大小将各所述病灶区分为第一类病灶区、第二类病灶区和第三类病灶区，其中第一类病灶区、第二类病灶区和第三类病灶区的尺寸依次减小；
    对所述第一类病灶区中各病灶区进行降采样处理，并将经过降采样处理的图像信息作为所述第一类病灶区中对应病灶区的全局图像信息；
    将所述第二类病灶区中各病灶区的图像信息作为所述第二类病灶区中对应病灶区的全局图像信息；
    对所述第三类病灶区中各病灶区进行插值处理，并将经过插值处理的图像信息作为所述第三类病灶区中对应病灶区的全局图像信息。
  13. 根据权利要求9所述的计算机设备，其中，所述病灶分类模型包括第一卷积网络、第二卷积网络、拼接层以及全连接分类层，其中，所述第一卷积网络的输入端用于接收各所述病灶区的局部图像信息，所述第二卷积网的输入端用于接收各所述病灶区的全局图像信息，所述拼接层的输入端分别与所述第一卷积网络和第二卷积网络的输出端连接，所述全连接分类层的输入端与所述拼接层的输出端连接。
  14. 根据权利要求9所述的计算机设备，其中，在得到所述目标病灶分类模型之后，还包括：
    获取目标病例图片，所述目标病例图片中标记有目标病灶区；
    对所述目标病灶区进行所述局部图像信息采集处理，得到所述目标病灶区的局部图像信息；
    对所述目标病灶区进行所述全局图像信息采集处理，得到所述目标病灶区的全局图像信息；
    利用所述目标病灶分类模型对所述目标病灶区的局部图像信息和全局图像信息进行处理，得到所述目标病灶区的分类结果。
  15. 一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现权病灶分类模型训练方法的以下步骤：
    获取样本数据集，所述样本数据集包含若干分别标注有病灶区的样本图片，且各所述病灶区分别标记有对应的分类标签；
    对各所述病灶区进行局部图像信息采集处理，得到各所述病灶区的局部图像信息；
    对各所述病灶区进行全局图像信息采集处理，得到各所述病灶区的全局图像信息；
    利用各所述病灶区的所述局部图像信息和全局图像信息、以及各所述病灶区对应的分类标签，对预先建立的具有双输入通道的病灶分类模型进行训练，得到目标病灶分类模型。
  16. 根据权利要求15所述的计算机可读存储介质，其中，所述局部图像信息采集处理包括：
    以所述病灶区的最上点、最下点、最左点和最右点为基准，构造病灶矩形框；
    在所述病灶区的邻域，多次随机移动所述病灶矩形框，并将每次移动后的所述病灶矩形框内的图像信息作为所述病灶区的局部图像信息。
  17. 根据权利要求15所述的计算机可读存储介质，其中，在所述病灶区的邻域，多次随机移动所述病灶矩形框之前，所述局部图像信息采集处理还包括：
    以所述病灶矩形框的中心为基准，将所述病灶矩形框按预设的放大比例进行放大。
  18. 根据权利要求15所述的计算机可读存储介质，其中，所述全局图像信息采集处理包括：
    按尺寸大小将各所述病灶区分为第一类病灶区、第二类病灶区和第三类病灶区，其中第一类病灶区、第二类病灶区和第三类病灶区的尺寸依次减小；
    对所述第一类病灶区中各病灶区进行降采样处理，并将经过降采样处理的图像信息作为所述第一类病灶区中对应病灶区的全局图像信息；
    将所述第二类病灶区中各病灶区的图像信息作为所述第二类病灶区中对应病灶区的全局图像信息；
    对所述第三类病灶区中各病灶区进行插值处理，并将经过插值处理的图像信息作为所述第三类病灶区中对应病灶区的全局图像信息。
  19. 根据权利要求15所述的计算机可读存储介质，其中，所述病灶分类模型包括第一卷积网络、第二卷积网络、拼接层以及全连接分类层，其中，所述第一卷积网络的输入端用于接收各所述病灶区的局部图像信息，所述第二卷积网的输入端用于接收各所述病灶区的全局图像信息，所述拼接层的输入端分别与所述第一卷积网络和第二卷积网络的输出端连接，所述全连接分类层的输入端与所述拼接层的输出端连接。
  20. 根据权利要求15所述的计算机可读存储介质，其中，在得到所述目标病灶分类模型之后，还包括：
    获取目标病例图片，所述目标病例图片中标记有目标病灶区；
    对所述目标病灶区进行所述局部图像信息采集处理，得到所述目标病灶区的局部图像信息；
    对所述目标病灶区进行所述全局图像信息采集处理，得到所述目标病灶区的全局图像信息；
    利用所述目标病灶分类模型对所述目标病灶区的局部图像信息和全局图像信息进行处理，得到所述目标病灶区的分类结果。
PCT/CN2020/099473 2020-02-25 2020-06-30 病灶分类模型训练方法、装置、计算机设备和存储介质 WO2021169126A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010115041.0A CN111291825B (zh) 2020-02-25 2020-02-25 病灶分类模型训练方法、装置、计算机设备和存储介质
CN202010115041.0 2020-02-25

Publications (1)

Publication Number Publication Date
WO2021169126A1 true WO2021169126A1 (zh) 2021-09-02

Family

ID=71025672

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/099473 WO2021169126A1 (zh) 2020-02-25 2020-06-30 病灶分类模型训练方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN111291825B (zh)
WO (1) WO2021169126A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763352A (zh) * 2021-09-06 2021-12-07 杭州类脑科技有限公司 一种腹腔积液图像处理方法和系统
CN114052795A (zh) * 2021-10-28 2022-02-18 南京航空航天大学 一种结合超声自主扫描的病灶成像及防误扎治疗系统
CN114092427A (zh) * 2021-11-12 2022-02-25 深圳大学 一种基于多序列mri图像的克罗病与肠结核分类方法
CN114664410A (zh) * 2022-03-11 2022-06-24 北京医准智能科技有限公司 一种基于视频的病灶分类方法、装置、电子设备及介质
CN115019110A (zh) * 2022-07-13 2022-09-06 北京深睿博联科技有限责任公司 一种基于胸部影像的病灶识别方法及装置
CN115345828A (zh) * 2022-07-12 2022-11-15 江苏诺鬲生物科技有限公司 一种基于人工智能算法的免疫荧光染色图片病灶标识方法和装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291825B (zh) * 2020-02-25 2024-05-07 平安科技（深圳）有限公司 病灶分类模型训练方法、装置、计算机设备和存储介质
CN114999569B (zh) * 2022-08-03 2022-12-20 北京汉博信息技术有限公司 一种针对病灶基质的分型方法、装置及计算机可读介质
CN116342582B (zh) * 2023-05-11 2023-08-04 湖南工商大学 基于可变形注意力机制的医学图像分类方法与医疗设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563982A (zh) * 2018-01-05 2018-09-21 百度在线网络技术（北京）有限公司 用于检测图像的方法和装置
CN110008971A (zh) * 2018-08-23 2019-07-12 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备
CN110580482A (zh) * 2017-11-30 2019-12-17 腾讯科技（深圳）有限公司 图像分类模型训练、图像分类、个性化推荐方法及装置
CN111291825A (zh) * 2020-02-25 2020-06-16 平安科技（深圳）有限公司 病灶分类模型训练方法、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460756B (zh) * 2018-11-09 2021-08-13 天津新开心生活科技有限公司 医学影像处理方法、装置、电子设备及计算机可读介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580482A (zh) * 2017-11-30 2019-12-17 腾讯科技（深圳）有限公司 图像分类模型训练、图像分类、个性化推荐方法及装置
CN108563982A (zh) * 2018-01-05 2018-09-21 百度在线网络技术（北京）有限公司 用于检测图像的方法和装置
CN110008971A (zh) * 2018-08-23 2019-07-12 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备
CN111291825A (zh) * 2020-02-25 2020-06-16 平安科技（深圳）有限公司 病灶分类模型训练方法、装置、计算机设备和存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763352A (zh) * 2021-09-06 2021-12-07 杭州类脑科技有限公司 一种腹腔积液图像处理方法和系统
CN113763352B (zh) * 2021-09-06 2024-04-02 杭州类脑科技有限公司 一种腹腔积液图像处理方法和系统
CN114052795A (zh) * 2021-10-28 2022-02-18 南京航空航天大学 一种结合超声自主扫描的病灶成像及防误扎治疗系统
CN114052795B (zh) * 2021-10-28 2023-11-07 南京航空航天大学 一种结合超声自主扫描的病灶成像及防误扎治疗系统
CN114092427A (zh) * 2021-11-12 2022-02-25 深圳大学 一种基于多序列mri图像的克罗病与肠结核分类方法
CN114092427B (zh) * 2021-11-12 2023-05-16 深圳大学 一种基于多序列mri图像的克罗病与肠结核分类方法
CN114664410A (zh) * 2022-03-11 2022-06-24 北京医准智能科技有限公司 一种基于视频的病灶分类方法、装置、电子设备及介质
CN115345828A (zh) * 2022-07-12 2022-11-15 江苏诺鬲生物科技有限公司 一种基于人工智能算法的免疫荧光染色图片病灶标识方法和装置
CN115019110A (zh) * 2022-07-13 2022-09-06 北京深睿博联科技有限责任公司 一种基于胸部影像的病灶识别方法及装置

Also Published As

Publication number Publication date
CN111291825B (zh) 2024-05-07
CN111291825A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
WO2021169126A1 (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
CN110232719B (zh) 一种医学图像的分类方法、模型训练方法和服务器
CN110111313B (zh) 基于深度学习的医学图像检测方法及相关设备
AU2016308097B2 (en) Three-dimensional (3D) convolution with 3D batch normalization
WO2020125498A1 (zh) 心脏磁共振图像分割方法、装置、终端设备及存储介质
CN110298844B (zh) X光造影图像血管分割与识别方法及装置
Sander et al. Automatic segmentation with detection of local segmentation failures in cardiac MRI
WO2020238044A1 (zh) 用于检测肿瘤的3D UNet网络模型构建方法、装置及存储介质
TW202125415A (zh) 三維目標檢測及模型的訓練方法、設備、儲存媒體
CN111429452A (zh) 基于UNet卷积神经网络的膀胱超声图像分割方法及装置
WO2021174821A1 (zh) 眼底彩照图像分级方法、装置、计算机设备及存储介质
CN113298831B (zh) 图像分割方法、装置、电子设备及存储介质
CN110728666B (zh) 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
WO2020168648A1 (zh) 一种图像分割方法、装置及计算机可读存储介质
US11721023B1 (en) Distinguishing a disease state from a non-disease state in an image
WO2020050721A1 (en) Determination of a growth rate of an object in 3d data sets using deep learning
CN116433605A (zh) 基于云智能的医学影像分析移动增强现实系统和方法
DE102023113190A1 (de) Identifizieren von Applikationspuffern zum Nachbearbeiten und Wiederverwenden in sekundären Applikationen
CN111681247A (zh) 肺叶肺段分割模型训练方法和装置
CN112420170B (zh) 一种提高计算机辅助诊断系统图片分类准确度的方法
CN113096080B (zh) 图像分析方法及系统
CN116451095A (zh) 多源异构医疗数据多视图聚类方法、装置、介质及设备
US20220405916A1 (en) Method for detecting the presence of pneumonia area in medical images of patients, detecting system, and electronic device employing method
CN111126424A (zh) 一种基于卷积神经网络的超声图像分类方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20920845

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20920845

Country of ref document: EP

Kind code of ref document: A1