WO2020224406A1 - 图像分类方法、计算机可读存储介质和计算机设备 - Google Patents

图像分类方法、计算机可读存储介质和计算机设备 Download PDF

Info

Publication number
WO2020224406A1
WO2020224406A1 PCT/CN2020/085062 CN2020085062W WO2020224406A1 WO 2020224406 A1 WO2020224406 A1 WO 2020224406A1 CN 2020085062 W CN2020085062 W CN 2020085062W WO 2020224406 A1 WO2020224406 A1 WO 2020224406A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
medical
interest
region
medical image
Prior art date
Application number
PCT/CN2020/085062
Other languages
English (en)
French (fr)
Inventor
胡一凡
郑冶枫
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Publication of WO2020224406A1 publication Critical patent/WO2020224406A1/zh
Priority to US17/397,857 priority Critical patent/US11908580B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • image processing technology has been widely used in the medical field, such as classifying medical images of the human body or a certain part of the human body. According to the results of the medical image classification, it can be determined whether a corresponding lesion appears.
  • Image classification is performed based on the fusion feature of the global medical feature and the local medical feature.
  • An image classification device comprising:
  • Image acquisition module for acquiring medical images to be classified
  • An image generation module for generating a texture image according to the image data in the region of interest in the medical image
  • the second feature extraction module is configured to perform feature extraction on the medical image through a second network model to obtain global medical features
  • the image classification module is used for image classification based on the fusion feature of the global medical feature and the local medical feature.
  • a computer device includes a memory and a processor.
  • the memory stores a computer program.
  • the processor executes the steps of the image classification method.
  • Figure 1 is an application environment diagram of an image classification method in an embodiment
  • Fig. 3 is a schematic diagram of obtaining a texture feature matrix in an embodiment
  • FIG. 4 is a schematic diagram of inputting medical images and texture images into a network model for image classification in an embodiment
  • Fig. 5 is a schematic diagram of an image classification method illustrated in an embodiment
  • FIG. 6 is a schematic flowchart of the steps of generating a texture image in an embodiment
  • FIG. 8 is a schematic flowchart of steps for training a model composed of a first network model, a first network model, and a fully connected layer in an embodiment
  • FIG. 9 is a schematic flowchart of the steps of amplifying a medical image sample and obtaining a training texture image in an embodiment
  • the medical image may be images of different data domains, that is, images of different modalities formed by scanning the human body or a certain part of the human body by different medical instruments.
  • Medical images obtained from different medical application scenarios belong to different data domains, and the data domain can indicate that the medical image belongs to a certain medical device or a certain imaging modality.
  • the medical image may specifically be a CT image scanned by a CT machine, or an MRI image scanned by an MRI device, or an ultrasound image scanned by an ultrasonic diagnostic apparatus.
  • it can also be X-ray images, electrocardiograms, electroencephalograms, and so on.
  • the inherent heterogeneity of different symptoms can be reflected in medical images.
  • the appearance (such as shape) of a certain part of the human body has different degrees of difference. Therefore, medical images can be used as a medical judgment method or reference factor. To assist clinical diagnosis.
  • the terminal selects the corresponding medical image from the image database according to the input image selection instruction; or, the terminal establishes a communication connection with the medical instrument, such as a wired communication connection or a wireless communication connection, when the medical instrument forms a medical image through scanning
  • the terminal acquires the medical image formed by the medical instrument.
  • S204 Generate a texture image according to the image data in the region of interest in the medical image.
  • Method 1 to segment the region of interest through supervised learning.
  • the method of obtaining the region of interest includes: the terminal obtains a medical image sample that includes a segmentation label; and the medical image sample is input into the image segmentation network for segmentation, so that the parameter values of the image segmentation network are iteratively updated to obtain the interest Prediction area: When the prediction area of interest matches the segmentation label, the acquired medical image is input into the trained image segmentation network for image segmentation to obtain the region of interest of the medical image.
  • the medical image samples may also be images of different data domains, that is, images of different modalities formed by scanning the human body or a certain part of the human body by different medical instruments.
  • inputting the acquired medical image into the trained image segmentation network for image segmentation, and obtaining the region of interest of the medical image may include: the terminal inputs the acquired medical image into the trained image segmentation network, Through the image segmentation network, the medical image is extracted to obtain the image characteristics of the target object in the medical image; the obtained image characteristics are input into the image segmentation network for processing, and the region of interest of the medical image is obtained.
  • the target condition can be a pixel threshold. If the pixel value of the lesion area is larger than the pixel value of the normal area, it is determined whether the pixel value is greater than the pixel threshold. If it is greater, the area where the pixel value greater than the pixel threshold is obtained Is the region of interest. If the pixel value of the lesion area is smaller than the pixel value of the normal area, it is determined whether the pixel value is less than the pixel threshold, and if it is less, the area where the pixel value is less than the pixel threshold is acquired as the region of interest.
  • the pixel threshold can be set flexibly according to actual medical applications.
  • the method for acquiring the region of interest includes: the terminal acquires the inputted instruction for dividing the interest area; and marking the region of interest corresponding to the instruction for dividing the interest area in the medical image.
  • the terminal extracts the texture feature matrix from the region of interest of the medical image.
  • the texture feature matrix can be GLCM (Gray-Level Co-occurrence Matrix), GLRLM (Gray-Level Run-Length Matrix), GLSZM (gray level size zone matrix) Either one of grade band matrix) and GSGM (Grey Scale Gradient Matrix).
  • S206 Perform feature extraction on the texture image through the first network model to obtain local medical features.
  • the first network model may be a network branch in the deep learning network model.
  • the deep learning network model may be a DCNN (Deep Convolutional Neural Networks, Deep Convolutional Neural Network) model.
  • the first network model as a network branch in the deep learning network model, can belong to the VGG series network, Inception series network, ResNet series network and DenseNet series network, etc., or by multiple network layers (such as convolutional layer) in the above network And pooling layer), used to extract local medical features. Since the texture image is generated from the image data in the region of interest in the medical image, the features extracted from the texture image can be called local medical features.
  • the first network model may include multiple convolutional layers and at least one pooling layer.
  • the terminal performs convolution processing on the texture image through the convolutional layer in the first network model, such as the first layer convolution
  • the buildup layer performs convolution processing on the input texture image
  • the second layer convolution layer performs convolution processing on the output result of the first layer convolution layer as input, and so on.
  • pooling processing is performed on the result obtained after the convolution processing, and the result after the pooling processing is the local medical feature.
  • Table 1 2D ResNet structure table for processing texture images
  • S210 Perform image classification based on the fusion feature of the global medical feature and the local medical feature.
  • the first network model is different from ResNet18 in that one ResNet Block is reduced, and the output channel after each convolutional layer is also reduced. Since only 32 features are extracted in the first network model, it can be completed with only a narrower and shallower network, which increases the accuracy of classification. In the fully connected layer, the medical features of the two branches are fused, a total of 1024+32, and the final output is the number of categories.
  • the local medical features f j1 , f j2 ,..., f jm and the global medical features f i1 , f i2 ,..., f in are fused through the fully connected layer to obtain the fused feature f i1 ,f i2 , whil,f in ,f j1 ,f j2 , whil,f jm , and then process the fusion features to finally get the classification result.
  • the texture image is generated from the image data of the region of interest in the medical image, and then the texture image is extracted with local features through the first network model, and the medical image is extracted with global features through the second network model.
  • the network model can be focused on the region of interest of the medical image, making the extracted features more accurate.
  • the fusion features of global medical features and local medical features are used in the image classification process, the accuracy of medical image classification results can be effectively improved.
  • the elements in the texture feature matrix are the frequency of the target pixel combination in the region of interest of the medical image and along the target statistical direction. This frequency can be used to represent the pixel value when the texture image is generated from the texture feature matrix.
  • the terminal performs image rendering according to the elements in the texture feature matrix to obtain a texture image with a target size.
  • the terminal may also perform artifact recognition on the acquired medical image sample to determine whether there is an artifact in the medical image sample, and the severity value of the artifact .
  • the terminal obtains the medical image sample to be classified, it outputs the medical image sample for display; when receiving the artifact confirmation instruction for the medical image sample, it is determined that the medical image sample contains artifacts and contains artifacts The severity value corresponding to the time. If artifacts are included and the severity of the artifacts is relatively large, the terminal can reacquire medical image samples. If the artifact is included but the severity value is small, or if the artifact is not included, S804 is executed.
  • the medical image samples are processed by different types of image processing methods, so that the number of medical image samples can be increased. Because the neurons in the first network model, the second network model and the fully connected layer are Trained from the processed medical image samples, it can generalize the computing performance of the first network model, the second network model and the fully connected layer, and can classify medical images of various image sizes, directions, brightness, and contrasts. Helps improve the accuracy of image classification.
  • Manually designed features are used to extract features from the region of interest or the overall medical image, but there are several problems.
  • manual features may not be the optimal solution in the mathematical sense, and thus cannot represent the most meaningful features. This in turn affects the classification results;
  • the second is that the information between manual features may have a large correlation leading to overfitting, so an additional feature selection algorithm is needed to select the most useful feature set;
  • the third is that manual features cannot be extracted from ROI Reflect global information, such as the relevance of other regions and ROI parts.
  • the region of interest can be obtained in three ways: 1) The doctor outlines or frame the lesion area; 2) Part of the medical image is segmented and annotated, and then the image segmentation model is trained with the annotated medical image, and the unlabeled medical Input the trained image segmentation network model to segment the image to obtain the region of interest; 3) Use the gray value feature of the lesion area to segment the lesion area using an unsupervised algorithm. For example, when the gray value is greater than a certain threshold, it will be greater than the threshold The area corresponding to the gray value of is regarded as the area of interest.
  • the following three data sets are acquired as medical image samples to train DCNN: 1) CT plain scan brain hemorrhage cause judgment data set; 2) MRI data set including 4 modalities; 3) three channels Cervical color image staging data set.
  • the image acquisition module 1202 is used to acquire medical images to be classified
  • the texture image is generated from the image data of the region of interest in the medical image, and then the texture image is extracted with local features through the first network model, and the medical image is extracted with global features through the second network model.
  • the network model can be focused on the region of interest of the medical image, making the extracted features more accurate.
  • the fusion features of global medical features and local medical features are used in the image classification process, the accuracy of medical image classification results can be effectively improved.
  • the image generation module 1204 is further configured to: obtain a texture feature matrix based on the image data in the region of interest in the medical image; obtain the target size according to the size of the texture feature matrix; perform image rendering according to the texture feature matrix to obtain the target The size of the texture image.
  • the texture feature matrix is extracted from the region of interest in the medical image, and a texture image of a specific size is generated according to the texture feature matrix, so as to avoid the impact on the classification result due to the irregular region of the region of interest, thereby improving the image Accuracy of classification.
  • the image generation module 1204 is further configured to: obtain the target distance and the statistical direction; the number of the direction of the statistical direction is multiple; obtain the pixels in the region of interest that meet the target distance; The number of pixels corresponding to the pixel values in the pixel combination that match the pixels that meet the target distance; the number of matches is obtained as a frequency, and multiple sets of frequencies corresponding to the number of directions are obtained.
  • the frequency of occurrence of all possible pixel combinations in the pixel value interval in the region of interest is calculated, and then the texture feature matrix used to characterize the image data in the region of interest can be obtained, so that The texture image is generated according to the texture feature matrix, so that the first network model and the second network model are focused on the region of interest of the medical image, so that the extracted features are more accurate.
  • the image acquisition module 1202 is also used to acquire medical image samples and corresponding reference categories of different image types
  • the parameter adjustment module 1214 is configured to adjust the parameter values of the first network model, the second network model, and the fully connected layer according to the error between the classification result and the reference category.
  • the image generation module 1204 is also used for: extracting a training texture feature matrix according to the data of the region of interest in the multiple sets of medical image samples; and generating a training texture image according to the training texture feature matrix.
  • the image segmentation network performs image segmentation to obtain the region of interest of the medical image.
  • the processor when the computer program is executed by the processor, the processor is caused to execute the following steps:
  • the processor when the computer program is executed by the processor, the processor is caused to execute the following steps:
  • the processor when the computer program is executed by the processor, the processor is caused to execute the following steps:
  • the processor when the computer program is executed by the processor, the processor is caused to execute the following steps:
  • the processor when the computer program is executed by the processor, the processor further executes the following steps:
  • the processor When the computer program is executed by the processor, the processor further executes the following steps:
  • the training texture feature matrix is extracted according to the data of the region of interest in the multiple sets of medical image samples; the training texture image is generated according to the training texture feature matrix.
  • the display screen of the computer equipment can be a liquid crystal display screen or an electronic ink display screen.
  • the input device of the computer equipment can be a touch layer covered on the display screen, or a button, trackball or touch pad set on the housing of the computer equipment. It can be an external keyboard, touchpad, or mouse.
  • Non-volatile memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory may include random access memory (RAM) or external cache memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本申请涉及一种图像分类方法、计算机可读存储介质和计算机设备，方法包括：获取待分类的医学图像；根据医学图像中感兴趣区域内的图像数据生成纹理图像；通过第一网络模型对纹理图像进行特征提取，获得局部医学特征；通过第二网络模型对医学图像进行特征提取，获得全局医学特征；基于全局医学特征和局部医学特征的融合特征进行图像分类，可以有效地提高医学图像分类结果的准确性。

Description

图像分类方法、计算机可读存储介质和计算机设备
本申请要求于2019年05月08日提交的申请号为2019103792772、发明名称为“图像分类方法、装置、计算机可读存储介质和计算机设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像分类方法、计算机可读存储介质和计算机设备。
背景技术
随着图像处理技术的不断发展，图像处理技术被广泛的应用到医学领域，比如对人体或人体某个部位的医学图像进行分类，根据医学图像分类的结果可判断出是否出现相应的病灶。
在传统的医学图像分类方案中，主要采用基于神经网络的分类模型，即把医学图像输入到基于神经网络的分类模型进行分类处理。然而，当医学图像中的特征较多较复杂时，可能会使医学图像的分类结果准确性偏低。
发明内容
本申请实施例提供一种图像分类方法、装置、计算机可读存储介质和计算机设备，能够解决医学图像的分类结果准确性偏低的技术问题。
一种图像分类方法，应用于计算机设备，包括：
获取待分类的医学图像；
根据所述医学图像中感兴趣区域内的图像数据生成纹理图像；
通过第一网络模型对所述纹理图像进行特征提取，获得局部医学特征；
通过第二网络模型对所述医学图像进行特征提取，获得全局医学特征；
基于所述全局医学特征和所述局部医学特征的融合特征进行图像分类。
一种图像分类装置，所述装置包括：
图像获取模块，用于获取待分类的医学图像；
图像生成模块，用于根据所述医学图像中感兴趣区域内的图像数据生成纹理图像；
第一特征提取模块，用于通过第一网络模型对所述纹理图像进行特征提取，获得局部医学特征；
第二特征提取模块，用于通过第二网络模型对所述医学图像进行特征提取，获得全局医学特征；
图像分类模块，用于基于所述全局医学特征和所述局部医学特征的融合特征进行图像分类。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述图像分类方法的步骤。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程 序被所述处理器执行时，使得所述处理器执行所述图像分类方法的步骤。
附图说明
图1为一个实施例中图像分类方法的应用环境图；
图2为一个实施例中图像分类方法的流程示意图；
图3为一个实施例中获得纹理特征矩阵的示意图；
图4为一个实施例中将医学图像和纹理图像输入网络模型进行图像分类的示意图；
图5为一个实施例中示例的图像分类方法的示意图；
图6为一个实施例中生成纹理图像的步骤的流程示意图；
图7为一个实施例中获得纹理特征矩阵的步骤的流程示意图；
图8为一个实施例中对由第一网络模型、第一网络模型和全连接层所组成的模型进行训练的步骤的流程示意图；
图9为一个实施例中对医学图像样本进行扩增，以及获得训练纹理图像的步骤的流程示意图；
图10为一个实施例中通过CNN模型对医学图像进行分类的示意图；
图11为一个实施例中通过DCNN模型对医学图像进行分类的示意图；
图12为一个实施例中图像分类装置的结构框图；
图13为另一个实施例中图像分类装置的结构框图；
图14为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中图像分类方法的应用环境图。参照图1，该图像分类方法应用于图像分类系统。该图像分类系统包括终端110、服务器120和医学仪器130。终端110、服务器120和医学仪器130之间通过网络连接。该网络可以为有线网络，也可以为无线网络。终端110可以是安装有端到端的自动分类诊断系统的设备，具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。医学仪器130可以是CT(Computed Tomography，电子计算机断层扫描)机、MRI(Magnetic Resonance Imaging，磁共振成像)设备和超声诊断仪、X光机、心电图设备和脑电图设备等。
如图2所示，在一个实施例中，提供了一种图像分类方法，该方法可以应用于图1中的终端110或服务器120。本实施例主要以该方法应用于上述图1中的终端110来举例说明。参照图2，该图像分类方法具体包括如下步骤：
S202，获取待分类的医学图像。
其中，医学图像可以是不同数据域的图像，也即由不同医学仪器扫描人体或人体某个部位所形成的不同模态的图像。不同医疗应用场景所得的医学图像属于不同的数据域，数据域可以表示医学图像属于某种医疗设备或某种成像模态。
例如，医学图像具体可以是通过CT机扫描所得的CT图像，或通过MRI设备扫描所得的 MRI图像，或通过超声诊断仪扫描所得的超声图像。此外，还可以是X光图像、心电图和脑电图等等。在医学领域，不同病征的内在异质性可在医学图像中体现，如人体某个部位的外观(如形状)存在不同程度的差异，因此医学图像可作为一种医疗判断手段或参考因素，用于辅助临床诊断。
在一个实施例中，终端根据输入的图像选择指令，从图像数据库中选取对应的医学图像；或者，终端与医学仪器建立通信连接，如有线通信连接或无线通信连接，当医学仪器通过扫描形成医学图像时，终端获取由该医学仪器所形成的医学图像。
在一个实施例中，在获取到待分类的医学图像之后，终端还可以对所获取的医学图像进行伪影识别，以判断医学图像中是否存在伪影，以及伪影的严重程度值。或者，终端获取到待分类的医学图像之后，输出医学图像以进行展示；当接收到针对该医学图像的伪影确认指令时，确定该医学图像包含有伪影，以及包含伪影时所对应的严重程度值。若包含伪影、且伪影的严重程度值较大时，终端可以重新获取医学图像。若包含但伪影的严重程度值较小，或不包含伪影时，则执行S204。
其中，伪影可以指在终端在磁共振扫描或信息处理过程中，出现了一些人体本身不存在的、却能致使图像质量下降的影像。例如，运动伪影出现的原因主要是终端在磁共振扫描过程中，运动器官在每一次激发、编码及信号采集时所处的位置或形态发生了变化，因此出现相位的错误而导致伪影的产生。
在另一个实施例中，当所获取的医学图像包含有伪影、且伪影程度值大于目标阈值时，终端还可以增加采样时间，进而减低带宽以减小波纹。此外，终端还可以通过增加相位编码数来降低像素大小，减少像素间的不连续性以减少尾波震荡。
S204，根据医学图像中感兴趣区域内的图像数据生成纹理图像。
其中，感兴趣区域(Region of Interest，ROI)可以是具有特定特征、且该特征为兴趣点的区域，该区域可以是由专业人员(如医生)标注所得，也可以是通过机器学习模型或其它图像分割算法分割医学图像所得到。在实际医学应用场景中，感兴趣区域通常是人体某个部位发生病变的区域(即病灶区域)。
在一个实施例中，当所获取的医学图像中未划分感兴趣区域，终端可以根据输入的指令来对医学图像进行划分，得到感兴趣区域；或者，终端通过机器学习模型对感兴趣区域进行学习所得。此外，终端所获取的医学图像可以包括有已进行划分的感兴趣区域。
对于感兴趣区域，可以按照以下三种方式对医学图像进行区域分割：
方式1，通过监督学习的方式来分割出感兴趣区域。
在一个实施例中，感兴趣区域的获取方式包括：终端获取包括有分割标签的医学图像样本；将医学图像样本输入图像分割网络进行分割，使得图像分割网络的参数值得到迭代更新，获得感兴趣预测区；当感兴趣预测区与分割标签匹配时，将所获取的医学图像输入训练后的图像分割网络进行图像分割，得到医学图像的感兴趣区域。
其中，医学图像样本也可以是不同数据域的图像，即由不同医学仪器扫描人体或人体某个部位所形成的不同模态的图像。
在一个实施例中，将所获取的医学图像输入训练后的图像分割网络进行图像分割，得到医学图像的感兴趣区域的步骤可以包括：终端将所获取的医学图像输入训练后的图像分割网络，通过图像分割网络对医学图像进行特征提取，获得关于医学图像中目标对象的图像特征；将所获得的图像特征输入图像分割网络进行处理，得到医学图像的感兴趣区域。
例如，终端获取具有分割标签的医学图像样本，然后利用具有分割标签的医学图像样本来训练图像分割网络，当图像分割网络的输出趋于稳定(即分割出来的感兴趣区域与分割标签一致)时，获得训练完成的图像分割网络。然后，终端将所获取的医学图像输入训练后的图像分割网络进行图像分割，得到医学图像的感兴趣区域。
又例如，当所获取的医学图像的数量较多时，可以对其中的一部分医学图像进行标注，得到具有分割标签的医学图像样本。然后，利用具有分割标签的医学图像样本来训练图像分割网络，当图像分割网络的输出趋于稳定(即分割出来的感兴趣区域与分割标签一致)时，获得训练完成的图像分割网络。终端将所获取的、且未经过标注的医学图像输入训练后的图像分割网络进行图像分割，得到医学图像的感兴趣区域。
方式2，通过无监督学习的方式来分割出感兴趣区域。
在一个实施例中，感兴趣区域的获取方式包括：终端获取医学图像的像素值；当像素值满足目标条件时，将满足目标条件的像素值所对应的区域获取为感兴趣区域。
其中，感兴趣区域可以是病变区域，发生病变的部位与正常部位之间具有异质性，因此发生病变部位的像素值与未发生病变部位的像素值存在差异。可以通过设定一个目标条件，当像素值满足目标条件时，则将该像素值所在的区域获取为感兴趣区域。
需要说明的是，目标条件可以是像素阈值，若病变区域的像素值较正常区域的像素值大，则判断像素值是否大于像素阈值，若大于，则将大于像素阈值的像素值所在的区域获取为感兴趣区域。若病变区域的像素值较正常区域的像素值小，则判断像素值是否小于像素阈值，若小于，则将小于像素阈值的像素值所在的区域获取为感兴趣区域。像素阈值的设定可以根据实际医学应用情况进行灵活设置。
方式3，通过手动方式来分割出感兴趣区域。
在一个实施例中，感兴趣区域的获取方式包括：终端获取输入的兴趣区划分指令；在医学图像中划出与兴趣区划分指令对应的感兴趣区域。
例如，对于医学图像数量较少的情况，可以采用手动标注的方式来划分感兴趣区域。当接收到医生或其他技术人员发出的兴趣区划分指令(如在终端所显示的医学图像上进行绘制操作)时，终端则在医学图像中绘制出与兴趣区划分指令对应的感兴趣区域。
在一个实施例中，终端从医学图像的感兴趣区域内提取纹理特征矩阵。其中，该纹理特征矩阵可以是GLCM(Gray-Level Co-occurrence Matrix，灰度共生矩阵)、GLRLM(Gray-Level Run-Length Matrix，灰度游程矩阵)、GLSZM(gray level size zone matrix，灰度级带矩阵)和GSGM(Grey Scale Gradient Matrix，灰度梯度矩阵)中的任一种。
在一个实施例中，从医学图像的感兴趣区域内提取纹理特征矩阵的步骤，具体可以包括：终端首先将各医学图像的像素值区间进行统一化，然后计算目标像素组合在医学图像的感兴趣区域内、且沿目标统计方向上出现的频数，从而得到纹理特征矩阵。其中，像素值区间可以是[0,N]。
例如，如图3所示，图3中的(a)为感兴趣区域的像素值，对于像素组合GLCM(1,1)，GLCM(1,1)表示在感兴趣区域0°方向上同时出现像素值为1的频数(也即次数)。终端计算GLCM(1,1)在感兴趣区域0°方向上同时出现的频数，从图中可以看出GLCM(1,1)在感兴趣区域0°方向上同时出现的频数为0，则在图3中的(b)中对应位置计0。同理，GLCM(8,4)在感兴趣区域0°方向上同时出现的频数为2，则在图3中的(b)中对应位置计2，当计算出所有可能的像素组合在感兴趣区域0°方向上同时出现的频数，从而得到图3中的(b)的 矩阵。此外，按照上述方法计算出所有可能的像素组合分别在感兴趣区域45°、90°和145°方向上同时出现的频数，从而得到其它三个矩阵。将所得到的这4个矩阵中对应位置的频数求均值，得到一个均值化矩阵，将均值化均值中的频数转换为概率得到概率矩阵，该概率矩阵即为纹理特征矩阵。或者，将所得到的这4个矩阵中的频数分别转换为概率，得到4个概率矩阵；将这4个概率矩阵中对应位置的概率求均值，得到一个均值化矩阵，该均值化矩阵即为纹理特征矩阵。
其中，将矩阵中的频数分别转换为概率的方式可以是：将矩阵中的频数比上该矩阵中的总频数，即可得到对应的概率。将这概率矩阵中对应位置的概率求均值，可以是对4个概率矩阵中(1,1)所对应的概率先求和，然后再求平均，即可得到均值化的概率。
S206，通过第一网络模型对纹理图像进行特征提取，获得局部医学特征。
其中，第一网络模型可以是深度学习网络模型中的一个网络分支。深度学习网络模型可以是DCNN(Deep Convolutional Neural Networks，深度卷积神经网络)模型。第一网络模型作为深度学习网络模型中的一个网络分支，可以是属于VGG系列网络、Inception系列网络、ResNet系列网络和DenseNet系列网络等，或者由上述网络中的多个网络层(如卷积层和池化层)组成，用于提取局部医学特征。由于纹理图像是由医学图像中感兴趣区域内的图像数据所生成，根据纹理图像所提取的特征可称为局部医学特征。
第一网络模型中可以包括有多个卷积层和至少一个池化层，在一个实施例中，终端通过第一网络模型中的卷积层对纹理图像进行卷积处理，如第一层卷积层对输入的纹理图像进行卷积处理，第二层卷积层对第一层卷积层的输出结果作为输入进行卷积处理，依次类推。终端通过第一网络模型中的卷积层对卷积处理后，对卷积处理后所得的结果进行池化处理，池化处理之后的结果即为局部医学特征。
例如，如下表1所示，通过表1中的各卷积层对纹理图像进行卷积处理，然后通过池化层对卷积处理后的最终结果进行池化处理，得到局部医学特征。
表1处理纹理图像的2D ResNet结构表
Figure PCTCN2020085062-appb-000001
S208，通过第二网络模型对医学图像进行特征提取，获得全局医学特征。
其中，第二网络模型可以是深度学习网络模型中的另一个网络分支，即深度学习网络模型中包括有第一网络模型，还包括有第二网络模型。该第二网络模型也可以属于VGG系列网络、Inception系列网络、ResNet系列网络和DenseNet系列网络等，或者由上述网络中的多 个网络层(如卷积层和池化层)组成，用于提取全局医学特征，即除了提取感兴趣区域内的医学特征之外，还提取医学图像中除感兴趣区域以外的其它医学特征。此外，深度学习网络模型中还包括有全连接层，用于对第一网络模型和第二网络模型所提取的特征进行融合，以通过融合特征进行图像分类。
第二网络模型中可以包括有卷积层和池化层。在一个实施例中，终端通过第二网络模型中的卷积层对医学图像进行卷积处理，如第二层卷积层对输入的医学图像进行卷积处理，第二层卷积层对第二层卷积层的输出结果作为输入进行卷积处理，依次类推，得到最终的卷积。终端通过第二网络模型中的卷积层对卷积处理后，对卷积处理后所得的结果进行池化处理，池化处理之后的结果即为全局医学特征。
S210，基于全局医学特征和局部医学特征的融合特征进行图像分类。
在一个实施例中，终端通过深度学习网络模型中的全连接层，对全局医学特征和局部医学特征进行融合得到融合特征，然后根据融合特征对医学图像进行图像分类。
在一个实施例中，S210具体可以包括：终端通过全连接层融合全局医学特征和局部医学特征，获得融合特征；对融合特征进行卷积计算；按照卷积计算所得的结果对医学图像进行图像分类。
例如，如表2所示，若全局医学特征的特征大小为1024，局部医学特征的特征大小为32，那么，通过全连接层对全局医学特征和局部医学特征进行融合，得到特征大小为1024+32的融合特征。然后，通过全连接层对融合特征进行卷积处理，得到元素个数为4的向量，该向量中的元素用于表示医学图像属于对应类型的概率(或比重)，然后将概率值最大所对应的类型作为医学图像的目标类型。其中，目标类型可以用数字进行表示，比如0表示类型A、1表示类型B、2表示类型C以及3表示类型D。
表2整体网络全连接层
网络层名称 输入特征的大小 输出特征的大小
全连接层 1024+32 4(表示属于对应图像类型的数)
第一网络模型与ResNet18不同在于减少了一个ResNet Block(块)，且每个卷积层后的输出通道也变少。由于在第一网络模型中只提取32个特征，只需较窄较浅的网络便可完成，增加了分类的准确率。在全连接层融合两个分支的医学特征，共1024+32个，最终的输出为类别个数。
作为一个示例，如图4所示，在获得医学图像后，在医学图像中的感兴趣区域提取纹理特征矩阵(如灰度共生矩阵)，将纹理特征矩阵映射到一个同样大小的图像上，得到纹理图像。将纹理图像输入至深度学习网络模型的第一网络模型(即CNN(Convolutional Neural Networks，卷积神经网络)model1)进行特征提取，得到局部医学特征f j1,f j2,......,f jm。将医学图像输入至深度学习网络模型的第二网络模型(即CNN model2)进行特征提取，得到全局医学特征f i1,f i2,......,f in。通过全连接层对局部医学特征f j1,f j2,......,f jm和全局医学特征f i1,f i2,......,f in进行融合，得到融合特征f i1,f i2,......,f in,f j1,f j2,......,f jm，然后对融合特征进行处理，最终得到分类结果。
作为另一个示例，如图5所示，前台A获取不同类型的医学数据(该医学数据可以是未划分感兴趣区域的医学图像，或划分了感兴趣区域的医学图像)，然后将所接收的医学数据发送至后台。若接收的医学数据为划分了感兴趣区域的医学图像时，后台直接对感兴趣区域内的图像数据进行处理得到GLCM，根据GLCM生成纹理图像；若接收的医学数据为未划分感兴 趣区域的医学图像时，后台根据分割算法获取医学图像的感兴趣区域，对感兴趣区域内的图像数据进行处理得到GLCM，根据GLCM生成纹理图像。然后，后台通过深度学习网络模型中的第一网络模型对纹理图像进行特征提取，得到局部医学特征；并通过深度学习网络模型中的第二网络模型对医学图像进行特征提取，得到全局医学特征，然后在全连接层中对局部医学特征和全局医学特征进行融合，通过融合特征对医学图像进行分类，最终获得针对医学图像的分类结果，并将分类结果输出到前台B。其中，前台A可以是用于获取医学图像医学设备。后台可以是用于对医学图像和纹理图像进行特征提取，并根据提取的医学特征进行图像分类的计算机设备(如上述的终端)或后台服务器。前台B可以是用于显示医学图像分类结果的显示设备。
上述实施例中，通过医学图像中感兴趣区域的图像数据来生成纹理图像，然后通过第一网络模型对纹理图像进行局部特征的提取，通过第二网络模型对医学图像进行全局特征的提取，从而可以使网络模型专注于医学图像的感兴趣区域，使得所提取的特征更加精确。此外，由于在图像分类过程中采用了全局医学特征和局部医学特征的融合特征，可以有效地提高医学图像分类结果的准确性。
在一个实施例中，如图6所示，S204具体可以包括：
S602，基于医学图像中感兴趣区域内的图像数据获取纹理特征矩阵。
在一个实施例中，终端从医学图像的感兴趣区域内获取以下任一种纹理特征矩阵：GLCM、GLRLM、GLSZM和GSGM。
在一个实施例中，S602具体可以包括：终端获取各医学图像的像素值，并将各医学图像的像素值区间进行统一化，然后计算目标像素组合在医学图像的感兴趣区域内、且沿目标统计方向上出现的频数，然后将该频数转换为概率，得到纹理特征矩阵。其中，像素值区间可以是[0,N]。
S604，按照纹理特征矩阵的大小获取目标尺寸。
其中，医学图像的最小分辨单元是像素，若每个医学图像有m×n个像素，m代表图像的长度，n代表图像的宽度，那么与医学图像对应的矩阵就有m行n列。对于纹理图像而言，若纹理特征矩阵具有m行n列，那么纹理图像的目标尺寸即为m×n像素，即纹理图像为m×n像素的方块。其中，上述的m＝n。其中，m,n为正整数。
例如，若将医学图像的像素值统一化至[0,255]这个像素区间时，那么纹理特征矩阵的大小即为256×256，对应的目标尺寸为256×256像素。又例如，如图3所示，若将医学图像的像素值统一化至[1,8]这个像素区间时，那么纹理特征矩阵的大小即为8×8，对应的目标尺寸为8×8像素。
S606，按照纹理特征矩阵进行图像渲染，得到目标尺寸大小的纹理图像。
纹理特征矩阵中的元素为目标像素组合在医学图像的感兴趣区域内、且沿目标统计方向上出现的频数，在根据纹理特征矩阵生成纹理图像时，该频数可用于表征像素值。在一个实施例中，终端按照纹理特征矩阵中的元素进行图像渲染，得到具有目标尺寸大小的纹理图像。
对于神经网络模型而言，若输入不规则大小的纹理图像(如输入的纹理图像为不规则区域图像)时，将会对图像分类造成影响，因此需要根据纹理特征矩阵生成特定尺寸大小的纹理图像，该纹理图像的形状为方块。
在一个实施例中，终端可以不用经过渲染操作，直接将纹理特征矩阵作为纹理图像输入第一网络模型进行特征提取。
上述实施例中，在医学图像中感兴趣区域内提取纹理特征矩阵，根据纹理特征矩阵生成特定尺寸大小的纹理图像，避免因感兴趣区域为非规则区域而对分类结果造成影响，从而可以提升图像分类的准确性。
在一个实施例中，如图7所示，S702具体可以包括：
S702，选定像素值区间。
在一个实施例中，终端按照医学图像中的像素值来设置像素值区间，如医学图像中的各像素值主要集中在0至N这个范围内，则像素值区间即为[0,N]。
在一个实施例中，当获取的待分类的医学图像数量较多时，终端将属于同一数据域(或同一成像模态)下医学图像的像素值进行统一化，使属于同一数据域下医学图像的像素值在统一的像素区间内。例如，在CT图像中，像素值主要集中在0至50这个范围内，那么，将各CT图像中像素值大于50的值转换到0至50这个范围内，或者删除各CT图像中像素值大于50的值。
S704，获取像素值区间内的各像素值之间的像素组合。
其中，若像素值区间为[0,N]，在像素值区间[0,N]中所有可能存在的像素组合数f(n)＝n！＝n×(n-1)×...×2×1。例如，假设N＝8，像素组合数f(n)＝8×7×...×2×1，如像素组合数(0,0)、(0,1)、(1,0)、…、(8,8)等等。需要说明的是，像素组合中可以是两个像素值的组合。
S706，统计像素组合中像素值所对应的像素在感兴趣区域出现的频数，得到频数集合。
在一个实施例中，S706具体可以包括：获取目标距离和统计方向；统计方向的方向数为多个；获取感兴趣区域中的满足目标距离的像素；按照各统计方向，分别统计各像素组合中像素值所对应的像素与满足目标距离的像素匹配的数量；将匹配的数量获取为频数，得到与方向数对应的多组频数集合。其中，对于二维单通道医学图像，其统计方向数可以有四个，即0°(0度)、45°、90°和145°四个方向。对于二维多通道医学图像，则可以分别按照不同通道的像素值分别进行计算。对于三维单通道医学图像，其统计方向数可以有十三个。目标距离一般可设置为1。
例如，对于二维单通道医学图像而言，如图3所示，图3(a)为感兴趣区域的像素值，对于像素组合GLCM(1,1)，GLCM(1,1)表示在感兴趣区域0°方向上同时出现像素值为1的频数(也即次数)。终端计算GLCM(1,1)在感兴趣区域0°方向上同时出现的频数，从图中可以看出GLCM(1,1)在感兴趣区域0°方向上同时出现的频数为0，则在图3(b)中对应位置计0。同理，GLCM(8,4)在感兴趣区域0°方向上同时出现的频数为2，则在图3(b)中对应位置计2，当计算出所有可能的像素组合在感兴趣区域0°方向上同时出现的频数，从而得到图3(b)的矩阵。此外，按照上述方法计算出所有可能的像素组合分别在感兴趣区域45°、90°和145°方向上同时出现的频数，从而得到其它三个矩阵。将所得到的这4个矩阵中的频数转换为概率，然后对相应位置的概率求均值，得到一个均值化矩阵，该均值化矩阵即为纹理特征矩阵。
S708，将频数集合中的频数转换为概率，得到纹理特征矩阵。
其中，纹理特征矩阵与医学图像中感兴趣区域内的图像数据对应。
在一个实施例中，S710具体可以包括：终端获取医学图像的通道数；将多组频数集合中的频数转换为概率，计算转换后多组频数集合中对应位置的概率均值；根据概率均值获得集合数量与通道数一致的均值化概率集合；将均值化概率集合获取为纹理特征矩阵。
对于感兴趣区域内的图像数据，对不同的图像数据转化纹理特征矩阵有不同的处理方式：
(1)二维单通道图像，可以直接计算4个方向上频数集合，将频数集合中的频数转换为概率，计算4个方向上经过转换后频数集合中的概率求平均，将平均值作为纹理特征矩阵中的元素从而得到纹理特征矩阵；
(2)二维多通道图像，如二维多模态MRI图像或其它彩色图像，分别对每个通道计算频数集合，将频数集合中的频数转换为概率，并计算每个通道的4个方向上经过转换后频数集合中的平均值，得到与通道数一致的目标频数集合，将这些目标频数集合一起输出作为多通道的纹理特征矩阵；
(3)三维单通道图像、且各向同性，可以直接计算13个方向上频数集合，将频数集合中的频数转换为概率，将13个方向上经过转换后频数集合中概率的平均值作为纹理特征矩阵中的元素，得到纹理特征矩阵；
(4)三维单通道图像、且各向异性(z方向间距过大，与xy平面分辨率不同)，对每个平面计算4个方向上频数集合，将频数集合中的频数转换为概率，然后转换后频数集合中的概率求平均，将平均值作为纹理特征矩阵中的元素从而得到纹理特征矩阵；
(5)三维多通道图像，对每个通道按(3)或(4)的规则计算，得到纹理特征矩阵。
上述实施例中，通过设定一个像素值区间，计算该像素值区间中所有可能的像素组合在感兴趣区域出现的频数，进而可以得到用于表征感兴趣区域内图像数据的纹理特征矩阵，以便根据纹理特征矩阵生成纹理图像，进而使第一网络模型和第二网络模型专注于医学图像的感兴趣区域，使得所提取的特征更加精确。
在一个实施例中，如图8所示，该方法还可以包括：
S802，获取不同影像类型的医学图像样本和对应参考类别。
其中，医学图像样本可以是不同数据域的图像，也即由不同医学仪器扫描人体或人体某个部位所形成的不同模态的图像。不同医疗应用场景所得的医学图像样本属于不同的数据域，数据域可以用于表示医学图像样本属于某种医疗设备或某种成像模态。不同影像类型所对应的数据域和成像模态均不同。
例如，医学图像样本具体可以是通过CT机扫描所得的CT图像，或通过MRI设备扫描所得的MRI图像，或通过超声诊断仪扫描所得的超声图像。此外，还可以是X光图像、心电图和脑电图等等。在医学领域，不同病征的内在异质性可在医学图像样本中体现，如人体某个部位的外观和形状存在不同程度的差异，因此医学图像样本可作为一种医疗判断手段或参考因素，用于辅助临床诊断。
在一个实施例中，终端根据输入的图像选择指令，从图像数据库中选取对应的医学图像样本；或者，终端与医学仪器建立通信连接，如有线通信连接或无线通信连接，当医学仪器通过扫描形成医学图像样本时，获取由该医学仪器所形成的医学图像样本。
在一个实施例中，在获取到待分类的医学图像样本之后，终端还可以对所获取的医学图像样本进行伪影识别，以判断医学图像样本中是否存在伪影，以及伪影的严重程度值。或者，终端获取到待分类的医学图像样本之后，输出医学图像样本以进行展示；当接收到针对该医学图像样本的伪影确认指令时，确定该医学图像样本包含有伪影，以及包含伪影时所对应的严重程度值。若包含伪影、且伪影的严重程度值较大时，终端可以重新获取医学图像样本。若包含但伪影的严重程度值较小，或不包含伪影时，则执行S804。
S804，根据医学图像样本中感兴趣区域的数据生成训练纹理图像。
在一个实施例中，当所获取的医学图像样本中未划分感兴趣区域，终端可以根据输入的指令来对医学图像样本进行划分，得到感兴趣区域；或者，终端通过机器学习模型对感兴趣区域进行学习所得。此外，终端所获取的医学图像样本可以包括有已进行划分的感兴趣区域。
对于感兴趣区域，可以按照以下三种方式对医学图像样本进行区域分割：
方式1，通过监督学习的方式来分割出感兴趣区域
在一个实施例中，医学图像样本中包括有分割标签，感兴趣区域的获取方式包括：终端将医学图像样本输入图像分割网络进行分割，使得图像分割网络的参数值得到迭代更新，获得感兴趣预测区；当感兴趣预测区与分割标签匹配时，将所获取的医学图像样本输入训练后的图像分割网络进行图像分割，得到医学图像的感兴趣区域。
其中，医学图像样本也可以是不同数据域的图像，即由不同医学仪器扫描人体或人体某个部位所形成的不同模态的图像。
在一个实施例中，将所获取的医学图像样本输入训练后的图像分割网络进行图像分割，得到医学图像的感兴趣区域的步骤可以包括：终端将所获取的医学图像样本输入训练后的图像分割网络，通过图像分割网络对医学图像样本进行特征提取，获得关于医学图像样本中目标对象的图像特征；将所获得的图像特征输入图像分割网络进行处理，得到感兴趣区域。
例如，终端获取具有分割标签的医学图像样本，然后利用具有分割标签的医学图像样本来训练图像分割网络，当图像分割网络的输出趋于稳定(即分割出来的感兴趣区域与分割标签一致)时，获得训练完成的图像分割网络。然后，终端将所获取的医学图像样本输入训练后的图像分割网络进行图像分割，得到医学图像的感兴趣区域。
又例如，当所获取的医学图像样本的数量较多时，可以对其中的一部分医学图像样本进行标注，得到具有分割标签的医学图像样本。然后，利用具有分割标签的医学图像样本来训练图像分割网络，当图像分割网络的输出趋于稳定(即分割出来的感兴趣区域与分割标签一致)时，获得训练完成的图像分割网络。终端将所获取的、且未经过标注的医学图像样本输入训练后的图像分割网络进行图像分割，得到医学图像的感兴趣区域。
方式2，通过无监督学习的方式来分割出感兴趣区域
在一个实施例中，感兴趣区域的获取方式包括：终端获取医学图像样本的像素值；当像素值满足目标条件时，将满足目标条件的像素值所对应的区域获取为感兴趣区域。
方式3，通过手动方式来分割出感兴趣区域
在一个实施例中，感兴趣区域的获取方式包括：终端获取输入的兴趣区划分指令；在医学图像样本中划出与兴趣区划分指令对应的感兴趣区域。
例如，对于医学图像样本数量较少的情况，可以采用手动标注的方式来划分感兴趣区域。当接收到医生或其他技术人员发出的兴趣区划分指令(如在终端所显示的医学图像样本上进行绘制操作)时，终端则在医学图像样本中绘制出与兴趣区划分指令对应的感兴趣区域。
在一个实施例中，终端从医学图像样本的感兴趣区域内提取纹理特征矩阵。其中，该纹理特征矩阵可以是GLCM、GLRLM、GLSZM和GSGM中的任一种。
在一个实施例中，从医学图像样本的感兴趣区域内提取纹理特征矩阵的步骤，具体可以包括：终端首先将各医学图像样本的像素值区间进行统一化，然后计算目标像素组合在医学图像样本的感兴趣区域内、且沿目标统计方向上出现的频数，从而得到纹理特征矩阵。其中，像素值区间可以是[0,N]。
S806，通过第一网络模型提取训练纹理图像的特征，获得局部训练医学特征；以及，通 过第二网络模型提取医学图像样本的特征，获得全局训练医学特征。
其中，第一网络模型可以是深度学习网络模型中的一个网络分支，该网络分支可以属于VGG系列网络、Inception系列网络、ResNet系列网络和DenseNet系列网络等，或者由上述网络中的多个网络层(如卷积层和池化层)组成，用于提取局部医学特征。由于纹理图像是由医学图像中感兴趣区域内的图像数据所生成，因此根据纹理图像所提取的特征可称为局部医学特征。第二网络模型可以是深度学习网络模型中的另一个网络分支，即深度学习网络模型中包括有第一网络模型，还包括有第二网络模型。该第二网络模型也可以属于VGG系列网络、Inception系列网络、ResNet系列网络和DenseNet系列网络等，或者由上述网络中的多个网络层(如卷积层和池化层)组成，用于提取全局医学特征，即除了提取感兴趣区域内的医学特征之外，还提取医学图像中除感兴趣区域以外的其它医学特征。此外，深度学习网络模型中还包括有全连接层，用于对第一网络模型和第二网络模型所提取的特征进行融合，以通过融合特征进行图像分类。
第一网络模型中可以包括有多个卷积层和至少一个池化层，在一个实施例中，终端通过第一网络模型中的卷积层对纹理图像进行卷积处理，如第一层卷积层对输入的纹理图像进行卷积处理，第二层卷积层对第一层卷积层的输出结果作为输入进行卷积处理，依次类推。终端通过第一网络模型中的卷积层对卷积处理后，对卷积处理后所得的结果进行池化处理，池化处理之后的结果即为局部训练医学特征。
第二网络模型中可以包括有卷积层和池化层。在一个实施例中，终端通过第二网络模型中的卷积层对医学图像进行卷积处理，如第二层卷积层对输入的医学图像进行卷积处理，第二层卷积层对第二层卷积层的输出结果作为输入进行卷积处理，依次类推，得到最终的卷积。终端通过第二网络模型中的卷积层对卷积处理后，对卷积处理后所得的结果进行池化处理，池化处理之后的结果即为全局训练医学特征。
S808，通过全连接层融合全局训练医学特征和局部训练医学特征，根据融合后所得的融合特征进行图像分类得到分类结果。
在一个实施例中，终端通过深度学习网络模型中的全连接层，对全局训练医学特征和局部训练医学特征进行融合得到融合特征，然后根据融合特征对医学图像样本进行图像分类。
在一个实施例中，S808具体可以包括：终端通过全连接层融合全局训练医学特征和局部训练医学特征，获得融合特征；对融合特征进行卷积计算；按照卷积计算所得的结果对医学图像样本进行图像分类。
例如，如表2所示，若全局训练医学特征的特征大小为1024，局部训练医学特征的特征大小为32，那么，通过全连接层对全局训练医学特征和局部训练医学特征进行融合，得到特征大小为1024+32的融合特征。然后，通过全连接层对融合特征进行卷积处理，得到元素个数为4的向量，该向量中的元素用于表示医学图像样本属于对应类型的概率(或比重)，然后将概率值最大所对应的类型作为医学图像样本的目标类型。其中，目标类型可以用数字进行表示，比如0表示类型A、1表示类型B、2表示类型C以及3表示类型D。
作为一个示例，如图4所示，在获得医学图像样本后，在医学图像样本中的感兴趣区域提取纹理特征矩阵(如灰度共生矩阵)，将纹理特征矩阵映射到一个同样大小的图像上，得到纹理图像。将纹理图像输入至深度学习网络模型的第一网络模型(即CNN model1)进行特征提取，得到局部训练医学特征f j1,f j2,......,f jm。将医学图像样本输入至深度学习网络模型的第二网络模型(即CNN model2)进行特征提取，得到全局训练医学特征f i1,f i2,......,f in。通过全 连接层对局部训练医学特征f j1,f j2,......,f jm和全局训练医学特征f i1,f i2,......,f in进行融合，得到融合特征f i1,f i2,......,f in,f j1,f j2,......,f jm，然后对融合特征进行处理，最终得到分类结果。
S810，根据分类结果和参考类别之间的误差分别调整第一网络模型、第二网络模型和全连接层的参数值。
在一个实施例中，S810具体可以包括：终端获取分类结果和参考类别之间的误差，将误差反向传播至第一网络模型、第二网络模型和全连接层的各神经元，得到各神经元的参数值的梯度，根据梯度更新各神经元的参数值。
在一个实施例中，终端采用基于Adam的梯度下降法更新第一网络模型、第二网络模型和全连接层的各神经元的参数值。具体地，终端采用包括但不限于Adam梯度下降法、SGD(Stochastic Gradient Descent，随机梯度下降)、MBGD(Mini-Batch Gradient Descent，小批量梯度下降法)和BGC(Batch Gradient Descent，批量梯度下降法)等梯度下降法，根据由损失函数所计算的误差对每个参数值梯度的一阶矩估计和二阶矩估计动态调整学习率，由于Adam的梯度下降法在每次迭代参数的学习步长都具有一个确定的范围，不会因较大的梯度导致出现很大的学习步长，参数值比较稳定。
在一个实施例中，终端可以采用以下损失函数：均方误差损失函数、交叉熵(cross entropy)函数、svm(Support Vector Machine,支持向量机)合页损失函数和Smooth(平稳)L1损失函数计算分类结果和参考类别之间的误差。需要说明的是，上述损失函数仅仅是举例而非穷举，包括但不限于上述的损失函数。
上述实施例中，通过不同影像类型的医学图像样本和由感兴趣区域内的数据所生成的训练纹理图像，训练第一网络模型、第二网络模型和全连接层，可以得到由第一网络模型、第二网络模型和全连接层组成的、用于图像分类的深度学习网络模型，由于网络模型由医学图像中感兴趣区域的图像数据来生成纹理图像训练所得，使网络模型专注于医学图像的感兴趣区域，使得所提取的特征更加精确，可以有效地提高医学图像分类结果的准确性。
在一个实施例中，如图9所示，该方法还可以包括：
S902，通过不同类型的图像处理方式分别对医学图像样本进行图像处理，获得多组医学图像样本。
其中，图像处理方式包括有对医学图像样本进行旋转、缩放、亮度调整和图像对比度增强等。对于图像对比度增强，可以通过使用累积函数对医学图像样本的像素值进行调整以实现对比度的增强。
由于医学图像样本中没有固定形状大小和方向性的感兴趣区域(如病灶区域)，有必要对医学图像样本进行旋转、缩放、亮度调整和图像对比度增强的处理，从而增加医学图像样本的数量，增大方向性和不同大小规模下的信息价值。
在一个实施例中，终端对医学图像样本进行旋转处理，得到多个不同旋转角度的医学图像样本。终端对医学图像样本进行缩小和放大处理，得到不同缩放比例的医学图像样本。终端对医学图像样本进行亮度调整，得到不同亮度的医学图像样本。终端对医学图像样本进行图像对比度增强处理，得到不同对比度的医学图像样本。通过上述不同类型的图像处理方式处理医学图像，得到多组医学图像样本，该多组医学图像样本包括原始的医学图像样本。
S804具体可以包括：S904，按照多组医学图像样本中感兴趣区域的数据提取训练纹理特征矩阵。
在一个实施例中，从多组医学图像样本的感兴趣区域内提取训练纹理特征矩阵的步骤， 具体可以包括：终端首先将各多组医学图像样本的像素值区间进行统一化，然后计算目标像素组合在多组医学图像样本的感兴趣区域内、且沿目标统计方向上出现的频数，从而得到训练纹理特征矩阵。其中，像素值区间可以是[0,N]。
S906，根据训练纹理特征矩阵生成训练纹理图像。
训练纹理特征矩阵中的元素为目标像素组合在医学图像的感兴趣区域内、且沿目标统计方向上出现的频数，在根据训练纹理特征矩阵生成纹理图像时，该频数可用于表征像素值。在一个实施例中，终端按照训练纹理特征矩阵中的元素进行图像渲染，得到具有目标尺寸大小的纹理图像。
其中，纹理图像的最小分辨单元是像素，若纹理特征矩阵具有m行n列，那么纹理图像的目标尺寸即为m×n像素，即纹理图像为m×n像素的方块。其中，上述的m＝n。
对于神经网络模型而言，若输入不规则大小的训练纹理图像(如输入的训练纹理图像为不规则区域图像)时，将会对图像分类造成影响，因此需要根据训练纹理特征矩阵生成特定尺寸大小的训练纹理图像，该训练纹理图像的形状为方块。
上述实施例中，通过不同类型的图像处理方式分别对医学图像样本进行图像处理，从而可以增大医学图像样本的数量，由于第一网络模型、第二网络模型和全连接层中的神经元是由经过处理后的医学图像样本训练所得，因此可以泛化第一网络模型、第二网络模型和全连接层的计算性能，可以对多种图像大小、方向、亮度和对比度的医学图像进行分类，有利于提高图像分类的准确性。
作为一个示例，在传统的医学图像分类方案中，主要有：
1)基于DCNN的分类网络技术，如图10所示，通过一系列卷积和池化操作实现分类，通过一系列卷积核提取不同特征，通过损失函数和反向传播来寻找最优的参数，以实现特征选择和图像分类，得到最小化损失函数时的分类结果；
由于DCNN是一种基于神经网络的分类模型，这种方法学习到的特征都是在灰度值层面的，并且神经网络的输入图像必须是方块(patch)，而非是不规则区域(如医生画的分割区域)，大量的非分割区域作为无病变区域对分类结果造成影响，尤其对于小病灶来说，DCNN关注点可能不在病灶上而错失病灶信息。
2)在医学图像上或感兴趣区域中提取传统特征，然后用SVM之类的分类器实现图像分类，如图11所示。
采用手工设计特征的方式在感兴趣区域或整体医学图像上提取特征，但也存在几个问题，其一是手工特征可能并不是数学意义上的最优解，从而并不能代表最有意义的特征进而影响分类结果；其二是手工特征之间的信息可能存在较大相关性导致过拟合，因此额外需要一个特征选择算法去选择最有用的特征集合；其三是手工特征从ROI中提取无法反映全局信息，比如另外一些区域和ROI部分的关联性。
为了解决上述问题，本申请实施例提出了一种图像分类方案，结合图5进行说明，具体如下：
(一)应用阶段：
(1)获取医学图像。
(2)在医学图像上框出感兴趣区域。
其中，感兴趣区域可以有三种获取方式：1)由医生勾画或框出病灶区域；2)对部分医学图像进行分割标注，然后用标注的医学图像对图像分割模型进行训练，将未标注的医学图 像输入训练好的图像分割网络模型进行分割，得到感兴趣区域；3)利用病灶区域的灰度值特征，利用无监督算法分割出病灶区域，比如灰度值大于某个阈值时，将大于阈值的灰度值所对应的区域作为感兴趣区域。
(3)从感兴趣区域提取GLCM，得到针对感兴趣区域的二维图像。
首先将图像灰度值统一化为[0,N]，然后在感兴趣区域内提取GLCM。GLCM是对图像在某方向上、某距离的两相邻像素的灰度值进行统计得到的，这个距离一般设置为1。因此，如图3所示，GLCM中第二行第二列的值为：0°方向上相距为1的两像素点在感兴趣区域上出现一对灰度值为(2,2)的频数，由于图3(a)上出现灰度值为(2,2)的频数为1；GLCM中第二行第三列则是出现灰度为(2,3)的频数，该频数为1，最后将图3(b)转换为概率图，即该矩阵除以所有该矩阵元素之和。
其中，二维图像可以有四个方向提取GLCM，三维图像有13个方向可提取GLCM，传统方案中利用GLCM中的值手工计算特征如下所示：
Figure PCTCN2020085062-appb-000002
特征1：
Figure PCTCN2020085062-appb-000003
特征2：
Figure PCTCN2020085062-appb-000004
可以看出，上述的特征为共生灰度矩阵中元素的线性组合，而系数为固定(与i，j相关)，存在着以下问题：手工计算的特征可能并不是数学意义上的最优解而影响分类结果，可能存在较大相关性导致过拟合。
因此，本方案通过DCNN处理由GLCM所形成的二维图像，从而可以获得比通过固定系数所得到的特征更优质。
(4)将医学图像和关于感兴趣区域的二维图像输入DCNN模型中进行图像分类处理，得到分类结果。
如图4所示，将根据GLCM形成的二维图像输入CNN model1进行特征提取，得到局部医学特征；将医学图像输入CNN model2进行特征提取，得到全局医学特征。然后，通过全连接层对全局医学特征和局部医学特征进行融合，得到融合特征，通过对融合特征进行处理输入分类结果。
(二)训练阶段：
本申请实施例中，获取以下三种数据集作为医学图像样本对DCNN进行训练：1)CT平扫脑部出血原因判断数据集；2)包括4个模态的MRI数据集；3)三通道的宫颈彩色图像分期数据集。
(1)构建训练数据
对所获取的医学图像样本进行归一化，使之处于[0,1]区间之内。对医学图像样本进行翻转、旋转、缩放和对比度增强等数据增广的操作，增加训练样本的数量，增大方向性和不同大小规模下的信息价值。
对于ROI数据，对不同的数据转化GLCM有不同的处理方式：
1)二维单通道图像：直接提取4个方向上GLCM的平均作为GLCM；
2)二维多通道图像，如二维多模态MR或彩色图像，对每个通道提取GLCM，然后一起输出作为多通道GLCM；
3)三维单通道图像，且各向同性：直接提取13个方向上GLCM的平均作为GLCM；
4)三维单通道图像，且各向异性(z方向间距过大，与xy平面分辨率不同)：对每个xy平面计算4个GLCM，所有计算得到的GLCM求平均；
5)三维多通道图像：对每个通道按以上规则计算，并以多通道GLCM输出。
(2)设计深度学习网络模型
1)基础模块设计
如图4所示，对于CNN model2，可以采用现有经典网络的第一层到全连接层的输入截至的部分网络作为CNN model2。其中，经典网络可以包括但不限于：VGG16，ResNet18，ResNet50和InceptionV3等。
2)整体网络设计
如图4所示，整体网络包括两个分支：CNN model1和CNN model2。DCNN综合了两个分支网络的优点，CNN model2主要在整体的医学图像上寻找关键区域(包括但不限于ROI)的特征；而CNN model1能专注于ROI区域的特征，因此能强制DCNN关注ROI区域，使得提取的特征更加精确。通过实验表明，CNN model1采用2D(2-Dimensional，二维)ResNet提取根据GLCM所形成的二维图像中的特征，具有较好的效果。
与ResNet18不同在于，CNN model1减少了一个ResNet Block，且每个卷积过后的输出通道也变少，因为在CNN model1中只提取32个特征，只需较窄较浅的网络就能完成，增加分类的准确率。
本网络在全连接层融合两个分支的特征，共1024+32个，然后输出为类别个数(如表2中类别为脑出血数据的4类)。
(3)深度学习网络模型训练
本申请实施例中采用基于Adam的梯度下降法更新网络的参数。在训练模型之前，首先通过上述步骤(1)构建训练数据的方法，获得由GLCM形成的二维图像；然后，将原始的医学图像样本和由GLCM形成的二维图像输入深度学习网络模型中，经过深度学习网络模型得到预测类别(为N*1的向量，N为类别数)，并通过计算其与标签(即真实类别)之间的cross entropy作为损失函数，通过最小化损失函数，可以计算误差梯度并通过反向传播更新网络的梯度，最终得到训练完成后的深度学习网络模型。
通过实施上述实施例，可以具有以下技术效果：
1)相较于传统特征分类和单纯的DCNN分类，分类准确率有所上升；
2)可广泛应用于多种医学影像；
3)可与多种DCNN结合生成算法；
4)利用DCNN的优化算法，同时结合传统特征的提取方法，有机的结合传统特征与深度特征。
图2、图6-图9为一个实施例中图像分类方法的流程示意图。应该理解的是，虽然图2、6-9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、6-9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻 执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图12所示，在一个实施例中，提供了一种图像分类装置，该装置包括：图像获取模块1202、图像生成模块1204、第一特征提取模块1206、第二特征提取模块1208和图像分类模块1210；其中：
图像获取模块1202，用于获取待分类的医学图像；
图像生成模块1204，用于根据医学图像中感兴趣区域内的图像数据生成纹理图像；
第一特征提取模块1206，用于通过第一网络模型对纹理图像进行特征提取，获得局部医学特征；
第二特征提取模块1208，用于通过第二网络模型对医学图像进行特征提取，获得全局医学特征；
图像分类模块1210，用于基于全局医学特征和局部医学特征的融合特征进行图像分类。
在一个实施例中，如图13，该装置还包括：区域获取模块1212；其中：
区域获取模块1212，用于获取包括有分割标签的医学图像样本；将医学图像样本输入图像分割网络进行分割，获得感兴趣预测区；当感兴趣预测区与分割标签匹配时，将所获取的医学图像输入训练后的图像分割网络进行图像分割，得到医学图像的感兴趣区域。
在一个实施例中，区域获取模块1212还用于：获取输入的兴趣区划分指令；在医学图像中划出与兴趣区划分指令对应的感兴趣区域；或者，获取医学图像的像素值；当像素值满足目标条件时，将满足目标条件的像素值所对应的区域获取为感兴趣区域。
在一个实施例中，图像分类模块1210还用于：通过全连接层融合全局医学特征和局部医学特征，获得融合特征；对融合特征进行卷积计算；按照卷积计算所得的结果对医学图像进行图像分类。
上述实施例中，通过医学图像中感兴趣区域的图像数据来生成纹理图像，然后通过第一网络模型对纹理图像进行局部特征的提取，通过第二网络模型对医学图像进行全局特征的提取，从而可以使网络模型专注于医学图像的感兴趣区域，使得所提取的特征更加精确。此外，由于在图像分类过程中采用了全局医学特征和局部医学特征的融合特征，可以有效地提高医学图像分类结果的准确性。
在一个实施例中，图像生成模块1204还用于：基于医学图像中感兴趣区域内的图像数据获取纹理特征矩阵；按照纹理特征矩阵的大小获取目标尺寸；按照纹理特征矩阵进行图像渲染，得到目标尺寸大小的纹理图像。
上述实施例中，在医学图像中感兴趣区域内提取纹理特征矩阵，根据纹理特征矩阵生成特定尺寸大小的纹理图像，避免因感兴趣区域为非规则区域而对分类结果造成影响，从而可以提升图像分类的准确性。
在一个实施例中，图像生成模块1204还用于：选定像素值区间；获取像素值区间内的各像素值之间的像素组合；统计像素组合中像素值所对应的像素在感兴趣区域出现的频数，得到频数集合；将频数集合中的频数转换为概率，得到纹理特征矩阵。
在一个实施例中，图像生成模块1204还用于：获取目标距离和统计方向；统计方向的方向数为多个；获取感兴趣区域中的满足目标距离的像素；按照各统计方向，分别统计各像素组合中像素值所对应的像素与满足目标距离的像素匹配的数量；将匹配的数量获取为频数，得到与方向数对应的多组频数集合。
在一个实施例中，图像生成模块1204还用于：获取医学图像的通道数；将多组频数集合中的频数转换为概率，计算转换后多组频数集合中对应位置的概率均值；根据概率均值获得集合数量与通道数一致的均值化概率集合；将均值化概率集合获取为纹理特征矩阵。
上述实施例中，通过设定一个像素值区间，计算该像素值区间中所有可能的像素组合在感兴趣区域出现的频数，进而可以得到用于表征感兴趣区域内图像数据的纹理特征矩阵，以便根据纹理特征矩阵生成纹理图像，进而使第一网络模型和第二网络模型专注于医学图像的感兴趣区域，使得所提取的特征更加精确。
在一个实施例中，如图13，该装置还包括：参数调整模块1214；其中：
图像获取模块1202还用于获取不同影像类型的医学图像样本和对应参考类别；
图像生成模块1204还用于根据医学图像样本中感兴趣区域的数据生成训练纹理图像；
第一特征提取模块1206还用于通过第一网络模型提取训练纹理图像的特征，获得局部训练医学特征；
第二特征提取模块1208还用于通过第二网络模型提取医学图像样本的特征，获得全局训练医学特征；
图像分类模块1210还用于通过全连接层融合全局训练医学特征和局部训练医学特征，根据融合后所得的融合特征进行图像分类得到分类结果；
参数调整模块1214，用于根据分类结果和参考类别之间的误差分别调整第一网络模型、第二网络模型和全连接层的参数值。
上述实施例中，通过不同影像类型的医学图像样本和由感兴趣区域内的数据所生成的训练纹理图像，训练第一网络模型、第二网络模型和全连接层，可以得到由第一网络模型、第二网络模型和全连接层组成的、用于图像分类的深度学习网络模型，由于网络模型由医学图像中感兴趣区域的图像数据来生成纹理图像训练所得，使网络模型专注于医学图像的感兴趣区域，使得所提取的特征更加精确，可以有效地提高医学图像分类结果的准确性。
在一个实施例中，参数调整模块1214还用于：获取分类结果和参考类别之间的误差；将误差反向传播至第一网络模型、第二网络模型和全连接层的各神经元，得到各神经元的参数值的梯度；根据梯度更新各神经元的参数值。
在一个实施例中，如图13，该装置还包括：图像处理模块1216；其中：
图像处理模块1216，用于通过不同类型的图像处理方式分别对医学图像样本进行图像处理，获得多组医学图像样本；
图像生成模块1204还用于：按照多组医学图像样本中感兴趣区域的数据提取训练纹理特征矩阵；根据训练纹理特征矩阵生成训练纹理图像。
上述实施例中，通过不同类型的图像处理方式分别对医学图像样本进行图像处理，从而可以增大医学图像样本的数量，由于第一网络模型、第二网络模型和全连接层中的神经元是由经过处理后的医学图像样本训练所得，因此可以泛化第一网络模型、第二网络模型和全连接层的计算性能，可以对多种图像大小、方向、亮度和对比度的医学图像进行分类，有利于提高图像分类的准确性。
图14示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110。如图14所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序 被处理器执行时，可使得处理器实现图像分类方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行如下步骤：
获取待分类的医学图像；根据该医学图像中感兴趣区域内的图像数据生成纹理图像；通过第一网络模型对该纹理图像进行特征提取，获得局部医学特征；通过第二网络模型对该医学图像进行特征提取，获得全局医学特征；基于该全局医学特征和该局部医学特征的融合特征进行图像分类。
在一个实施例中，该计算机程序被该处理器执行时，使得该处理器执行如下步骤：
获取包括有分割标签的医学图像样本；将该医学图像样本输入图像分割网络进行分割，获得感兴趣预测区；当该感兴趣预测区与该分割标签匹配时，将所获取的医学图像输入训练后的图像分割网络进行图像分割，得到该医学图像的感兴趣区域。
在一个实施例中，该计算机程序被该处理器执行时，使得该处理器执行如下步骤：
获取输入的兴趣区划分指令；在该医学图像中划出与该兴趣区划分指令对应的感兴趣区域；或者，获取该医学图像的像素值；当该像素值满足目标条件时，将满足该目标条件的像素值所对应的区域获取为感兴趣区域。
在一个实施例中，该计算机程序被该处理器执行时，使得该处理器执行如下步骤：
基于该医学图像中感兴趣区域内的图像数据获取纹理特征矩阵；按照该纹理特征矩阵的大小获取目标尺寸；按照该纹理特征矩阵进行图像渲染，得到该目标尺寸大小的纹理图像。
在一个实施例中，该计算机程序被该处理器执行时，使得该处理器执行如下步骤：
选定像素值区间；获取该像素值区间内的各像素值之间的像素组合；统计该像素组合中像素值所对应的像素在该感兴趣区域出现的频数，得到频数集合；将该频数集合中的频数转换为概率，得到纹理特征矩阵。
在一个实施例中，该计算机程序被该处理器执行时，使得该处理器执行如下步骤：
获取目标距离和统计方向；该统计方向的方向数为多个；获取该感兴趣区域中的满足该目标距离的像素；按照各该统计方向，分别统计各该像素组合中像素值所对应的像素与满足该目标距离的像素匹配的数量；将该匹配的数量获取为频数，得到与该方向数对应的多组频数集合。
在一个实施例中，该计算机程序被该处理器执行时，使得该处理器执行如下步骤：
获取该医学图像的通道数；将该多组频数集合中的频数转换为概率，计算转换后多组频数集合中对应位置的概率均值；根据该概率均值获得集合数量与该通道数一致的均值化概率集合；将该均值化概率集合获取为纹理特征矩阵。
在一个实施例中，该计算机程序被该处理器执行时，使得该处理器执行如下步骤：
通过全连接层融合该全局医学特征和该局部医学特征，获得融合特征；对该融合特征进行卷积计算；按照卷积计算所得的结果对该医学图像进行图像分类。
在一个实施例中，该计算机程序被该处理器执行时，使得该处理器还执行如下步骤：
获取不同影像类型的医学图像样本和对应参考类别；根据该医学图像样本中感兴趣区域的数据生成训练纹理图像；通过该第一网络模型提取该训练纹理图像的特征，获得局部训练医学特征；以及，通过该第二网络模型提取该医学图像样本的特征，获得全局训练医学特征；通过全连接层融合该全局训练医学特征和该局部训练医学特征，根据融合后所得的融合特征进行图像分类得到分类结果；根据该分类结果和该参考类别之间的误差分别调整该第一网络模型、该第二网络模型和该全连接层的参数值。
在一个实施例中，该计算机程序被该处理器执行时，使得该处理器还执行如下步骤：
通过不同类型的图像处理方式分别对该医学图像样本进行图像处理，获得多组医学图像样本；
该计算机程序被该处理器执行时，使得该处理器还执行如下步骤：
按照该多组医学图像样本中感兴趣区域的数据提取训练纹理特征矩阵；根据该训练纹理特征矩阵生成训练纹理图像。
该计算机程序被该处理器执行时，使得该处理器还执行如下步骤该计算机程序被该处理器执行时，使得该处理器执行如下步骤：
获取该分类结果和该参考类别之间的误差；将该误差反向传播至该第一网络模型、该第二网络模型和该全连接层的各神经元，得到各该神经元的参数值的梯度；根据该梯度更新各该神经元的参数值。
计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像分类装置可以实现为一种计算机程序的形式，计算机程序可在如图14所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像分类装置的各个程序模块，比如，图12所示的图像获取模块1202、图像生成模块1204、第一特征提取模块1206、第二特征提取模块1208和图像分类模块1210。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像分类方法中的步骤。
例如，图14所示的计算机设备可以通过如图12所示的图像分类装置中的图像获取模块1202执行S202。计算机设备可通过图像生成模块1204执行S204。计算机设备可通过第一特征提取模块1206执行S206。计算机设备可通过第二特征提取模块1208执行S208。计算机设备可通过图像分类模块1210执行S210。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像分类方法的步骤。此处图像分类方法的步骤可以是上述各个实施例的图像分类方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像分类方法的步骤。此处图像分类方法的步骤可以是上述各个实施例的图像分类方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、 同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

  1. 一种图像分类方法，应用于计算机设备，包括：
    获取待分类的医学图像；
    根据所述医学图像中感兴趣区域内的图像数据生成纹理图像；
    通过第一网络模型对所述纹理图像进行特征提取，获得局部医学特征；
    通过第二网络模型对所述医学图像进行特征提取，获得全局医学特征；
    基于所述全局医学特征和所述局部医学特征的融合特征进行图像分类。
  2. 根据权利要求1所述的方法，其特征在于，所述感兴趣区域的获取方式包括：
    获取包括有分割标签的医学图像样本；
    将所述医学图像样本输入图像分割网络进行分割，获得感兴趣预测区；
    当所述感兴趣预测区与所述分割标签匹配时，将所获取的医学图像输入训练后的图像分割网络进行图像分割，得到所述医学图像的感兴趣区域。
  3. 根据权利要求1所述的方法，其特征在于，所述感兴趣区域的获取方式包括：
    获取输入的兴趣区划分指令；在所述医学图像中划出与所述兴趣区划分指令对应的感兴趣区域；或者，
    获取所述医学图像的像素值；当所述像素值满足目标条件时，将满足所述目标条件的像素值所对应的区域获取为感兴趣区域。
  4. 根据权利要求1所述的方法，其特征在于，所述根据所述医学图像中感兴趣区域内的图像数据生成纹理图像包括：
    基于所述医学图像中感兴趣区域内的图像数据获取纹理特征矩阵；
    按照所述纹理特征矩阵的大小获取目标尺寸；
    按照所述纹理特征矩阵进行图像渲染，得到所述目标尺寸大小的纹理图像。
  5. 根据权利要求4所述的方法，其特征在于，所述基于所述医学图像中感兴趣区域内的图像数据获取纹理特征矩阵包括：
    选定像素值区间；
    获取所述像素值区间内的各像素值之间的像素组合；
    统计所述像素组合中像素值所对应的像素在所述感兴趣区域出现的频数，得到频数集合；
    将所述频数集合中的频数转换为概率，得到纹理特征矩阵。
  6. 根据权利要求5所述的方法，其特征在于，所述统计所述像素组合中像素值所对应的像素在所述感兴趣区域出现的频数，得到频数集合包括：
    获取目标距离和统计方向；所述统计方向的方向数为多个；
    获取所述感兴趣区域中的满足所述目标距离的像素；
    按照各所述统计方向，分别统计各所述像素组合中像素值所对应的像素与满足所述目标距离的像素匹配的数量；
    将所述匹配的数量获取为频数，得到与所述方向数对应的多组频数集合。
  7. 根据权利要求6所述的方法，其特征在于，所述将所述频数集合中的频数转换为概率，得到纹理特征矩阵包括：
    获取所述医学图像的通道数；
    将所述多组频数集合中的频数转换为概率，计算转换后多组频数集合中对应位置的概率均值；
    根据所述概率均值获得集合数量与所述通道数一致的均值化概率集合；
    将所述均值化概率集合获取为纹理特征矩阵。
  8. 根据权利要求1所述的方法，其特征在于，所述基于所述全局医学特征和所述局部医学特征的融合特征进行图像分类包括：
    通过全连接层融合所述全局医学特征和所述局部医学特征，获得融合特征；
    对所述融合特征进行卷积计算；
    按照卷积计算所得的结果对所述医学图像进行图像分类。
  9. 根据权利要求1至8任一项所述的方法，其特征在于，还包括：
    获取不同影像类型的医学图像样本和对应参考类别；
    根据所述医学图像样本中感兴趣区域的数据生成训练纹理图像；
    通过所述第一网络模型提取所述训练纹理图像的特征，获得局部训练医学特征；以及，通过所述第二网络模型提取所述医学图像样本的特征，获得全局训练医学特征；
    通过全连接层融合所述全局训练医学特征和所述局部训练医学特征，根据融合后所得的融合特征进行图像分类得到分类结果；
    根据所述分类结果和所述参考类别之间的误差分别调整所述第一网络模型、所述第二网络模型和所述全连接层的参数值。
  10. 根据权利要求9所述的方法，其特征在于，还包括：
    通过不同类型的图像处理方式分别对所述医学图像样本进行图像处理，获得多组医学图像样本；
    所述根据所述医学图像样本中感兴趣区域的数据生成训练纹理图像包括：
    按照所述多组医学图像样本中感兴趣区域的数据提取训练纹理特征矩阵；
    根据所述训练纹理特征矩阵生成训练纹理图像。
  11. 根据权利要求9所述的方法，其特征在于，所述根据所述分类结果和所述参考类别之间的误差分别调整所述第一网络模型、所述第二网络模型和所述全连接层的参数值包括：
    获取所述分类结果和所述参考类别之间的误差；
    将所述误差反向传播至所述第一网络模型、所述第二网络模型和所述全连接层的各神经元，得到各所述神经元的参数值的梯度；
    根据所述梯度更新各所述神经元的参数值。
  12. 一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至11中任一项所述方法的步骤。
  13. 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至11中任一项所述方法的步骤。
PCT/CN2020/085062 2019-05-08 2020-04-16 图像分类方法、计算机可读存储介质和计算机设备 WO2020224406A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/397,857 US11908580B2 (en) 2019-05-08 2021-08-09 Image classification method, computer-readable storage medium, and computer device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910379277.2A CN110321920B (zh) 2019-05-08 2019-05-08 图像分类方法、装置、计算机可读存储介质和计算机设备
CN201910379277.2 2019-05-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/397,857 Continuation US11908580B2 (en) 2019-05-08 2021-08-09 Image classification method, computer-readable storage medium, and computer device

Publications (1)

Publication Number Publication Date
WO2020224406A1 true WO2020224406A1 (zh) 2020-11-12

Family

ID=68118885

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/085062 WO2020224406A1 (zh) 2019-05-08 2020-04-16 图像分类方法、计算机可读存储介质和计算机设备

Country Status (3)

Country Link
US (1) US11908580B2 (zh)
CN (1) CN110321920B (zh)
WO (1) WO2020224406A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446311A (zh) * 2020-11-19 2021-03-05 杭州趣链科技有限公司 对象重识别方法、电子设备、存储介质及装置
CN112686207A (zh) * 2021-01-22 2021-04-20 北京同方软件有限公司 一种基于区域信息增强的城市街道场景目标检测方法
CN112699948A (zh) * 2020-12-31 2021-04-23 无锡祥生医疗科技股份有限公司 超声乳腺病灶的分类方法、装置及存储介质
CN113177510A (zh) * 2021-05-19 2021-07-27 司法鉴定科学研究院 一种喷墨打印文件溯源方法
CN114219976A (zh) * 2021-11-04 2022-03-22 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备、存储介质及计算机产品
CN114399635A (zh) * 2022-03-25 2022-04-26 珞石（北京）科技有限公司 基于特征定义和深度学习的图像二分类集成学习方法
WO2023055669A1 (en) * 2021-09-29 2023-04-06 Subtle Medical, Inc. Systems and methods for automated spine segmentation and assessment of degeneration using deep learning

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321920B (zh) 2019-05-08 2021-10-22 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机可读存储介质和计算机设备
CN110276411B (zh) 2019-06-28 2022-11-18 腾讯科技（深圳）有限公司 图像分类方法、装置、设备、存储介质和医疗电子设备
CN110866880B (zh) * 2019-11-14 2023-04-28 上海联影智能医疗科技有限公司 图像伪影检测方法、装置、设备和存储介质
CN111027600B (zh) * 2019-11-25 2021-03-23 腾讯科技（深圳）有限公司 图像类别预测方法和装置
CN110956623B (zh) * 2019-11-29 2023-11-07 深圳数联天下智能科技有限公司 皱纹检测方法、装置、设备及计算机可读存储介质
CN111179231B (zh) * 2019-12-20 2024-05-28 上海联影智能医疗科技有限公司 图像处理方法、装置、设备和存储介质
CN111783791A (zh) * 2020-01-22 2020-10-16 北京沃东天骏信息技术有限公司 图像分类方法、装置和计算机可读存储介质
CN111401387B (zh) * 2020-03-10 2023-09-19 腾讯科技（深圳）有限公司 异常样本构建方法、装置、计算机设备和存储介质
CN111507381B (zh) * 2020-03-31 2024-04-02 上海商汤智能科技有限公司 图像识别方法及相关装置、设备
CN113628154A (zh) * 2020-04-23 2021-11-09 上海联影智能医疗科技有限公司 图像分析方法、装置、计算机设备和存储介质
CN111968091B (zh) * 2020-08-19 2022-04-01 南京图格医疗科技有限公司 一种临床图像中病变区域的检测和分类方法
CN112116005B (zh) * 2020-09-18 2024-01-23 推想医疗科技股份有限公司 影像分类模型的训练方法及装置、存储介质和电子设备
CN112241952B (zh) * 2020-10-22 2023-09-05 平安科技（深圳）有限公司 大脑中线识别方法、装置、计算机设备及存储介质
CN112288718B (zh) * 2020-10-29 2021-11-02 推想医疗科技股份有限公司 图像处理方法及装置，电子设备及计算机可读存储介质
CN112699950B (zh) * 2021-01-06 2023-03-24 腾讯科技（深圳）有限公司 医学图像分类方法、图像分类网络处理方法、装置和设备
CN113569894B (zh) * 2021-02-09 2023-11-21 腾讯科技（深圳）有限公司 图像分类模型的训练方法、图像分类方法、装置及设备
CN112861978B (zh) * 2021-02-20 2022-09-02 齐齐哈尔大学 一种基于注意力机制的多分支特征融合遥感场景图像分类方法
CN113192072B (zh) * 2021-04-01 2023-11-24 北京达佳互联信息技术有限公司 图像分割方法、装置、设备及存储介质
CN112926537B (zh) * 2021-04-07 2024-05-28 南方科技大学 图像处理方法、装置、电子设备以及存储介质
CN113743186B (zh) * 2021-06-15 2023-04-18 腾讯医疗健康(深圳)有限公司 医学图像的处理方法、装置、设备及存储介质
CN113657458A (zh) * 2021-07-27 2021-11-16 浙江大华技术股份有限公司 气道分类方法及其装置、计算机可读存储介质
CN113723310B (zh) * 2021-08-31 2023-09-05 平安科技（深圳）有限公司 基于神经网络的图像识别方法及相关装置
CN114240954B (zh) * 2021-12-16 2022-07-08 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像分割方法及装置
CN114548403B (zh) * 2022-02-22 2023-05-12 深圳市医未医疗科技有限公司 一种医学图像数据平台的数据处理方法与系统
CN114612743A (zh) * 2022-03-10 2022-06-10 北京百度网讯科技有限公司 深度学习模型的训练方法、目标对象识别方法和装置
CN114419570B (zh) * 2022-03-28 2023-04-07 苏州浪潮智能科技有限公司 一种点云数据识别方法、装置、电子设备及存储介质
CN114663715B (zh) * 2022-05-26 2022-08-26 浙江太美医疗科技股份有限公司 医学图像质控、分类模型训练方法、装置及计算机设备
CN114972327B (zh) * 2022-07-12 2023-01-06 爱尔达电气有限公司 半导体封装测试系统及其测试方法
CN114974522A (zh) * 2022-07-27 2022-08-30 中国医学科学院北京协和医院 医学影像处理方法、装置、电子设备及存储介质
CN115836868A (zh) * 2022-11-25 2023-03-24 燕山大学 基于多尺度卷积核尺寸cnn的驾驶员疲劳状态识别方法
CN116363152B (zh) * 2023-03-15 2024-03-19 阿里巴巴（中国）有限公司 图像分割的方法、训练图像分割模型的方法及装置
CN116168214B (zh) * 2023-04-25 2023-07-18 浙江一山智慧医疗研究有限公司 医疗图像纹理特征提取方法、装置及应用
CN117152485A (zh) * 2023-07-21 2023-12-01 华能(广东)能源开发有限公司汕头电厂 燃煤机组漏煤检测方法、装置及设备
CN117218458A (zh) * 2023-11-08 2023-12-12 海门市缔绣家用纺织品有限公司 一种基于人工智能的装饰用纺织品自动分类方法
CN117395424B (zh) * 2023-12-11 2024-03-22 深圳市视晶无线技术有限公司 一种用于视频无线传输监控系统的视频优化方法
CN117764994B (zh) * 2024-02-22 2024-05-10 浙江首鼎视介科技有限公司 基于人工智能的胆胰成像系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862340A (zh) * 2017-11-16 2018-03-30 深圳市华尊科技股份有限公司 一种车型识别方法及装置
CN107945179A (zh) * 2017-12-21 2018-04-20 王华锋 一种基于特征融合的卷积神经网络的肺结节良恶性检测方法
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
CN109034269A (zh) * 2018-08-22 2018-12-18 华北水利水电大学 一种基于计算机视觉技术的棉铃虫雌雄成虫判别方法
CN109117879A (zh) * 2018-08-03 2019-01-01 南京旷云科技有限公司 图像分类方法、装置及系统
CN110321920A (zh) * 2019-05-08 2019-10-11 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机可读存储介质和计算机设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101669828A (zh) * 2009-09-24 2010-03-17 复旦大学 基于pet/ct图像纹理特征的肺部恶性肿瘤与良性结节检测系统
CN103606138B (zh) * 2013-08-28 2016-04-27 内蒙古科技大学 一种基于纹理区域划分的医学图像的融合方法
US9092691B1 (en) * 2014-07-18 2015-07-28 Median Technologies System for computing quantitative biomarkers of texture features in tomographic images
CN109284749A (zh) * 2017-07-19 2019-01-29 微软技术许可有限责任公司 精细化图像识别
CN107633522B (zh) * 2017-08-30 2020-04-03 山东财经大学 基于局部相似性活动轮廓模型的脑部图像分割方法和系统
CN108428229B (zh) * 2018-03-14 2020-06-16 大连理工大学 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法
CN109035197B (zh) * 2018-05-31 2021-09-28 东南大学 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统
CN108491835B (zh) * 2018-06-12 2021-11-30 常州大学 面向面部表情识别的双通道卷积神经网络

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862340A (zh) * 2017-11-16 2018-03-30 深圳市华尊科技股份有限公司 一种车型识别方法及装置
CN107945179A (zh) * 2017-12-21 2018-04-20 王华锋 一种基于特征融合的卷积神经网络的肺结节良恶性检测方法
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
CN109117879A (zh) * 2018-08-03 2019-01-01 南京旷云科技有限公司 图像分类方法、装置及系统
CN109034269A (zh) * 2018-08-22 2018-12-18 华北水利水电大学 一种基于计算机视觉技术的棉铃虫雌雄成虫判别方法
CN110321920A (zh) * 2019-05-08 2019-10-11 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机可读存储介质和计算机设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446311A (zh) * 2020-11-19 2021-03-05 杭州趣链科技有限公司 对象重识别方法、电子设备、存储介质及装置
CN112699948A (zh) * 2020-12-31 2021-04-23 无锡祥生医疗科技股份有限公司 超声乳腺病灶的分类方法、装置及存储介质
CN112686207A (zh) * 2021-01-22 2021-04-20 北京同方软件有限公司 一种基于区域信息增强的城市街道场景目标检测方法
CN112686207B (zh) * 2021-01-22 2024-02-27 北京同方软件有限公司 一种基于区域信息增强的城市街道场景目标检测方法
CN113177510A (zh) * 2021-05-19 2021-07-27 司法鉴定科学研究院 一种喷墨打印文件溯源方法
WO2023055669A1 (en) * 2021-09-29 2023-04-06 Subtle Medical, Inc. Systems and methods for automated spine segmentation and assessment of degeneration using deep learning
CN114219976A (zh) * 2021-11-04 2022-03-22 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备、存储介质及计算机产品
CN114399635A (zh) * 2022-03-25 2022-04-26 珞石（北京）科技有限公司 基于特征定义和深度学习的图像二分类集成学习方法

Also Published As

Publication number Publication date
CN110321920B (zh) 2021-10-22
US20210365741A1 (en) 2021-11-25
CN110321920A (zh) 2019-10-11
US11908580B2 (en) 2024-02-20

Similar Documents

Publication Publication Date Title
WO2020224406A1 (zh) 图像分类方法、计算机可读存储介质和计算机设备
Qian et al. Prospective assessment of breast cancer risk from multimodal multiview ultrasound images via clinically applicable deep learning
CN109523521B (zh) 基于多切片ct图像的肺结节分类和病灶定位方法和系统
Zhang et al. Review of breast cancer pathologigcal image processing
CN111369562B (zh) 图像处理方法、装置、电子设备及存储介质
Pandey et al. Segmentation of liver lesions with reduced complexity deep models
US20240185428A1 (en) Medical Image Analysis Using Neural Networks
CN115272250B (zh) 确定病灶位置方法、装置、计算机设备和存储介质
Shanker et al. Brain tumor segmentation of normal and lesion tissues using hybrid clustering and hierarchical centroid shape descriptor
Zhao et al. A novel multi-scale CNNs for false positive reduction in pulmonary nodule detection
Gao et al. Hybrid network with difference degree and attention mechanism combined with radiomics (H-DARnet) for MVI prediction in HCC
Lama et al. Skin lesion segmentation in dermoscopic images with noisy data
Krishna et al. Classification of liver tumor using SFTA based Naïve Bayes classifier and support vector machine
Gheorghiță et al. Improving robustness of automatic cardiac function quantification from cine magnetic resonance imaging using synthetic image data
Chatterjee et al. A survey on techniques used in medical imaging processing
Nanthagopal et al. A region-based segmentation of tumour from brain CT images using nonlinear support vector machine classifier
Yang et al. Confidence calibration on multiclass classification in medical imaging
Stib et al. Thyroid nodule malignancy risk stratification using a convolutional neural network
Velichko et al. A comprehensive review of deep learning approaches for magnetic resonance imaging liver tumor analysis
CN116468923A (zh) 一种基于加权重采样聚类不稳定性的图像强化方法及装置
Ocal et al. Prostate segmentation via dynamic fusion model
TW202346826A (zh) 影像處理方法
CN112967295B (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
Engin et al. Agan: An anatomy corrector conditional generative adversarial network
Padma et al. Combined texture feature analysis of segmentation and classification of benign and malignant tumour CT slices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20802352

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20802352

Country of ref document: EP

Kind code of ref document: A1