WO2021022752A1 - 一种多模态三维医学影像融合方法、系统及电子设备 - Google Patents

一种多模态三维医学影像融合方法、系统及电子设备 Download PDF

Info

Publication number
WO2021022752A1
WO2021022752A1 PCT/CN2019/125430 CN2019125430W WO2021022752A1 WO 2021022752 A1 WO2021022752 A1 WO 2021022752A1 CN 2019125430 W CN2019125430 W CN 2019125430W WO 2021022752 A1 WO2021022752 A1 WO 2021022752A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
generator
mri
pet
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/125430
Other languages
English (en)
French (fr)
Inventor
王书强
王鸿飞
陈卓
余雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Publication of WO2021022752A1 publication Critical patent/WO2021022752A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Definitions

  • This application belongs to the technical field of medical image processing, and particularly relates to a multi-modal three-dimensional medical image fusion method, system and electronic equipment.
  • PET Positron Emission Computed Tomography
  • CT Computer Resonance Imaging
  • PET Positron Emission Computed Tomography
  • the PET system can detect gamma rays emitted indirectly from the radioactive tracer.
  • the tracer is injected into the human body through biologically active molecules, and then computer analysis technology is used to construct a three-dimensional PET image of the tracer concentration in the human body.
  • the PET collection process poses an inevitable potential threat to human health. Investigations show that a PET scan of the brain can increase the risk of cancer by 0.04%.
  • condition-GAN conditional-based generative confrontation network
  • cGAN conditional-based generative confrontation network
  • Berkeley AI Lab scholar Phillip et al. based on cGAN, used different image styles as constraints, and realized the style transfer from image to image by optimizing the generator network through adversarial training strategies.
  • the image style transfer network based on cGAN is restricted by the task requirements.
  • the input image and output image must be paired and have the same content.
  • Zhu et al. combined the two cGANs to design a cycle-based generation confrontation network CycleGAN, and increased the penalty of the loss function, which improved the effect of image style transfer and was no longer restricted by content consistency.
  • Pan et al. designed an MRI-PET synthesis model based on 3D-CycleGAN, which achieved accurate synthesis from MRI to PET. And using synthetic PET and MRI for feature fusion for AD (Alzheimer, Alzheimer's disease) and MCI (mild cognition impairment, mild cognitive impairment) diagnosis.
  • AD Alzheimer's disease
  • MCI mild cognitive impairment
  • the existing generative confrontation model usually consists of a classification network and a discriminant network.
  • the discriminant network takes into account the tasks of sample authenticity and pattern classification. This will cause conflicts between sample generation and the convergence point of pattern classification.
  • traditional generative models cannot be used to deal with multitasking problems.
  • the existing cross-modal image synthesis method based on the conditional generation confrontation network uses the image of a given modal as the conditional constraint information without considering the label information of the sample.
  • the existing cross-modal image synthesis and classification diagnosis research is to design independent models for the two tasks and train them separately, without considering the correlation between the two in the optimization process.
  • the present application provides a multi-modal three-dimensional medical image fusion method, system and electronic equipment, which aim to solve one of the above-mentioned technical problems in the prior art at least to a certain extent.
  • a multi-modal three-dimensional medical image fusion method includes the following steps:
  • Step a construct a multi-task generative confrontation network, the multi-task generative confrontation network including a generator, a discriminator and a classifier;
  • Step b Training the multi-task generation confrontation network according to the subject's MRI image, PET image and diagnostic tag information, so that the multi-task generation confrontation network automatically learns the associated features between the MRI image and the PET image;
  • Step c Input the MRI image of the person to be inspected into the trained multi-task generating confrontation network, the generator synthesizes the corresponding PET image according to the MRI image, and inputs the MRI image of the person to be inspected and the synthesized PET image into the classifier, The classifier merges the MRI image of the person to be detected and the synthesized PET image and outputs the disease classification prediction label of the person to be detected.
  • the training of the multi-task generation confrontation network specifically includes:
  • Step b1 Construct the confrontation loss function of the multi-task generation confrontation network; the confrontation loss in the training process is represented by an improved maximum-minimum cost function:
  • (C, G, D) respectively represent the classifier, discriminator and generator
  • (x, y, z) respectively represent the MRI image, PET image and diagnostic label information
  • ⁇ ⁇ (0, 1) is a Constant, used to control the proportion of classifier and generator loss in the training process
  • E (x,y,z) ⁇ p(x,y,z) [log D(x,y,z)] represents the discriminator
  • the samples from the real data distribution are judged as real samples; Indicates that the discriminator has identified a pair of pseudo samples in the output data space of the classifier; Indicates that the discriminator recognizes the pseudo sample label pair from the generator, where G(x,z) represents the data distribution generated by the generator;
  • the convergence point of the sample distribution p c (x,y,z) of the generator is limited to p(x,y), so that the global optimum of the model satisfies the sample distribution generated by the generator G and the classifier C is the same as the real data distribution;
  • Step b3 Introduce the generator supervision loss, and use the gradient mutual information between the target image and the generated image as a similarity measure:
  • I (A, B) and G (A, B) respectively represent the gradient information and gradient difference between the generated image and the target image.
  • the technical solution adopted in the embodiment of the application further includes: in the step b, the training the multi-task generation confrontation network according to the subject's MRI image, PET image, and diagnostic tag information also includes: the generation The MRI image is used as a conditional constraint, and the random noise input of the same dimension as the target image is mapped to the PET image.
  • the discriminator determines whether the input sample distribution (x, y, z) comes from the real data distribution or the pseudo data distribution, so
  • the classifier takes the joint distribution of MRI and PET images as input and predicts its label type; in the data-driven mode, with the gradual optimization of the generator, the discriminator updates the network parameters to identify the pseudo data distribution generated by the generator ; With the optimization of the discriminator, the classifier is optimized to make the predicted disease classification and prediction label tend to be real data without being judged as fake data by the discriminator, and then reversely affect the training of the generator; through iterative adversarial training,
  • the generator learns the potential correlation features between the MRI image and the PET image, thereby synthesizing the corresponding PET image from the input MRI image, and makes the classifier extract the key feature information from the input MRI image and the PET image. Predict the corresponding disease classification prediction label.
  • the technical solution adopted in the embodiment of the application further includes: the generator adopts a U-Net network structure, which includes an encoder and a decoder with a symmetrical network structure; in the step c, the generator synthesizes corresponding MRI images
  • the PET image specifically includes: outputting the feature map of the MRI image through the feature extraction operation of the encoder multi-layer convolution; the decoder performs the multi-layer deconvolution operation on the feature map output by the encoder, and generates the feature map The feature map of the same size as the corresponding position of the encoder undergoes multiple splicing operations, and finally the target reconstructed image is output, which is the synthesized PET image.
  • the technical solution adopted in the embodiment of the present application further includes: in the step c, the classifier fused the MRI image of the subject to be detected and the synthesized PET image and then output the disease classification prediction label of the subject to be detected specifically includes:
  • the feature extraction network extracts the feature value of the MRI image, performs convolution operation on the synthesized PET image, and extracts the feature value of the PET image; splicing the feature value of the MRI image and the PET image to form the spliced feature value.
  • the fully connected layer performs fusion and high-dimensional abstraction on the spliced feature values; the fused feature information is operated by the Softmax function to obtain the corresponding disease classification prediction label.
  • a multi-modal three-dimensional medical image fusion system including:
  • Model building module used to construct a multi-task generative confrontation network, which includes a generator, a discriminator, and a classifier;
  • Model training module used to train the multi-task generation confrontation network according to the subject's MRI images, PET images and diagnostic tag information, so that the multi-task generation confrontation network can automatically learn the association between MRI images and PET images feature;
  • Model application module used to input the MRI image of the person to be inspected into a trained multi-task generation confrontation network.
  • the generator synthesizes the corresponding PET image according to the MRI image, and inputs the MRI image of the person to be inspected and the synthesized PET image A classifier, which merges the MRI image of the person to be detected and the synthesized PET image and outputs the disease classification prediction label of the person to be detected.
  • the model training module includes:
  • Loss function construction unit used to construct the confrontation loss function of the multi-task generation confrontation network; the confrontation loss in the training process is represented by an improved maximum-minimum cost function:
  • (C, G, D) respectively represent the classifier, discriminator and generator, (x, y, z) respectively represent the MRI image, PET image and diagnostic label information;
  • ⁇ ⁇ (0, 1) is a Constant, used to control the proportion of classifier and generator loss in the training process,
  • E (x,y,z) ⁇ p(x,y,z) [log D(x,y,z)] represents the discriminator
  • the samples from the real data distribution are judged as real samples; Indicates that the discriminator has identified a pair of pseudo samples in the output data space of the classifier; It means that the discriminator recognizes the pseudo-sample label pair from the generator, where x represents the MRI modal image of the sample, z represents the sample label, and G(x,z) represents the PET modal image synthesized by the conditional generation network.
  • Generator optimization unit used to introduce generator supervision loss, using the gradient mutual information between the target image and the generated image as a similarity measure:
  • I (A, B) and G (A, B) respectively represent the gradient information and gradient difference between the generated image and the target image.
  • the technical solution adopted in the embodiment of the application further includes: the model training module trains the multi-task generation confrontation network specifically: the generator uses the MRI image as a conditional constraint, and maps the random noise input of the same dimension as the target image into For PET images, the discriminator determines whether the input sample distribution (x, y, z) comes from a real data distribution or a pseudo data distribution, and the classifier takes the joint distribution of MRI images and PET images as input, and predicts its label type ; In the data-driven mode, with the gradual optimization of the generator, the discriminator updates the network parameters to identify the pseudo data distribution generated by the generator; with the optimization of the discriminator, the classifier is optimized to encourage the classification of the disease to predict the label trend Based on real data without being judged as pseudo data by the discriminator, it then acts in the reverse direction on the training of the generator; through iterative confrontation training, the generator learns the potential correlation characteristics between MRI images and PET images, thereby The input MRI images are synthesized to obtain corresponding PET images, and the classifier is
  • the technical solution adopted by the embodiment of the application further includes: the generator adopts a U-Net network structure, which includes an encoder and a decoder with a symmetric network structure; the generator synthesizing the corresponding PET image according to the MRI image specifically includes: The feature extraction operation of the encoder multi-layer convolution to output the feature map of the MRI image; the decoder performs the multi-layer deconvolution operation on the feature map output by the encoder, and the generated feature map is the same size as the corresponding position of the encoder Perform multiple stitching operations on the feature map of, and finally output the target reconstructed image, which is the synthesized PET image.
  • the technical solution adopted in the embodiment of the present application further includes: the classifier integrates the MRI image of the subject to be detected and the synthesized PET image and then outputs the disease classification prediction label of the subject to be detected. Specifically, it includes: extracting the MRI image by using a feature extraction network. Eigenvalues, and perform convolution operations on the synthesized PET images to extract the eigenvalues of the PET images; splicing the MRI images and the eigenvalues of the PET images to form the spliced characteristic values, and the fully connected layer pairs the spliced Feature values are fused and high-dimensional abstracted; the fused feature information is operated by the Softmax function to obtain the corresponding disease classification prediction label.
  • the classifier integrates the MRI image of the subject to be detected and the synthesized PET image and then outputs the disease classification prediction label of the subject to be detected. Specifically, it includes: extracting the MRI image by using a feature extraction network. Eigenvalues, and perform convolution operations on the synthesized PET
  • an electronic device including:
  • At least one processor At least one processor
  • a memory communicatively connected with the at least one processor; wherein,
  • the memory stores instructions executable by the one processor, and the instructions are executed by the at least one processor, so that the at least one processor can execute the following of the above-mentioned multi-modal three-dimensional medical image fusion method operating:
  • Step a construct a multi-task generative confrontation network, the multi-task generative confrontation network including a generator, a discriminator and a classifier;
  • Step b Training the multi-task generation confrontation network according to the subject's MRI image, PET image and diagnostic tag information, so that the multi-task generation confrontation network automatically learns the associated features between the MRI image and the PET image;
  • Step c Input the MRI image of the person to be inspected into the trained multi-task generating confrontation network, the generator synthesizes the corresponding PET image according to the MRI image, and inputs the MRI image of the person to be inspected and the synthesized PET image into the classifier, The classifier merges the MRI image of the person to be detected and the synthesized PET image and outputs the disease classification prediction label of the person to be detected.
  • the beneficial effects produced by the embodiments of the present application are: the multi-modal three-dimensional medical image fusion method, system and electronic equipment of the embodiments of the present application propose a multi-task generation confrontation model, which is based on the subject's lesion location Synthesize the pattern image in the PET image from the MRI image, and fuse the real MRI image and the synthesized PET image to obtain more key features for classification and diagnosis, and classify the disease types according to the key features.
  • this application has at least the following beneficial effects:
  • the trained generative model learns the associated features of MRI and PET imaging, and can synthesize the corresponding PET from the MRI of the examinee.
  • the classification model fuses the characteristic information of MRI and synthetic PET to classify and diagnose diseases, avoiding the high cost of PET collection At the same time as the risk of radiation exposure, functional imaging features are effectively integrated, which can achieve higher classification accuracy.
  • This application considers the joint distribution of the three attributes of MRI, PET, and diagnostic tags.
  • the model can extract richer correlation feature information between multimodal imaging and classification diagnosis, and improve image generation errors and classification diagnosis performance. Through the cumulative training of a large number of cases, the accuracy and robustness of the prediction model are gradually improved.
  • the multi-task generative confrontation network proposed by the present invention can also be used in other collaborative optimization application scenarios.
  • FIG. 1 is a flowchart of a multi-modal three-dimensional medical image fusion method according to an embodiment of the present application
  • Figure 2 is the overall framework diagram of the multi-task generation confrontation network
  • Figure 3 is a schematic diagram of the network structure of the generator
  • Figure 4 is a schematic diagram of the network structure of the classifier
  • Figure 5 is an application flow chart of a multi-task generating confrontation network
  • FIG. 6 is a schematic structural diagram of a multi-modal three-dimensional medical image fusion system according to an embodiment of the present application.
  • FIG. 7 is a schematic diagram of the hardware device structure of the multi-modal three-dimensional medical image fusion method provided by an embodiment of the present application.
  • the multi-modal three-dimensional medical image fusion method in the embodiments of the present application proposes a multi-task generation confrontation model (Multi- Task GAN, MT-GAN), predict the pattern image in PET imaging based on the MRI image of the subject's lesion, and realize the confrontation between the cross-modal image synthesis network and the multi-modal fusion classification network in the data-driven mode Co-training, the optimized system successfully learned the potential correlation features between MRI imaging, PET imaging and disease diagnosis, and solved the conflict problem between the generation network and the discrimination network convergence point in the traditional generative confrontation model.
  • Multi- Task GAN MT-GAN
  • This application integrates multi-source medical imaging features without the need for PET collection by the examinee, which can more accurately assist doctors in clinical diagnosis.
  • the following examples are based on MRI and PET imaging of Alzheimer’s disease as an example, but the scope of application of this application is not limited to diseases of Alzheimer’s disease and MRI-PET imaging. It can also be widely used in CT-PET, MRI-CT and other modal images of other diseases.
  • FIG. 1 is a flowchart of a multi-modal three-dimensional medical image fusion method according to an embodiment of the present application.
  • the multi-modal three-dimensional medical image fusion method of the embodiment of the present application includes the following steps:
  • Step 100 Collect MRI images and PET images of the subject, and preprocess the collected MRI images and PET images to obtain a data set for training the model;
  • step 100 the acquisition of MRI images and PET images is specifically: selecting Alzheimer's disease (AD) to be tested, mild cognitive impairment (MCI) to be tested, and normal elderly (Normal) as the recipients.
  • the examinee collects the MRI image and PET image of his brain as the original data set, and in the clinical observation and diagnosis of each subject, a professional physician will give the diagnosis information, and use the diagnosis information as the Diagnostic label information.
  • the preprocessing of the original data set is specifically: using FSL, SPM and other technologies to perform redundant tissue removal and image correction processing on the collected brain MRI and PET, and use FSL brain image processing tools to perform linear registration operations on MRI and PET images. Make the anatomical points of MRI and PET images in the diagnostic sense reach the same spatial position.
  • Step 200 Construct a multi-task generating confrontation network
  • the multi-task generation confrontation network framework is shown in FIG. 2.
  • the multi-task generation confrontation network needs to consider the three attributes of MRI image, PET image and diagnostic label information of each subject to be detected. It includes classifier C, generator G, and discriminator D.
  • Generator G is used to pass real MRI images Synthesize the corresponding PET images;
  • the discriminator D is used to determine whether the data pattern distribution comes from the real data or the pseudo sample distribution;
  • the classifier C is used to fuse the MRI image and the synthesized PET image to output the disease classification prediction label of the subject .
  • the network structure of the generator is shown in FIG. 3.
  • the generator adopts the U-Net network structure, and the U-Net model is designed based on a jump-connected full convolutional network.
  • the main idea is to design an encoder and decoder with a symmetric network structure to have the same number and size of feature maps , And combine the corresponding feature maps of the encoder and the decoder through skip connection, which can retain the feature information in the down-sampling process to the maximum extent, thereby improving the efficiency of feature expression.
  • MRI images and PET images come from the same sample and share a large amount of primary feature information between them. Therefore, the U-net model is very suitable for complex feature mapping between the two modal images.
  • the generator synthesizes the corresponding PET image with real MRI image samples as follows:
  • the decoder reconstructs the feature map output by the encoder; first, the 1024 feature maps output by the encoder are deconvolved to generate 512 2 ⁇ 2 ⁇ 2 feature maps, which correspond to the encoder Feature maps of the same size at the same location are stitched together. After 6 layers of deconvolution operation and splicing operation in turn, the final output is the target reconstructed image of 128 ⁇ 128 ⁇ 128 size, which is the synthesized PET image.
  • the classifier in the embodiment of the present application selects a relatively simple multi-modal fusion classification network, and its structure is shown in FIG. 4.
  • the processing flow of the multi-modal image data by the classifier is:
  • the feature extraction network is used to extract the feature information of the MRI image; first, the two convolutional layers of the 2 ⁇ 2 ⁇ 2 size convolution kernel are used to extract the primary features of the image to generate 32 feature maps, and then a layer of window size is 2 The ⁇ 2 ⁇ 2 pooling layer reduces the dimensionality of the feature map. Subsequently, a 3 ⁇ 3 ⁇ 3 size convolution kernel is used to extract advanced features.
  • the third and fourth convolution layers use 64 convolution kernels respectively, and the extracted features are pooled and reduced in dimension, and then 128 convolution kernels are used for Higher-dimensional feature extraction.
  • the integrated fusion feature information is operated by the Softmax function to obtain the corresponding label prediction type (that is, the probability of the predicted image data corresponding to the disease level).
  • Step 300 Train the multi-task generation confrontation network according to the subject's MRI image, PET image and diagnostic tag information;
  • step 300 the training process of the multi-task generating confrontation network includes the following steps:
  • Step 301 Construct the model's anti-loss function
  • the adversarial loss of the training process can be represented by an improved minimax cost function:
  • ⁇ (0,1) is a constant, which is used to control the proportion of classifier and generator loss in the training process, that is, the relative importance in the confrontation training task.
  • E (x,y,z) ⁇ p(x,y,z) [log D(x,y,z)] means that the discriminator judges the samples from the real data distribution as real samples; Indicates that the discriminator has identified a pair of pseudo samples in the output data space of the classifier; It means that the discriminator recognizes the pseudo-sample label pair from the generator, where x represents the MRI modal image of the sample, z represents the sample label, and G(x,z) represents the PET modal image synthesized by the conditional generation network.
  • the multi-task generating confrontation network's confrontation loss function is constructed.
  • the equilibrium of the adversarial game shows that when one of the generator G and the classifier C reaches the optimum, the other also approaches the optimum.
  • Step 303 Introduce generator supervision loss
  • I (A, B) and G (A, B) respectively represent the gradient information and gradient difference between the generated image and the target image.
  • Step 304 Divide the data set of 900 subjects into a training set and a test set, train the multi-task generation confrontation network through the training set, and test the performance of the multi-task generation confrontation network through the test set;
  • step 304 there are 700 sample data in the training set, and 200 sample data in the test set.
  • the specific training process of the model is as follows: In the data-driven mode, as the generator G is gradually optimized, the discriminator D needs to update the network parameters to identify the pseudo data distribution generated by the generator G; as the discriminator D optimizes the incentive classification
  • the device C is optimized so that the predicted disease classification prediction label tends to be real data without being judged as fake data by the discriminator D, and then acts on the training of the generator G in reverse.
  • the generator G and the classifier C are optimized in the confrontation training, and in the process of the three confrontation games, the classifier and the generator are better than the independent training. Performance.
  • Step 400 Input the MRI image of the person to be detected into the trained multi-task generating confrontation network, and the multi-task generating confrontation network outputs the disease classification prediction label of the person to be detected;
  • step 400 after the confrontation training, the generator G learns the potential correlation features between the MRI image and the PET image, and can more accurately synthesize the corresponding PET image from the input MRI image.
  • the parameters of the classifier are also optimized, and key feature information can be extracted from the input MRI images and PET images, and the corresponding disease classification prediction labels can be predicted based on the features.
  • the application process of the multi-task generating confrontation network specifically includes the following steps:
  • Step 401 Collect MRI images of the person to be tested
  • Step 402 Input the MRI image into the trained generator for synthesis, and the generator synthesizes the corresponding PET image according to the MRI image;
  • Step 403 Input the MRI image and the synthesized PET image into the trained classifier, and the classifier outputs the disease classification prediction label of the person to be detected.
  • FIG. 6 is a schematic structural diagram of a multi-modal three-dimensional medical image fusion system according to an embodiment of the present application.
  • the multi-modal three-dimensional medical image fusion system of the embodiment of the present application includes a data acquisition module, a model construction module, a model training module, and a model application module.
  • Data acquisition module used to acquire MRI images and PET images of subjects, and preprocess the acquired MRI images and PET images to obtain a data set for training the model; among them, the acquisition of MRI images and PET images is specifically: Select 300 people each for Alzheimer's disease (AD) to be tested, mild cognitive impairment (MCI) to be tested, and normal elderly (Normal) as subjects, and collect MRI and PET images of their brains As the original data set, and in the clinical observation and diagnosis of each subject, professional physicians will give diagnostic information, and use the diagnostic information as the diagnostic label information of each subject.
  • AD Alzheimer's disease
  • MCI mild cognitive impairment
  • Normal normal elderly
  • the preprocessing of MRI and PET images is specifically: using FSL, SPM and other technologies to perform redundant tissue removal and image correction processing on the collected brain MRI and PET, and use FSL brain image processing tools to linearly register MRI and PET images Operation to make the anatomical points of MRI and PET images in the diagnostic sense reach the same spatial position.
  • Model building module used to build a multi-task generative confrontation network; among them, the multi-task generative confrontation network includes a classifier C, a generator G, and a discriminator D.
  • the generator G is used to synthesize corresponding PET images from real MRI images;
  • the device D is used to determine whether the data pattern distribution comes from real data or a pseudo sample distribution;
  • the classifier C is used to fuse the MRI image and the synthesized PET image to output the disease classification prediction label of the subject to be detected.
  • the generator adopts the U-Net network structure.
  • the U-Net model is designed based on a jump-connected full convolutional network.
  • the main idea is to design an encoder and a decoder with a symmetric network structure to have the same
  • the number and size of feature maps, and the corresponding feature maps of the encoder and decoder are combined through skip connection, which can retain the feature information in the downsampling process to the maximum extent, thereby improving the efficiency of feature expression.
  • MRI images and PET images come from the same sample and share a large amount of primary feature information between them. Therefore, the U-net model is very suitable for complex feature mapping between the two modal images.
  • the generator synthesizes the corresponding PET image with real MRI image samples as follows:
  • the decoder reconstructs the feature map output by the encoder; first, the 1024 feature maps output by the encoder are deconvolved to generate 512 2 ⁇ 2 ⁇ 2 feature maps, which correspond to the encoder Feature maps of the same size at the same location are stitched together. After 6 layers of deconvolution operation and splicing operation in turn, the final output is the target reconstructed image of 128 ⁇ 128 ⁇ 128 size, which is the synthesized PET image.
  • the classifier in this embodiment of the application selects a relatively simple multi-modal fusion classification network, and the classifier processes the multi-modal image data as follows:
  • Extract the feature information of the MRI image first use the two convolutional layers of the 2 ⁇ 2 ⁇ 2 size convolution kernel to extract the primary features of the image to generate 32 feature maps, and then use a layer of window size of 2 ⁇ 2 ⁇ 2
  • the pooling layer reduces the dimensionality of the feature map.
  • a 3 ⁇ 3 ⁇ 3 size convolution kernel is used to extract advanced features.
  • the third and fourth convolution layers use 64 convolution kernels respectively, and the extracted features are pooled and reduced in dimension, and then 128 convolution kernels are used for Higher-dimensional feature extraction.
  • the integrated fusion feature information is operated by the Softmax function to obtain the corresponding label prediction type (that is, the probability of the predicted image data corresponding to the disease level).
  • Model training module used to train the multi-task generation confrontation network based on the subject’s MRI images, PET images and diagnostic tag information; the model training module includes:
  • Loss function construction unit used to construct the model's adversarial loss function; in the actual application process of the model, the MRI data of each person to be tested needs to be collected, so the prediction process of the generator and the classifier are respectively the following conditional distributions:
  • the adversarial loss of the training process can be represented by an improved minimax cost function:
  • ⁇ (0,1) is a constant, which is used to control the proportion of classifier and generator loss in the training process, that is, the relative importance in the confrontation training task.
  • E (x,y,z) ⁇ p(x,y,z) [log D(x,y,z)] means that the discriminator judges the samples from the real data distribution as real samples; Indicates that the discriminator has identified a pair of pseudo samples in the output data space of the classifier; As a result, the multi-task generating confrontation network's confrontation loss function is constructed.
  • the equilibrium of the adversarial game shows that when one of the generator G and the classifier C reaches the optimum, the other also approaches the optimum.
  • Generator optimization unit used to introduce generator supervision loss; in generator training, in addition to the need to generate samples to make the discriminator difficult to identify from the loss function design, it is also necessary to ensure that the generated samples are as similar as possible to the target image.
  • This application uses the gradient mutual information between the target image and the generated image as a similarity measure:
  • I(A,B) and G(A,B) respectively represent the gradient information and gradient difference between the generated image and the target image.
  • Model training unit used to divide the data set of 900 subjects into a training set and a test set, train the multi-task generating confrontation network through the training set, and test the performance of the multi-task generating confrontation network through the test set; ,
  • the sample data in the training set is 700, and the sample data in the test set is 200.
  • the specific training process of the model is as follows: In the data-driven mode, as the generator G is gradually optimized, the discriminator D needs to update the network parameters to identify the pseudo data distribution generated by the generator G; as the discriminator D optimizes the incentive classification
  • the device C is optimized so that the predicted disease classification prediction label tends to be real data without being judged as fake data by the discriminator D, and then acts on the training of the generator G in reverse.
  • the generator G and the classifier C are optimized in the confrontation training, and in the process of the three confrontation games, the classifier and the generator are better than the independent training. Performance.
  • Model application module used to input the MRI image of the person to be detected into the trained multi-task generation confrontation network, and the multi-task generation confrontation network outputs the disease classification prediction label of the person to be detected; after the confrontation training, the generator G learns the MRI image
  • the potential associated features with PET images can be more accurately synthesized from the input MRI images to obtain the corresponding PET images.
  • the parameters of the classifier are also optimized, and key feature information can be extracted from the input MRI images and PET images, and the corresponding disease classification prediction labels can be predicted based on the features.
  • the application process of the multi-task generation confrontation network is specifically: collecting the MRI image of the person to be detected, inputting the MRI image into the trained generator for synthesis, and the generator synthesizing the corresponding PET image according to the MRI image; combining the MRI image with The synthesized PET image is input to the trained classifier, and the classifier outputs the disease classification prediction label of the person to be detected.
  • FIG. 7 is a schematic diagram of the hardware device structure of the multi-modal three-dimensional medical image fusion method provided by an embodiment of the present application.
  • the device includes one or more processors and memory. Taking a processor as an example, the device may also include: an input system and an output system.
  • the processor, the memory, the input system, and the output system may be connected by a bus or in other ways.
  • the connection by a bus is taken as an example.
  • the memory can be used to store non-transitory software programs, non-transitory computer executable programs, and modules.
  • the processor executes various functional applications and data processing of the electronic device by running non-transitory software programs, instructions, and modules stored in the memory, that is, realizing the processing methods of the foregoing method embodiments.
  • the memory may include a program storage area and a data storage area, where the program storage area can store an operating system and an application program required by at least one function; the data storage area can store data and the like.
  • the memory may include a high-speed random access memory, and may also include a non-transitory memory, such as at least one magnetic disk storage device, a flash memory device, or other non-transitory solid state storage devices.
  • the storage may optionally include storage remotely arranged with respect to the processor, and these remote storages may be connected to the processing system through a network. Examples of the aforementioned networks include, but are not limited to, the Internet, corporate intranets, local area networks, mobile communication networks, and combinations thereof.
  • the input system can receive input digital or character information, and generate signal input.
  • the output system may include display devices such as a display screen.
  • the one or more modules are stored in the memory, and when executed by the one or more processors, the following operations of any of the foregoing method embodiments are performed:
  • Step a construct a multi-task generative confrontation network, the multi-task generative confrontation network including a generator, a discriminator and a classifier;
  • Step b Training the multi-task generating confrontation network according to the subject's MRI image, PET image and diagnostic tag information, so that the multi-task generating confrontation network automatically learns the associated features between the MRI image and the PET image;
  • Step c Input the MRI image of the person to be inspected into the trained multi-task generating confrontation network, the generator synthesizes the corresponding PET image according to the MRI image, and inputs the MRI image of the person to be inspected and the synthesized PET image into the classifier, The classifier merges the MRI image of the person to be detected and the synthesized PET image and outputs the disease classification prediction label of the person to be detected.
  • the embodiments of the present application provide a non-transitory (non-volatile) computer storage medium, the computer storage medium stores computer executable instructions, and the computer executable instructions can perform the following operations:
  • Step a construct a multi-task generative confrontation network, the multi-task generative confrontation network including a generator, a discriminator and a classifier;
  • Step b Training the multi-task generation confrontation network according to the subject's MRI image, PET image and diagnostic tag information, so that the multi-task generation confrontation network automatically learns the associated features between the MRI image and the PET image;
  • Step c Input the MRI image of the person to be inspected into the trained multi-task generating confrontation network, the generator synthesizes the corresponding PET image according to the MRI image, and inputs the MRI image of the person to be inspected and the synthesized PET image into the classifier, The classifier merges the MRI image of the person to be detected and the synthesized PET image and outputs the disease classification prediction label of the person to be detected.
  • the embodiment of the present application provides a computer program product, the computer program product includes a computer program stored on a non-transitory computer-readable storage medium, the computer program includes program instructions, when the program instructions are executed by a computer To make the computer do the following:
  • Step a construct a multi-task generative confrontation network, the multi-task generative confrontation network including a generator, a discriminator and a classifier;
  • Step b Training the multi-task generation confrontation network according to the subject's MRI image, PET image and diagnostic tag information, so that the multi-task generation confrontation network automatically learns the associated features between the MRI image and the PET image;
  • Step c Input the MRI image of the person to be inspected into the trained multi-task generating confrontation network, the generator synthesizes the corresponding PET image according to the MRI image, and inputs the MRI image of the person to be inspected and the synthesized PET image into the classifier, The classifier merges the MRI image of the person to be detected and the synthesized PET image and outputs the disease classification prediction label of the person to be detected.
  • the multi-modal three-dimensional medical image fusion method, system and electronic equipment of the embodiments of the present application propose a multi-task generation confrontation model, which synthesizes the pattern image in the PET image according to the MRI image of the subject’s lesion, and merges it After real MRI images and synthetic PET images, more key features for classification and diagnosis are obtained, and disease types are classified according to the key features.
  • this application has at least the following beneficial effects:
  • the trained generative model learns the associated features of MRI and PET imaging, and can synthesize the corresponding PET from the MRI of the examinee.
  • the classification model fuses the characteristic information of MRI and synthetic PET to classify and diagnose diseases, avoiding the high cost of PET collection At the same time as the risk of radiation exposure, functional imaging features are effectively integrated, which can achieve higher classification accuracy.
  • This application considers the joint distribution of the three attributes of MRI, PET, and diagnostic tags.
  • the model can extract richer associated feature information between multimodal imaging and classification diagnosis, and improve image generation errors and classification diagnosis performance. Through the cumulative training of a large number of cases, the accuracy and robustness of the prediction model are gradually improved.
  • the multi-task generative confrontation network proposed by the present invention can also be used in other collaborative optimization application scenarios.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Nuclear Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

一种多模态三维医学影像融合方法、系统及电子设备。包括：构建多任务生成对抗网络，所述多任务生成对抗网络包括生成器、判别器和分类器；根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练；将待检测者的MRI影像输入训练好的多任务生成对抗网络，生成器根据MRI影像合成对应的PET影像，并将待检测者的MRI影像与合成的PET影像输入分类器，所述将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签。该方法解决了传统生成对抗网络在兼顾生成器和分类器性能时可能出现的损失函数收敛点的冲突问题，可以使生成器和分类器同时达到最优。

Description

一种多模态三维医学影像融合方法、系统及电子设备 技术领域
本申请属于医学影像处理技术领域，特别涉及一种多模态三维医学影像融合方法、系统及电子设备。
背景技术
与MRI(Magnetic Resonance Imaging，磁共振成像)、CT(Computed Tomography，电子计算机断层扫描)等影像不同，PET(Positron Emission Computed Tomography，正电子发射型计算机断层显像)是一种对人体代谢过程进行体内观察的功能性成像技术，已逐渐广泛用于临床诊断和早期干预。具体而言，PET系统可以检测从放射性示踪剂间接发射的伽马射线，首先将示踪剂通过生物活性分子注入人体，然后利用计算机分析技术构建人体内示踪剂浓度的三维PET影像。PET的采集过程对人体健康造成不可避免的潜在威胁，调查显示，一次脑部PET扫描可以使患癌风险增加0.04％。虽然这个数字很小，但是在治疗过程中的反复扫描可以使患癌风险成倍增加。由于结构性影像MRI和功能性影像PET具有互补性，因此融合两种模态的影像数据可以获取更多用于分类诊断的关键特征，多模态融合的方法是当前提升辅助诊断模型性能的有效方法之一。但由于PET数据采集昂贵，样本量不够充足，很难获取足够的数据量训练模型。
生成式对抗网络最早由LanGoodfellow等人于2014年提出，继而引领了GAN改进和应用研究的热潮。2016年，Salimans等人对GAN训练和应用过程中出现的问题进行了理论分析和解释，并给出了经验性的解决方案(Improved-GAN)。Odena等人对GAN网络进行改进并应用于半监督学习中，利用无标签的数据和对抗训练策略提升分类器性能。当GAN用于图像生成时， 通常面临生成图像语义难以控制和无法保证图像多样性的问题。为此，Mehdi等人设计了基于条件控制的生成式对抗网络(conditional-GAN，cGAN)，可以将数据标签或多模态属性作为条件变量，用于指导图像的生成。伯克利AI实验室学者Phillip等人在cGAN的基础上，将图像的不同风格作为约束条件，通过对抗训练策略优化生成器网络实现了由图像到图像的风格迁移。但是，基于cGAN的图像风格迁移网络受到任务要求的限制，输入图像和输出图像必须是成对的且内容一致。Zhu等人将两个cGAN组合设计了循环式生成对抗网络CycleGAN，并增加了损失函数的惩罚相，提升了图像风格迁移的效果且不再受内容一致性的限制。
Wang等人借鉴cGAN的基本框架并采用U-Net结构作为生成器网络，实现了由低计量造影剂采集的PET生成高质量PET影像。并提出了一种递进式的生成网络架构，逐级提高合成影像的质量，这项研究对于降低PET成像成本和对人体的潜在辐射威胁具有重要意义。Nie等人融合cGAN网络和FCN实现了脑部MRI到CT影像的合成。针对腹腔部位医学影像空间复杂度高、合成误差大等问题，Hiasa等人设计了基于CycleGAN的跨模态影像合成方法，实现了由MRI到CT的迁移，降低了合成影像与真实影像之间的误差。最近，Pan等人设计了基于3D-CycleGAN的MRI-PET合成模型，实现了由MRI到PET的精准合成。并利用合成的PET和MRI进行特征融合用于AD(Alzheimer，阿尔兹海默症)和MCI(mild cognition impairment，轻度认知功能损害)诊断。
然而，现有的生成对抗模型通常由分类网络和判别网络组成，在处理分类问题时判别网络同时兼顾样本真伪判别和模式分类的任务。这样会造成样本生成和模式分类收敛点的冲突问题，换言之，传统的生成模型无法用于处理多任务问题。同时，现有的基于条件生成对抗网络的跨模态影像合成方法是以给定 模态的影像作为条件约束信息，而没有考虑样本的标签信息。另外，现有的跨模态影像合成和分类诊断研究是对两个任务设计独立的模型并分别训练，没有考虑二者在优化过程中的关联性。
发明内容
本申请提供了一种多模态三维医学影像融合方法、系统及电子设备，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题，本申请提供了如下技术方案：
一种多模态三维医学影像融合方法，包括以下步骤：
步骤a：构建多任务生成对抗网络，所述多任务生成对抗网络包括生成器、判别器和分类器；
步骤b：根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练，使所述多任务生成对抗网络自动学习MRI影像和PET影像之间的关联特征；
步骤c：将待检测者的MRI影像输入训练好的多任务生成对抗网络，所述生成器根据MRI影像合成对应的PET影像，并将待检测者的MRI影像与合成的PET影像输入分类器，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签。
本申请实施例采取的技术方案还包括：在所述步骤b中，所述对多任务生成对抗网络进行训练具体包括：
步骤b1：构建所述多任务生成对抗网络的对抗损失函数；训练过程的对抗损失用改进的极大极小代价函数进行表示：
Figure PCTCN2019125430-appb-000001
上述公式中，(C,G,D)分别表示分类器、判别器和生成器，(x,y,z)分别表示MRI影像、PET影像和诊断标签信息；α∈(0,1)是一个常量，用于控制分类器和生成器损失在训练过程中所占比重，E (x,y,z)～p(x,y,z)[log D(x,y,z)]表示判别器将来自于真实数据分布中的样本判定为真实样本；
Figure PCTCN2019125430-appb-000002
Figure PCTCN2019125430-appb-000003
表示判别器识别出有分类器输出数据空间中的伪样本对；
Figure PCTCN2019125430-appb-000004
表示判别器将自生成器的伪样本标签对识别出来，其中G(x,z)表示生成器产生的数据分布；
步骤b2：对分类器引入监督学习下的交叉熵损失K c＝E (x,y,z)～p(x,y,z)[-log p c(x,y,z)]，将分类器的样本分布p c(x,y,z)的收敛点限定在p(x,y)附近，使模型的全局最优满足生成器G和分类器C产生的样本分布与真实数据分布相同；
步骤b3：引入生成器监督损失，利用目标图像与生成图像之间的梯度互信息作为相似性度量：
K g＝NI(A,B)＝G(A,B)·I(A,B)
Figure PCTCN2019125430-appb-000005
Figure PCTCN2019125430-appb-000006
上述公式中，I(A,B)和G(A,B)分别表示生成图像与目标图像之间的梯度信息和梯度差值。
本申请实施例采取的技术方案还包括：在所述步骤b中，所述根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练还包括：所述生成器以MRI影像作为条件约束，将与目标图像同样维度的随机噪声输入映射为PET影像，所述判别器判定输入的样本分布(x,y,z)来自于真实数据分布还是伪数据分布，所述分类器以MRI影像和PET影像的联合分布作为输入，并预测其标签类型；在数据驱动模式下，随着生成器的逐渐优化，判别器更新网络参数以识别出生成器产生的伪数据分布；随着判别器的优化激励分类器优化使其预测的疾病分类预测标签趋向于真实数据而不会被判别器判定为伪数据，继而反向作用于生成器的训练；通过迭代对抗训练，使得所述生成器学习到MRI影像与PET影像之间的潜在关联特征，从而由输入的MRI影像合成得到相应的PET影像，并使得所述分类器从输入的MRI影像和PET影像提取关键特征信息并预测对应的疾病分类预测标签。
本申请实施例采取的技术方案还包括：所述生成器采用U-Net网络结构，其包括网络结构对称的编码器和解码器；在所述步骤c中，所述生成器根据MRI影像合成对应的PET影像具体包括：通过编码器多层卷积的特征提取运算，输出MRI影像的特征图；所述解码器对编码器输出的特征图进行多层反卷积运算，并将产生的特征图与编码器对应位置相同大小的特征图进行多次拼接操作，最终输出目标重构图像，即为合成的PET影像。
本申请实施例采取的技术方案还包括：在所述步骤c中，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签具体包括：采用特征提取网络提取MRI影像的特征值，并对合成的PET影像进行卷积运算，提取PET影像的特征值；将所述MRI影像和PET影像的特征值进行拼接，组成拼接后的特征值，由全连接层对拼接后的特征值进行融合 和高维抽象；将融合后的特征信息经过Softmax函数运算得到对应的疾病分类预测标签。
本申请实施例采取的另一技术方案为：一种多模态三维医学影像融合系统，包括：
模型构建模块：用于构建多任务生成对抗网络，所述多任务生成对抗网络包括生成器、判别器和分类器；
模型训练模块：用于根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练，使所述多任务生成对抗网络自动学习MRI影像和PET影像之间的关联特征；
模型应用模块：用于将待检测者的MRI影像输入训练好的多任务生成对抗网络，所述生成器根据MRI影像合成对应的PET影像，并将待检测者的MRI影像与合成的PET影像输入分类器，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签。
本申请实施例采取的技术方案还包括：所述模型训练模块包括：
损失函数构建单元：用于构建所述多任务生成对抗网络的对抗损失函数；训练过程的对抗损失用改进的极大极小代价函数进行表示：
Figure PCTCN2019125430-appb-000007
上述公式中，(C,G,D)分别表示分类器、判别器和生成器，(x,y,z)分别表示MRI影像、PET影像和诊断标签信息；α∈(0,1)是一个常量，用于控制分类器和生成器损失在训练过程中所占比重，E (x,y,z)～p(x,y,z)[log D(x,y,z)]表示判别器 将来自于真实数据分布中的样本判定为真实样本；
Figure PCTCN2019125430-appb-000008
Figure PCTCN2019125430-appb-000009
表示判别器识别出有分类器输出数据空间中的伪样本对；
Figure PCTCN2019125430-appb-000010
表示判别器将自生成器的伪样本标签对识别出来，其中x表示受试样本的MRI模态影像，z表示样本标签，G(x,z)表示条件生成网络合成的PET模态影像。
分类器优化单元：用于对分类器引入监督学习下的交叉熵损失K c＝E (x,y,z)～p(x,y,z)[-log p c(x,y,z)]，将分类器的样本分布p c(x,y,z)的收敛点限定在p(x,y)附近，使模型的全局最优满足生成器G和分类器C产生的样本分布与真实数据分布相同；
生成器优化单元：用于引入生成器监督损失，利用目标图像与生成图像之间的梯度互信息作为相似性度量：
K g＝NI(A,B)＝G(A,B)·I(A,B)
Figure PCTCN2019125430-appb-000011
Figure PCTCN2019125430-appb-000012
上述公式中，I(A,B)和G(A,B)分别表示生成图像与目标图像之间的梯度信息和梯度差值。
本申请实施例采取的技术方案还包括：所述模型训练模块对多任务生成对抗网络进行训练具体为：所述生成器以MRI影像作为条件约束，将与目标图像同样维度的随机噪声输入映射为PET影像，所述判别器判定输入的样本分布(x,y,z)来自于真实数据分布还是伪数据分布，所述分类器以MRI影像和PET影像的联合分布作为输入，并预测其标签类型；在数据驱动模式下，随着生成器的逐渐优化，判别器更新网络参数以识别出生成器产生的伪数据分布；随着 判别器的优化激励分类器优化使其预测的疾病分类预测标签趋向于真实数据而不会被判别器判定为伪数据，继而反向作用于生成器的训练；通过迭代对抗训练，使得所述生成器学习到MRI影像与PET影像之间的潜在关联特征，从而由输入的MRI影像合成得到相应的PET影像，并使得所述分类器从输入的MRI影像和PET影像提取关键特征信息并预测对应的疾病分类预测标签。
本申请实施例采取的技术方案还包括：所述生成器采用U-Net网络结构，其包括网络结构对称的编码器和解码器；所述生成器根据MRI影像合成对应的PET影像具体包括：通过编码器多层卷积的特征提取运算，输出MRI影像的特征图；所述解码器对编码器输出的特征图进行多层反卷积运算，并将产生的特征图与编码器对应位置相同大小的特征图进行多次拼接操作，最终输出目标重构图像，即为合成的PET影像。
本申请实施例采取的技术方案还包括：所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签具体包括：采用特征提取网络提取MRI影像的特征值，并对合成的PET影像进行卷积运算，提取PET影像的特征值；将所述MRI影像和PET影像的特征值进行拼接，组成拼接后的特征值，由全连接层对拼接后的特征值进行融合和高维抽象；将融合后的特征信息经过Softmax函数运算得到对应的疾病分类预测标签。
本申请实施例采取的又一技术方案为：一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的多模态三维医学影像融合方法的以下操作：
步骤a：构建多任务生成对抗网络，所述多任务生成对抗网络包括生成器、判别器和分类器；
步骤b：根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练，使所述多任务生成对抗网络自动学习MRI影像和PET影像之间的关联特征；
步骤c：将待检测者的MRI影像输入训练好的多任务生成对抗网络，所述生成器根据MRI影像合成对应的PET影像，并将待检测者的MRI影像与合成的PET影像输入分类器，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的多模态三维医学影像融合方法、系统及电子设备提出了一种多任务生成对抗模型，根据受试者病灶部位的MRI影像合成得到其在PET影像中的模式图像，并融合真实的MRI影像与合成的PET影像后获取更多用于分类诊断的关键特征，根据关键特征对疾病类型进行分类。相对于现有技术，本申请至少具有以下有益效果：
1、通过设置单独的判别器，其唯一作用是识别数据分布的真伪，解决了传统生成对抗网络在兼顾生成器和分类器性能时可能出现的损失函数收敛点的冲突问题，可以使生成器和分类器同时达到最优。
2、可实现跨模态影像合成模型和多模态融合分类模型的一步式协同训练，可以实现更优的训练效果。训练好的生成模型学习到MRI与PET成像的关联特征，可由待检测者的MRI合成其相应的PET，分类模型融合MRI与合成PET的特征信息进行疾病类型的分类诊断，避免了PET采集高昂成本和辐射暴露风险的同时，有效融合了功能性成像特征，可以实现更高的分类精度。
3、本申请考虑了MRI、PET和诊断标签三种属性的联合分布，模型可以提取到多模态成像和分类诊断之间更丰富的关联特征信息，提升图像生成误差和分类诊断性能。通过大量病例的累积训练，逐步提高预测模型的准确率和鲁棒性。
4、本发明所提出的多任务生成对抗网络也可用于其他协同优化的应用场景。
附图说明
图1是本申请实施例的多模态三维医学影像融合方法的流程图；
图2是多任务生成对抗网络总体框架图；
图3是生成器的网络结构示意图；
图4是分类器的网络结构示意图；
图5是多任务生成对抗网络的应用流程图；
图6是本申请实施例的多模态三维医学影像融合系统的结构示意图；
图7是本申请实施例提供的多模态三维医学影像融合方法的硬件设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
针对多模态影像在临床诊断中的互补性和PET采集过程中的高成本及辐射暴露风险，本申请实施例的多模态三维医学影像融合方法提出了一种多任务生成对抗模型(Multi-Task GAN，MT-GAN)，根据受试者病灶部位的MRI影 像预测出其在PET成像中的模式图像，在数据驱动模式下，实现跨模态影像合成网络和多模态融合分类网络的对抗协同训练，优化后的系统成功地学习到了MRI成像、PET成像和疾病诊断之间的潜在关联特征，解决了传统生成对抗模型中生成网络和判别网络收敛点的冲突问题。本申请在无需待检测者进行PET采集的情况下融合了多源医学影像特征，可以更加精准地辅助医生进行临床诊断。为了清楚说明本申请的具体实施方案，以下实施例基于MRI和PET影像的阿尔茨海默症为例进行阐释，但本申请的应用范围并不仅限于病种阿尔茨海默症和MRI-PET影像，也可以广泛应用于其他疾病的CT-PET、MRI-CT等其他模态影像。
请参阅图1，是本申请实施例的多模态三维医学影像融合方法的流程图。本申请实施例的多模态三维医学影像融合方法包括以下步骤：
步骤100：采集受试者的MRI影像和PET影像，并对采集的MRI影像和PET影像进行预处理，得到用于训练模型的数据集；
步骤100中，采集MRI影像和PET影像具体为：分别选择阿尔茨海默症(AD)待检测者、轻度认知障碍(MCI)待检测者和正常老年人(Normal)各300位作为受试者，采集其脑部的MRI影像和PET影像作为原始数据集，并在每位受试者的临床观察和诊断中，由专业医师给出诊断信息，将诊断信息作为每位受试者的诊断标签信息。
原始数据集预处理具体为：采用FSL、SPM等技术对采集的脑部MRI和PET进行冗余组织剔除和图像校正处理，并利用FSL脑图像处理工具对MRI和PET影像进行线性配准操作，使MRI和PET影像在诊断意义上的解剖点达到空间位置的一致。
步骤200：构建多任务生成对抗网络；
步骤200中，多任务生成对抗网络框架如图2所示。多任务生成对抗网络需要考虑每个待检测者的MRI影像、PET影像和诊断标签信息三种属性，其包括分类器C、生成器G和判别器D，生成器G用于通过真实的MRI影像合成对应的PET影像；判别器D用于判定数据模式分布是来自于真实数据还是伪样本分布；分类器C用于将MRI影像和合成的PET影像进行融合后输出待检测者的疾病分类预测标签。将MRI影像、PET影像和诊断标签信息分别标记为(x,y,z)，则在多任务生成对抗网络中共包含真实数据分布p true(x,y,z)、生成器的样本分布p G(x,y g,z)和分类器的样本分布p c(x,y,z l)三种数据分布。生成器以MRI影像作为条件约束，将与目标图像同样维度的随机噪声输入映射为PET影像，实现p G(x,y g,z)＝p true(x,y,z)的条件特征映射；分类器则以MRI影像和PET影像的联合分布作为输入，预测其标签类型，实现p c(x,y,z l)＝p true(x,y,z)的条件特征映射；判别器则根据输入的样本分布(x,y,z)判定其是否来自于真实数据分布，实质是一个二分类问题。
本申请实施例中，生成器的网络结构如图3所示。生成器采用U-Net网络结构，U-Net模型基于跳跃式连接的全卷积网络而设计，其主要思路是设计网络结构对称的编码器和解码器，使其具有相同数量和大小的特征图，并通过跳跃式连接将编码器和解码器的对应特征图相结合，可以最大限度保留降采样过程中的特征信息，从而提高特征表达的效率。MRI影像和PET影像来自于同一样本，它们之间共享大量的初级特征信息，因此U-net模型很适合用于两种模态影像之间的复杂特征映射。
基于上述U-Net网络结构，生成器通过真实的MRI影像样本合成对应的PET影像的方式具体为：
(1)通过编码器提取MRI影像的特征信息；以样本128×128×128大小的MRI影像作为输入，经过64个2×2×2大小卷积核的特征提取运算，在三个维度上滑动步长为2，输出64个大小为64×64×64的特征图。然后利用128个2×2×2大小的卷积核对其进行卷积运算，产生128个32×32×32大小的特征图。以此类推，依次经过编码器6层卷积的特征提取运算，输出1024个特征图。
(2)解码器对编码器输出的特征图进行重构；首先，对编码器输出的1024个特征图进行反卷积运算，产生512个2×2×2的特征图，并与编码器对应位置相同大小的特征图进行拼接。依次经过6层反卷积运算和拼接操作，最终输出128×128×128大小的目标重构图像，即为合成的PET影像。
为了降低模型的运算复杂度、提高网络的协同训练效率，本申请实施例中的分类器选择了一种相对简单的多模态融合分类网络，其结构如图4所示。分类器对多模态影像数据的处理流程为：
(1)采用特征提取网络提取MRI影像的特征信息；首先利用2×2×2大小卷积核的两个卷积层提取影像的初级特征产生32个特征图，再利用一层窗口大小为2×2×2的池化层对特征图进行降维。随后采用3×3×3大小的卷积核提取高级特征，第三和第四个卷积层分别采用64个卷积核，提取到的特征池化降维，之后采用128个卷积核进行更高维特征提取。
(2)采用同样结构的特征提取网络对PET影像进行卷积运算，产生128个特征值。
(3)将从MRI影像和PET影像提取到的特征值进行拼接，组成256个特征值，由包含54个节点的全连接层对两种模态的特征信息进行融合和高维抽象。
(4)将整合后的融合特征信息经过Softmax函数运算得到对应的标签预测类型(即预测影像数据对应疾病等级的概率)。
步骤300：根据受试者的MRI影像、PET影像和诊断标签信息对多任务生成对抗网络进行训练；
步骤300中，多任务生成对抗网络的训练过程包括以下步骤：
步骤301：构建模型的对抗损失函数；
在模型的实际应用过程中，需对每个待检测者的MRI数据进行采集，因此生成器和分类器的预测过程分别为如下条件分布：
p g(x,y g)＝p(y|x)p(x)  (1)
p c(x,y,z)＝p[z|(x,y)]p(x,y)  (2)
训练过程的对抗损失可以用改进的极大极小代价函数进行表示：
Figure PCTCN2019125430-appb-000013
公式(3)中，α∈(0,1)是一个常量，用于控制分类器和生成器损失在训练过程中所占比重，即在对抗训练任务中的相对重要性。E (x,y,z)～p(x,y,z)[log D(x,y,z)]表示判别器将来自于真实数据分布中的样本判定为真实样本；
Figure PCTCN2019125430-appb-000014
表示判别器识别出有分类器输出数据空间中的伪样本对；
Figure PCTCN2019125430-appb-000015
表示判别器将自生成器的伪样本标签对识别出来，其中x表示受试样本的MRI模态影像，z表示样本标签，G(x,z)表示条件生成网络合成的PET模态影像。由此构建了多任务生成对抗网络的对抗损失函数。
步骤302：引入分类器监督损失；由一般对抗生成网络的优化原理可知， 模型当且仅当p(x,y,z)＝(1-α)p g(x,y g,z)+αp c(x,y,z)时达到纳什均衡。对抗博弈的均衡表明，当生成器G和分类器C中的其中一个达到最优时，另一个也趋近于最优。但事实上，模型的全局最优应当满足生成器G和分类器C产生的样本分布与真实数据分布相同，即p(x,y,z)＝p g(x,y,z)＝p c(x,y,z)。但上述损失函数的解是p(x,y,z)＝(1-α)p g(x,y,z)+αp c(x,y,z)的子集，无法保证p(x,y,z)＝p g(x,y,z)＝p c(x,y,z)。因此，本申请通过在训练中对分类器引入监督学习下的交叉熵损失K c＝E (x,y,z)～p(x,y,z)[-logp c(x,y,z)]，从而将p c(x,y,z)的收敛点限定在p(x,y)附近，继而保证损失函数的解是全局最优解。
步骤303：引入生成器监督损失；
在生成器训练中，从损失函数设计上除了需要生成样本让判别器难以识别，还要保证生成样本与目标图像尽可能相似。本申请利用目标图像与生成图像之间的梯度互信息作为相似性度量：
K g＝NI(A,B)＝G(A,B)·I(A,B)  (4)
Figure PCTCN2019125430-appb-000016
Figure PCTCN2019125430-appb-000017
上述公式中，I(A,B)和G(A,B)分别表示生成图像与目标图像之间的梯度信息和梯度差值。
综上所述，本申请所提出的多任务生成对抗网络的目标函数为：
Figure PCTCN2019125430-appb-000018
步骤304：将900个受试者的数据集划分训练集和测试集，通过训练集对多任务生成对抗网络进行训练，并通过测试集对多任务生成对抗网络的性能进 行测试；
步骤304中，训练集中的样本数据为700个，测试集中样本数据为200个。模型的训练过程具体为：在数据驱动模式下，随着生成器G的逐渐优化，判别器D需更新网络参数以识别出生成器G产生的伪数据分布；随着判别器D的优化激励分类器C优化使其预测的疾病分类预测标签趋向于真实数据而不会被判别器D判定为伪数据，继而反向作用于生成器G的训练。通过如此对多任务生成对抗网络进行迭代训练，使得生成器G和分类器C在对抗训练中达到最优，且在三者的对抗博弈过程中，使得分类器和生成器取得比单独训练更好的性能。
步骤400：将待检测者的MRI影像输入训练好的多任务生成对抗网络，多任务生成对抗网络输出待检测者的疾病分类预测标签；
步骤400中，通过对抗训练后，生成器G学习到了MRI影像与PET影像之间的潜在关联特征，可以更加准确地由输入的MRI影像合成得到相应的PET影像。分类器的参数也实现最优化，可以从输入的MRI影像和PET影像提取关键特征信息并基于该特征预测对应的疾病分类预测标签。
具体请一并参阅图5，多任务生成对抗网络的应用流程具体包括以下步骤：
步骤401：采集待检测者的MRI影像；
步骤402：将MRI影像输入训练好的生成器中进行合成，生成器根据MRI影像合成对应的PET影像；
步骤403：将MRI影像与合成的PET影像输入到训练好的分类器中，分类器输出待检测者的疾病分类预测标签。
请参阅图6，是本申请实施例的多模态三维医学影像融合系统的结构示意图。本申请实施例的多模态三维医学影像融合系统包括数据采集模块、模型构 建模块、模型训练模块和模型应用模块。
数据采集模块：用于采集受试者的MRI影像和PET影像，并对采集的MRI影像和PET影像进行预处理，得到用于训练模型的数据集；其中，采集MRI影像和PET影像具体为：分别选择阿尔茨海默症(AD)待检测者、轻度认知障碍(MCI)待检测者和正常老年人(Normal)各300位作为受试者，采集其脑部的MRI影像和PET影像作为原始数据集，并在每位受试者的临床观察和诊断中，由专业医师给出诊断信息，将诊断信息作为每位受试者的诊断标签信息。
MRI影像和PET影像预处理具体为：采用FSL、SPM等技术对采集的脑部MRI和PET进行冗余组织剔除和图像校正处理，并利用FSL脑图像处理工具对MRI和PET影像进行线性配准操作，使MRI和PET影像在诊断意义上的解剖点达到空间位置的一致。
模型构建模块：用于构建多任务生成对抗网络；其中，多任务生成对抗网络包括分类器C、生成器G和判别器D，生成器G用于通过真实的MRI影像合成对应的PET影像；判别器D用于判定数据模式分布是来自于真实数据还是伪样本分布；分类器C用于将MRI影像和合成的PET影像进行融合后输出待检测者的疾病分类预测标签。将MRI影像、PET影像和诊断标签信息分别标记为(x,y,z)，则在多任务生成对抗网络中共包含真实数据分布p true(x,y,z)、生成器的样本分布p G(x,y g,z)和分类器的样本分布p c(x,y,z l)三种数据分布。生成器以MRI影像作为条件约束，将与目标图像同样维度的随机噪声输入映射为PET影像，实现p G(x,y g,z)＝p true(x,y,z)的条件特征映射；分类器则以MRI影像和PET影像的联合分布作为输入，预测其标签类型，实现p c(x,y,z l)＝p true(x,y,z) 的条件特征映射；判别器则根据输入的样本分布(x,y,z)判定其是否来自于真实数据分布，实质是一个二分类问题。
本申请实施例中，生成器采用U-Net网络结构，U-Net模型基于跳跃式连接的全卷积网络而设计，其主要思路是设计网络结构对称的编码器和解码器，使其具有相同数量和大小的特征图，并通过跳跃式连接将编码器和解码器的对应特征图相结合，可以最大限度保留降采样过程中的特征信息，从而提高特征表达的效率。MRI影像和PET影像来自于同一样本，它们之间共享大量的初级特征信息，因此U-net模型很适合用于两种模态影像之间的复杂特征映射。
基于上述U-Net网络结构，生成器通过真实的MRI影像样本合成对应的PET影像的方式具体为：
(1)通过编码器提取MRI影像的特征信息；以样本128×128×128大小的MRI影像作为输入，经过64个2×2×2大小卷积核的特征提取运算，在三个维度上滑动步长为2，输出64个大小为64×64×64的特征图。然后利用128个2×2×2大小的卷积核对其进行卷积运算，产生128个32×32×32大小的特征图。以此类推，依次经过编码器6层卷积的特征提取运算，输出1024个特征图。
(2)解码器对编码器输出的特征图进行重构；首先，对编码器输出的1024个特征图进行反卷积运算，产生512个2×2×2的特征图，并与编码器对应位置相同大小的特征图进行拼接。依次经过6层反卷积运算和拼接操作，最终输出128×128×128大小的目标重构图像，即为合成的PET影像。
为了降低模型的运算复杂度、提高网络的协同训练效率，本申请实施例中的分类器选择了一种相对简单的多模态融合分类网络，分类器对多模态影像数据的处理流程为：
(1)提取MRI影像的特征信息；首先利用2×2×2大小卷积核的两个卷积层提取影像的初级特征产生32个特征图，再利用一层窗口大小为2×2×2的池化层对特征图进行降维。随后采用3×3×3大小的卷积核提取高级特征，第三和第四个卷积层分别采用64个卷积核，提取到的特征池化降维，之后采用128个卷积核进行更高维特征提取。
(2)采用同样结构的特征提取网络对PET影像进行卷积运算，产生128个特征值。
(3)将从MRI影像和PET影像提取到的特征值进行拼接，组成256个特征值，由包含54个节点的全连接层对两种模态的特征信息进行融合和高维抽象。
(4)将整合后的融合特征信息经过Softmax函数运算得到对应的标签预测类型(即预测影像数据对应疾病等级的概率)。
模型训练模块：用于根据受试者的MRI影像、PET影像和诊断标签信息对多任务生成对抗网络进行训练；模型训练模块包括：
损失函数构建单元：用于构建模型的对抗损失函数；在模型的实际应用过程中，需对每个待检测者的MRI数据进行采集，因此生成器和分类器的预测过程分别为如下条件分布：
p g(x,y g)＝p(y|x)p(x)  (1)
p c(x,y,z)＝p[z|(x,y)]p(x,y)  (2)
训练过程的对抗损失可以用改进的极大极小代价函数进行表示：
Figure PCTCN2019125430-appb-000019
公式(3)中，α∈(0,1)是一个常量，用于控制分类器和生成器损失在训 练过程中所占比重，即在对抗训练任务中的相对重要性。E (x,y,z)～p(x,y,z)[log D(x,y,z)]表示判别器将来自于真实数据分布中的样本判定为真实样本；
Figure PCTCN2019125430-appb-000020
表示判别器识别出有分类器输出数据空间中的伪样本对；
Figure PCTCN2019125430-appb-000021
由此构建了多任务生成对抗网络的对抗损失函数。
分类器优化单元：用于引入分类器监督损失；由一般对抗生成网络的优化原理可知，模型当且仅当p(x,y,z)＝(1-α)p g(x,y g,z)+αp c(x,y,z)时达到纳什均衡。对抗博弈的均衡表明，当生成器G和分类器C中的其中一个达到最优时，另一个也趋近于最优。但事实上，模型的全局最优应当满足生成器G和分类器C产生的样本分布与真实数据分布相同，即p(x,y,z)＝p g(x,y,z)＝p c(x,y,z)。但上述损失函数的解是p(x,y,z)＝(1-α)p g(x,y,z)+αp c(x,y,z)的子集，无法保证p(x,y,z)＝p g(x,y,z)＝p c(x,y,z)。因此，本申请通过在训练中对分类器引入监督学习下的交叉熵损失K c＝E (x,y,z)～p(x,y,z)[-log p c(x,y,z)]，从而将p c(x,y,z)的收敛点限定在p(x,y)附近，继而保证损失函数的解是全局最优解。
生成器优化单元：用于引入生成器监督损失；在生成器训练中，从损失函数设计上除了需要生成样本让判别器难以识别，还要保证生成样本与目标图像尽可能相似。本申请利用目标图像与生成图像之间的梯度互信息作为相似性度量：
K g＝NI(A,B)＝G(A,B)·I(A,B)  (4)
Figure PCTCN2019125430-appb-000022
Figure PCTCN2019125430-appb-000023
上述公式中，I(A,B)和G(A,B)分别表示生成图像与目标图像之间的梯度信 息和梯度差值。
综上所述，本申请所提出的多任务生成对抗网络的目标函数为：
Figure PCTCN2019125430-appb-000024
模型训练单元：用于将900个受试者的数据集划分训练集和测试集，通过训练集对多任务生成对抗网络进行训练，并通过测试集对多任务生成对抗网络的性能进行测试；其中，训练集中的样本数据为700个，测试集中样本数据为200个。模型的训练过程具体为：在数据驱动模式下，随着生成器G的逐渐优化，判别器D需更新网络参数以识别出生成器G产生的伪数据分布；随着判别器D的优化激励分类器C优化使其预测的疾病分类预测标签趋向于真实数据而不会被判别器D判定为伪数据，继而反向作用于生成器G的训练。通过如此对多任务生成对抗网络进行迭代训练，使得生成器G和分类器C在对抗训练中达到最优，且在三者的对抗博弈过程中，使得分类器和生成器取得比单独训练更好的性能。
模型应用模块：用于将待检测者的MRI影像输入训练好的多任务生成对抗网络，多任务生成对抗网络输出待检测者的疾病分类预测标签；通过对抗训练后，生成器G学习到了MRI影像与PET影像之间的潜在关联特征，可以更加准确地由输入的MRI影像合成得到相应的PET影像。分类器的参数也实现最优化，可以从输入的MRI影像和PET影像提取关键特征信息并基于该特征预测对应的疾病分类预测标签。
具体的，多任务生成对抗网络的应用过程具体为：采集待检测者的MRI影像，将MRI影像输入训练好的生成器中进行合成，生成器根据MRI影像合 成对应的PET影像；将MRI影像与合成的PET影像输入到训练好的分类器中，分类器输出待检测者的疾病分类预测标签。
图7是本申请实施例提供的多模态三维医学影像融合方法的硬件设备结构示意图。如图7所示，该设备包括一个或多个处理器以及存储器。以一个处理器为例，该设备还可以包括：输入系统和输出系统。
处理器、存储器、输入系统和输出系统可以通过总线或者其他方式连接，图7中以通过总线连接为例。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例的处理方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入系统可接收输入的数字或字符信息，以及产生信号输入。输出系统可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任一方法实施例的以下操作：
步骤a：构建多任务生成对抗网络，所述多任务生成对抗网络包括生成器、判别器和分类器；
步骤b：根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务 生成对抗网络进行训练，使所述多任务生成对抗网络自动学习MRI影像和PET影像之间的关联特征；
步骤c：将待检测者的MRI影像输入训练好的多任务生成对抗网络，所述生成器根据MRI影像合成对应的PET影像，并将待检测者的MRI影像与合成的PET影像输入分类器，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例提供的方法。
本申请实施例提供了一种非暂态(非易失性)计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行以下操作：
步骤a：构建多任务生成对抗网络，所述多任务生成对抗网络包括生成器、判别器和分类器；
步骤b：根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练，使所述多任务生成对抗网络自动学习MRI影像和PET影像之间的关联特征；
步骤c：将待检测者的MRI影像输入训练好的多任务生成对抗网络，所述生成器根据MRI影像合成对应的PET影像，并将待检测者的MRI影像与合成的PET影像输入分类器，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签。
本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行以下操作：
步骤a：构建多任务生成对抗网络，所述多任务生成对抗网络包括生成器、判别器和分类器；
步骤b：根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练，使所述多任务生成对抗网络自动学习MRI影像和PET影像之间的关联特征；
步骤c：将待检测者的MRI影像输入训练好的多任务生成对抗网络，所述生成器根据MRI影像合成对应的PET影像，并将待检测者的MRI影像与合成的PET影像输入分类器，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签。
本申请实施例的多模态三维医学影像融合方法、系统及电子设备提出了一种多任务生成对抗模型，根据受试者病灶部位的MRI影像合成得到其在PET影像中的模式图像，并融合真实的MRI影像与合成的PET影像后获取更多用于分类诊断的关键特征，根据关键特征对疾病类型进行分类。相对于现有技术，本申请至少具有以下有益效果：
1、通过设置单独的判别器，其唯一作用是识别数据分布的真伪，解决了传统生成对抗网络在兼顾生成器和分类器性能时可能出现的损失函数收敛点的冲突问题，可以使生成器和分类器同时达到最优。
2、可实现跨模态影像合成模型和多模态融合分类模型的一步式协同训练，可以实现更优的训练效果。训练好的生成模型学习到MRI与PET成像的关联特征，可由待检测者的MRI合成其相应的PET，分类模型融合MRI与合成PET的特征信息进行疾病类型的分类诊断，避免了PET采集高昂成本和辐射暴露风险的同时，有效融合了功能性成像特征，可以实现更高的分类精度。
3、本申请考虑了MRI、PET和诊断标签三种属性的联合分布，模型可以 提取到多模态成像和分类诊断之间更丰富的关联特征信息，提升图像生成误差和分类诊断性能。通过大量病例的累积训练，逐步提高预测模型的准确率和鲁棒性。
4、本发明所提出的多任务生成对抗网络也可用于其他协同优化的应用场景。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

  1. 一种多模态三维医学影像融合方法，其特征在于，包括以下步骤：
    步骤a：构建多任务生成对抗网络，所述多任务生成对抗网络包括生成器、判别器和分类器；
    步骤b：根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练，使所述多任务生成对抗网络自动学习MRI影像和PET影像之间的关联特征；
    步骤c：将待检测者的MRI影像输入训练好的多任务生成对抗网络，所述生成器根据MRI影像合成对应的PET影像，并将待检测者的MRI影像与合成的PET影像输入分类器，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签。
  2. 根据权利要求1所述的多模态三维医学影像融合方法，其特征在于，在所述步骤b中，所述对多任务生成对抗网络进行训练具体包括：
    步骤b1：构建所述多任务生成对抗网络的对抗损失函数；训练过程的对抗损失用改进的极大极小代价函数进行表示：
    Figure PCTCN2019125430-appb-100001
    上述公式中，(C,G,D)分别表示分类器、判别器和生成器，(x,y,z)分别表示MRI影像、PET影像和诊断标签信息；α∈(0,1)是一个常量，用于控制分类器和生成器损失在训练过程中所占比重，E (x,y,z)～p(x,y,z)[logD(x,y,z)]表示判别器将来自于真实数据分布中的样本判定为真实样本；
    Figure PCTCN2019125430-appb-100002
    表示判别器识别出有分类器输出数据空间中的伪样本对；
    Figure PCTCN2019125430-appb-100003
    表示判别器将自生成器的伪样本标签对识别出来，其中x表示受试样本的MRI模态影像，z表示样本标签，G(x,z)表示条件生成网络合成的PET模态影像；
    步骤b2：对分类器引入监督学习下的交叉熵损失K c＝E (x,y,z)～p(x,y,z)[-log p c(x,y,z)]，将分类器的样本分布p c(x,y,z)的收敛点限定在p(x,y)附近，使模型的全局最优满足生成器G和分类器C产生的样本分布与真实数据分布相同；
    步骤b3：引入生成器监督损失，利用目标图像与生成图像之间的梯度互信息作为相似性度量：
    K g＝NI(A,B)＝G(A,B)·I(A,B)
    Figure PCTCN2019125430-appb-100004
    Figure PCTCN2019125430-appb-100005
    上述公式中，I(A,B)和G(A,B)分别表示生成图像与目标图像之间的梯度信息和梯度差值。
  3. 根据权利要求2所述的多模态三维医学影像融合方法，其特征在于，在所述步骤b中，所述根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练还包括：所述生成器以MRI影像作为条件约束，将与目标图像同样维度的随机噪声输入映射为PET影像，所述判别器判定输入的样本分布(x,y,z)来自于真实数据分布还是伪数据分布，所述分类器以MRI影像和PET影像的联合分布作为输入，并预测其标签类型；在数据驱动模式下，随着生成器的逐渐优化，判别器更新网络参数以识别出生成器产生的伪数据分布； 随着判别器的优化激励分类器优化使其预测的疾病分类预测标签趋向于真实数据而不会被判别器判定为伪数据，继而反向作用于生成器的训练；通过迭代对抗训练，使得所述生成器学习到MRI影像与PET影像之间的潜在关联特征，从而由输入的MRI影像合成得到相应的PET影像，并使得所述分类器从输入的MRI影像和PET影像提取关键特征信息并预测对应的疾病分类预测标签。
  4. 根据权利要求1至3任一项所述的多模态三维医学影像融合方法，其特征在于，所述生成器采用U-Net网络结构，其包括网络结构对称的编码器和解码器；在所述步骤c中，所述生成器根据MRI影像合成对应的PET影像具体包括：通过编码器多层卷积的特征提取运算，输出MRI影像的特征图；所述解码器对编码器输出的特征图进行多层反卷积运算，并将产生的特征图与编码器对应位置相同大小的特征图进行多次拼接操作，最终输出目标重构图像，即为合成的PET影像。
  5. 根据权利要求4所述的多模态三维医学影像融合方法，其特征在于，在所述步骤c中，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签具体包括：采用特征提取网络提取MRI影像的特征值，并对合成的PET影像进行卷积运算，提取PET影像的特征值；将所述MRI影像和PET影像的特征值进行拼接，组成拼接后的特征值，由全连接层对拼接后的特征值进行融合和高维抽象；将融合后的特征信息经过Softmax函数运算得到对应的疾病分类预测标签。
  6. 一种多模态三维医学影像融合系统，其特征在于，包括：
    模型构建模块：用于构建多任务生成对抗网络，所述多任务生成对抗网络包括生成器、判别器和分类器；
    模型训练模块：用于根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练，使所述多任务生成对抗网络自动学习MRI 影像和PET影像之间的关联特征；
    模型应用模块：用于将待检测者的MRI影像输入训练好的多任务生成对抗网络，所述生成器根据MRI影像合成对应的PET影像，并将待检测者的MRI影像与合成的PET影像输入分类器，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签。
  7. 根据权利要求6所述的多模态三维医学影像融合系统，其特征在于，所述模型训练模块包括：
    损失函数构建单元：用于构建所述多任务生成对抗网络的对抗损失函数；训练过程的对抗损失用改进的极大极小代价函数进行表示：
    Figure PCTCN2019125430-appb-100006
    上述公式中，(C,G,D)分别表示分类器、判别器和生成器，(x,y,z)分别表示MRI影像、PET影像和诊断标签信息；α∈(0,1)是一个常量，用于控制分类器和生成器损失在训练过程中所占比重，E (x,y,z)～p(x,y,z)[log D(x,y,z)]表示判别器将来自于真实数据分布中的样本判定为真实样本；
    Figure PCTCN2019125430-appb-100007
    表示判别器识别出有分类器输出数据空间中的伪样本对；
    Figure PCTCN2019125430-appb-100008
    表示判别器将自生成器的伪样本标签对识别出来，其中x表示受试样本的MRI模态影像，z表示样本标签，G(x,z)表示条件生成网络合成的PET模态影像；
    分类器优化单元：用于对分类器引入监督学习下的交叉熵损失K c＝E (x,y,z)～p(x,y,z)[-log p c(x,y,z)]，将分类器的样本分布p c(x,y,z)的收敛点限定在p(x,y)附近，使模型的全局最优满足生成器G和分类器C产生的样本分布与真 实数据分布相同；
    生成器优化单元：用于引入生成器监督损失，利用目标图像与生成图像之间的梯度互信息作为相似性度量：
    K g＝NI(A,B)＝G(A,B)·I(A,B)
    Figure PCTCN2019125430-appb-100009
    Figure PCTCN2019125430-appb-100010
    上述公式中，I(A,B)和G(A,B)分别表示生成图像与目标图像之间的梯度信息和梯度差值。
  8. 根据权利要求7所述的多模态三维医学影像融合系统，其特征在于，所述模型训练模块对多任务生成对抗网络进行训练具体为：所述生成器以MRI影像作为条件约束，将与目标图像同样维度的随机噪声输入映射为PET影像，所述判别器判定输入的样本分布(x,y,z)来自于真实数据分布还是伪数据分布，所述分类器以MRI影像和PET影像的联合分布作为输入，并预测其标签类型；在数据驱动模式下，随着生成器的逐渐优化，判别器更新网络参数以识别出生成器产生的伪数据分布；随着判别器的优化激励分类器优化使其预测的疾病分类预测标签趋向于真实数据而不会被判别器判定为伪数据，继而反向作用于生成器的训练；通过迭代对抗训练，使得所述生成器学习到MRI影像与PET影像之间的潜在关联特征，从而由输入的MRI影像合成得到相应的PET影像，并使得所述分类器从输入的MRI影像和PET影像提取关键特征信息并预测对应的疾病分类预测标签。
  9. 根据权利要求6至8任一项所述的多模态三维医学影像融合系统，其特征在于，所述生成器采用U-Net网络结构，其包括网络结构对称的编码器和解码器； 所述生成器根据MRI影像合成对应的PET影像具体包括：通过编码器多层卷积的特征提取运算，输出MRI影像的特征图；所述解码器对编码器输出的特征图进行多层反卷积运算，并将产生的特征图与编码器对应位置相同大小的特征图进行多次拼接操作，最终输出目标重构图像，即为合成的PET影像。
  10. 根据权利要求9所述的多模态三维医学影像融合系统，其特征在于，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签具体包括：采用特征提取网络提取MRI影像的特征值，并对合成的PET影像进行卷积运算，提取PET影像的特征值；将所述MRI影像和PET影像的特征值进行拼接，组成拼接后的特征值，由全连接层对拼接后的特征值进行融合和高维抽象；将融合后的特征信息经过Softmax函数运算得到对应的疾病分类预测标签。
  11. 一种电子设备，包括：
    至少一个处理器；以及
    与所述至少一个处理器通信连接的存储器；其中，
    所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述1至5任一项所述的多模态三维医学影像融合方法的以下操作：
    步骤a：构建多任务生成对抗网络，所述多任务生成对抗网络包括生成器、判别器和分类器；
    步骤b：根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练，使所述多任务生成对抗网络自动学习MRI影像和PET影像之间的关联特征；
    步骤c：将待检测者的MRI影像输入训练好的多任务生成对抗网络，所述 生成器根据MRI影像合成对应的PET影像，并将待检测者的MRI影像与合成的PET影像输入分类器，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签。
PCT/CN2019/125430 2019-08-07 2019-12-14 一种多模态三维医学影像融合方法、系统及电子设备 Ceased WO2021022752A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910727072.9A CN110580695B (zh) 2019-08-07 2019-08-07 一种多模态三维医学影像融合方法、系统及电子设备
CN201910727072.9 2019-08-07

Publications (1)

Publication Number Publication Date
WO2021022752A1 true WO2021022752A1 (zh) 2021-02-11

Family

ID=68810603

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/125430 Ceased WO2021022752A1 (zh) 2019-08-07 2019-12-14 一种多模态三维医学影像融合方法、系统及电子设备

Country Status (2)

Country Link
CN (1) CN110580695B (zh)
WO (1) WO2021022752A1 (zh)

Cited By (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966112A (zh) * 2021-03-25 2021-06-15 支付宝(杭州)信息技术有限公司 基于对抗学习的文本分类模型训练和文本分类方法及装置
CN113052930A (zh) * 2021-03-12 2021-06-29 北京医准智能科技有限公司 一种胸部dr双能量数字减影图像生成方法
CN113052243A (zh) * 2021-03-30 2021-06-29 浙江工业大学 基于CycleGAN和条件分布自适应的目标检测方法
CN113095038A (zh) * 2021-05-08 2021-07-09 杭州王道控股有限公司 基于多任务辨别器生成对抗网络的字体生成方法及装置
CN113223068A (zh) * 2021-05-31 2021-08-06 西安电子科技大学 一种基于深度全局特征的多模态图像配准方法及系统
CN113326731A (zh) * 2021-04-22 2021-08-31 南京大学 一种基于动量网络指导的跨域行人重识别算法
CN113470777A (zh) * 2021-06-04 2021-10-01 江苏大学 一种肿瘤辅助诊断报告生成方法、装置、电子设备、存储介质
CN113488183A (zh) * 2021-06-30 2021-10-08 南京云上数融技术有限公司 一种发热疾病多模态特征融合认知系统、设备、存储介质
CN113496482A (zh) * 2021-05-21 2021-10-12 郑州大学 一种毒驾试纸图像分割模型、定位分割方法及便携式装置
CN113538533A (zh) * 2021-06-22 2021-10-22 南方医科大学 一种脊柱配准方法、装置、设备及计算机存储介质
CN113724189A (zh) * 2021-03-17 2021-11-30 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN113887663A (zh) * 2021-10-27 2022-01-04 广州小鹏自动驾驶科技有限公司 模型训练方法、图像识别方法、装置、设备及存储介质
CN113989474A (zh) * 2021-12-09 2022-01-28 北京环境特性研究所 基于递进式层级融合网络的红外小目标智能识别方法
CN113989697A (zh) * 2021-09-24 2022-01-28 天津大学 基于多模态自监督深度对抗网络的短视频分类方法及装置
CN114022729A (zh) * 2021-10-27 2022-02-08 华中科技大学 基于孪生网络和监督训练的异源图像匹配定位方法和系统
CN114037861A (zh) * 2021-10-28 2022-02-11 南昌大学 一种基于差分图像的动脉自旋标记图像合成方法
CN114036356A (zh) * 2021-10-13 2022-02-11 中国科学院信息工程研究所 一种基于对抗生成网络流量增强的不均衡流量分类方法和系统
CN114038055A (zh) * 2021-10-27 2022-02-11 电子科技大学长三角研究院(衢州) 一种基于对比学习和生成对抗网络的图像生成方法
CN114119393A (zh) * 2021-11-09 2022-03-01 武汉大学 一种基于特征域循环一致性的半监督图像去雨方法
CN114219969A (zh) * 2021-11-30 2022-03-22 中国空间技术研究院 基于gan的语义对抗样本生成方法
CN114254559A (zh) * 2021-12-08 2022-03-29 国网上海市电力公司 一种基于策略梯度和gan的变压器故障案例生成方法
CN114266283A (zh) * 2021-09-22 2022-04-01 国网河北省电力有限公司 面向多业务应用场景的气象信息特征数据生成方法
CN114332577A (zh) * 2021-12-31 2022-04-12 福州大学 结合深度学习与影像组学的结直肠癌图像分类方法及系统
CN114332287A (zh) * 2022-03-11 2022-04-12 之江实验室 基于transformer特征共享的PET图像重建方法、装置、设备及介质
CN114359642A (zh) * 2022-01-12 2022-04-15 大连理工大学 基于一对一目标查询Transformer的多模态医学图像多器官定位方法
CN114373532A (zh) * 2021-12-31 2022-04-19 华南理工大学 基于目标感知生成对抗网络的多模态医学图像翻译方法
CN114387481A (zh) * 2021-12-30 2022-04-22 天翼物联科技有限公司 基于多源对抗策略的医学影像交叉模态合成系统及方法
CN114495239A (zh) * 2022-02-16 2022-05-13 云南大学 基于频域信息与生成对抗网络的伪造图像检测方法及系统
CN114549341A (zh) * 2022-01-11 2022-05-27 温州大学 一种基于样例引导的人脸图像多样化修复方法
CN114596467A (zh) * 2022-03-10 2022-06-07 山东大学 基于证据深度学习的多模态影像分类方法
CN114596299A (zh) * 2022-03-17 2022-06-07 江苏方天电力技术有限公司 一种电缆隧道无人机巡检样本库建立及更新方法
CN114779661A (zh) * 2022-04-22 2022-07-22 北京科技大学 基于多分类生成对抗模仿学习算法的化学合成机器人系统
CN114821157A (zh) * 2022-04-01 2022-07-29 山东大学 基于混合模型网络的多模态影像分类方法
CN114821206A (zh) * 2022-06-30 2022-07-29 山东建筑大学 基于对抗互补特征的多模态图像融合分类方法与系统
CN114821059A (zh) * 2022-04-29 2022-07-29 西安交通大学 一种基于边界增强的显著性目标检测方法及系统
CN114842258A (zh) * 2022-05-07 2022-08-02 中南大学 功能磁共振影像分类方法、系统、设备及介质
CN114882364A (zh) * 2022-05-24 2022-08-09 深圳市海清视讯科技有限公司 数据处理方法、服务器和存储介质
CN114882252A (zh) * 2022-05-20 2022-08-09 中国人民解放军国防科技大学 半监督遥感影像变化检测方法、装置和计算机设备
CN114926702A (zh) * 2022-04-16 2022-08-19 西北工业大学深圳研究院 一种基于深度注意力度量的小样本图像分类方法
CN114974518A (zh) * 2022-04-15 2022-08-30 浙江大学 多模态数据融合的肺结节影像识别方法及装置
CN114972878A (zh) * 2022-06-14 2022-08-30 云南大学 攻击无依赖的可迁移对抗样本检测方法
CN115130591A (zh) * 2022-07-01 2022-09-30 浙江大学 一种基于交叉监督的多模态数据分类方法及装置
CN115131781A (zh) * 2022-06-23 2022-09-30 北方民族大学 基于判别性特征引导的零样本三维模型分类方法
CN115170469A (zh) * 2022-05-26 2022-10-11 浙江柏视医疗科技有限公司 一种基于层间多模态特征融合的鼻咽癌坏死预测方法
CN115187467A (zh) * 2022-05-31 2022-10-14 北京昭衍新药研究中心股份有限公司 一种基于生成对抗网络的增强型虚拟图像数据生成方法
CN115272868A (zh) * 2022-08-31 2022-11-01 西安电子科技大学 一种基于深度学习的红外场景预测方法及系统
CN115272261A (zh) * 2022-08-05 2022-11-01 广州大学 一种基于深度学习的多模态医学图像融合方法
CN115375968A (zh) * 2022-08-19 2022-11-22 湖南大学 一种针对行星齿轮箱的故障诊断方法
CN115410005A (zh) * 2021-05-28 2022-11-29 天津科技大学 一种基于gan使用最大化中心模式和微小模式损失解决模式崩塌的方法
CN115409749A (zh) * 2022-08-22 2022-11-29 江苏海洋大学 一种基于三判别器生成对抗网络的pet和mri图像融合方法
CN115578370A (zh) * 2022-10-28 2023-01-06 深圳市铱硙医疗科技有限公司 一种基于脑影像的代谢区域异常检测方法及装置
CN115588487A (zh) * 2022-11-07 2023-01-10 重庆邮电大学 一种基于联邦学习和生成对抗网络的医学图像数据集制作方法
US20230031910A1 (en) * 2020-12-09 2023-02-02 Shenzhen Institutes Of Advanced Technology Apriori guidance network for multitask medical image synthesis
CN115861690A (zh) * 2022-11-23 2023-03-28 深圳大学 一种脑图像分类方法、分类装置、设备及存储介质
CN115859175A (zh) * 2023-02-16 2023-03-28 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于跨模态生成式学习的液压减震器设备异常检测方法
CN115909134A (zh) * 2022-10-25 2023-04-04 西北工业大学 一种多模态感知流可控的云边端协同助听推理方法
CN115935275A (zh) * 2022-10-08 2023-04-07 武汉科技大学 基于双重对抗自编码的永磁推进电机故障数据扩张方法
CN115984622A (zh) * 2023-01-10 2023-04-18 深圳大学 基于多模态和多示例学习分类方法、预测方法及相关装置
CN116051905A (zh) * 2023-02-16 2023-05-02 武汉大学 基于超声和红外多模态图像的甲状腺结节图像分类方法
CN116205847A (zh) * 2022-12-08 2023-06-02 广东珠江开关有限公司 一种基于双模型的三模态医学图像融合方法及系统
CN116205855A (zh) * 2023-01-10 2023-06-02 复旦大学 基于对抗学习的大脑年龄估计方法
CN116383744A (zh) * 2023-03-28 2023-07-04 西安电子科技大学 基于流量图像与低频信息的多模态加密网络流量分类方法
CN116415652A (zh) * 2023-03-29 2023-07-11 深圳市优必选科技股份有限公司 一种数据生成方法、装置、可读存储介质及终端设备
CN116503668A (zh) * 2023-05-18 2023-07-28 西安交通大学 一种基于小样本元学习的医学影像分类方法
CN116524248A (zh) * 2023-04-17 2023-08-01 首都医科大学附属北京友谊医院 医学数据处理装置、方法及分类模型训练装置
CN116524295A (zh) * 2023-04-17 2023-08-01 上海联影智能医疗科技有限公司 一种图像处理方法、装置、设备及可读存储介质
CN116596815A (zh) * 2023-05-09 2023-08-15 天津师范大学 一种基于多阶段对齐网络的图像拼接方法
CN116645632A (zh) * 2023-05-30 2023-08-25 深圳大学 一种超声智能分析方法、系统、电子设备及存储介质
CN116664472A (zh) * 2022-02-18 2023-08-29 富士通株式会社 图像分割方法、装置和存储介质
CN116883995A (zh) * 2023-07-07 2023-10-13 广东食品药品职业学院 一种乳腺癌分子亚型的识别系统
CN117150018A (zh) * 2023-09-13 2023-12-01 哈尔滨理工大学 多视图零样本节点分类网络模型及其训练方法、设备及存储介质
CN117174240A (zh) * 2023-10-26 2023-12-05 中国科学技术大学 一种基于大模型领域迁移的医疗影像报告生成方法
CN117201693A (zh) * 2023-11-01 2023-12-08 长春汽车工业高等专科学校 一种物联网图像压缩方法、装置、终端设备及介质
CN117216557A (zh) * 2023-08-31 2023-12-12 中国银联股份有限公司 数据下发方法、装置、设备及存储介质
CN117315425A (zh) * 2023-10-12 2023-12-29 无锡市第五人民医院 一种多模态磁共振影像的融合方法及系统
CN117315376A (zh) * 2023-11-28 2023-12-29 聊城莱柯智能机器人有限公司 基于机器学习的机械零件工业质检方法
CN117408330A (zh) * 2023-12-14 2024-01-16 合肥高维数据技术有限公司 面向非独立同分布数据的联邦知识蒸馏方法及装置
CN117540489A (zh) * 2023-11-13 2024-02-09 重庆大学 一种基于多任务学习的翼型气动数据计算方法及系统
CN117765292A (zh) * 2023-12-26 2024-03-26 哈尔滨理工大学 一种基于图卷积流形正则化伪标签引导的非完备多视角遥感数据聚类方法
CN117936105A (zh) * 2024-03-25 2024-04-26 杭州安鸿科技股份有限公司 基于深度学习网络的多模态黑色素瘤免疫治疗预测方法
CN118015551A (zh) * 2024-04-09 2024-05-10 山东世融信息科技有限公司 应用于野外生态湿地的浮岛式监测系统
CN118279158A (zh) * 2024-06-03 2024-07-02 之江实验室 一种磁共振脑影像的质量提升方法、装置及计算机设备
CN118296425A (zh) * 2024-03-12 2024-07-05 宁波大学 一种应用半监督生成对抗网络的小样本信源数检测方法
CN118506132A (zh) * 2024-07-17 2024-08-16 成都师范学院 一种多任务生成对抗网络强对流天气临近预报方法及装置
CN118521827A (zh) * 2024-05-28 2024-08-20 郑州大学 基于滑动窗口注意力机制的病理组织分级方法及系统
CN118710920A (zh) * 2024-08-29 2024-09-27 阿里巴巴（中国）有限公司 图像处理方法、脂肪肝计算机辅助诊断方法、设备、系统、计算机存储介质及计算机程序产品
CN118736600A (zh) * 2024-06-18 2024-10-01 北京理工大学 一种多粒度医学文本信息指导的3d多模态融合方法
WO2024211177A1 (en) * 2023-04-03 2024-10-10 Rensselaer Polytechnic Institute Medical multimodal-multitask foundation model
CN118940115A (zh) * 2024-07-23 2024-11-12 广东电网有限责任公司 一种变压器故障检测方法、装置、设备及介质
WO2024242362A1 (ko) * 2023-05-22 2024-11-28 영남대학교 산학협력단 인공지능을 이용하여 pet-mri 융합 영상을 생성하는 방법 및 장치
CN119089272A (zh) * 2024-09-02 2024-12-06 浙江大学 面向压气机水洗智能决策的零样本性能退化评估方法
CN119202904A (zh) * 2024-11-22 2024-12-27 中国人民解放军总医院第一医学中心 一种基于多源异构数据的三维建模方法与装置
WO2025020719A1 (zh) * 2023-07-26 2025-01-30 郑州大学 基于多模态特征融合的肺结节智能分级方法及系统
CN119516323A (zh) * 2025-01-16 2025-02-25 江西中科健康体检有限公司 一种尘肺病影像的多模态识别方法及识别系统
CN119559469A (zh) * 2024-11-11 2025-03-04 重庆邮电大学 一种基于图像去噪和照度增强的多模态医学图像融合方法
CN119580006A (zh) * 2024-12-04 2025-03-07 合肥工业大学 一种基于改进DenseNet的多模态医学图像分类方法
CN119600343A (zh) * 2024-11-18 2025-03-11 北京医院 基于cv的甲状腺切除术后颈部瘢痕恢复状态预测方法和设备
CN119724579A (zh) * 2024-12-06 2025-03-28 广东工业大学 运动伤病风险检测方法、系统及运动伤病风险部位定位方法、系统
CN120047618A (zh) * 2025-01-24 2025-05-27 北京中科云影科技有限公司 一种医学影像数据的三维建模方法及系统
CN120263506A (zh) * 2025-04-23 2025-07-04 吉林师范大学 一种用于工业互联网入侵检测的Triple CGAN模型框架及其方法
CN120296528A (zh) * 2025-06-12 2025-07-11 北京理工大学 机械通气患者人机异步诊断方法、装置、设备及存储介质
CN120656620A (zh) * 2025-06-19 2025-09-16 重庆科技大学 基于物理信息深度学习的泡沫铝工艺参数优化方法
CN120713503A (zh) * 2025-08-26 2025-09-30 中国人民解放军北部战区总医院 一种用于临床护理的呼吸肺音辅助识别方法及系统
CN121544730A (zh) * 2026-01-09 2026-02-17 杭州电子科技大学 一种基于条件生成对抗网络的轨道角动量叠加态识别方法

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111090764B (zh) * 2019-12-20 2023-06-23 中南大学 基于多任务学习和图卷积神经网络的影像分类方法及装置
CN111353499B (zh) * 2020-02-24 2022-08-19 上海交通大学 多模态医学图像分割方法、系统、存储介质及电子设备
CN111383217B (zh) * 2020-03-11 2023-08-29 深圳先进技术研究院 大脑成瘾性状评估的可视化方法、装置及介质
WO2021179189A1 (zh) 2020-03-11 2021-09-16 深圳先进技术研究院 大脑成瘾性状评估的可视化方法、装置及介质
CN111640510A (zh) * 2020-04-09 2020-09-08 之江实验室 一种基于深度半监督多任务学习生存分析的疾病预后预测系统
US20230210441A1 (en) * 2020-06-01 2023-07-06 Nec Corporation Brain image analysis apparatus, control method, and computer readable medium
CN111739635A (zh) * 2020-06-10 2020-10-02 四川大学华西医院 一种用于急性缺血性卒中的诊断辅助模型及图像处理方法
CN111815030B (zh) * 2020-06-11 2024-02-06 浙江工商大学 一种基于少量问卷调查数据的多目标特征预测方法
CN111783796A (zh) * 2020-06-19 2020-10-16 哈尔滨工业大学 一种基于深度特征融合的pet/ct影像识别系统
CN112052874B (zh) * 2020-07-31 2023-11-17 山东大学 一种基于生成对抗网络的生理数据分类方法及系统
CN112085687B (zh) * 2020-09-10 2023-12-01 浙江大学 一种基于细节增强的t1到stir影像转换的方法
CN112614198A (zh) * 2020-11-23 2021-04-06 上海眼控科技股份有限公司 多模态边缘实体图像转换方法、装置、计算机设备和介质
CN112669408A (zh) * 2020-11-23 2021-04-16 上海眼控科技股份有限公司 多模态实景地图图像生成方法、装置、计算机设备和介质
CN113516615B (zh) * 2020-11-24 2024-03-01 阿里巴巴集团控股有限公司 一种样本生成方法、系统、设备及存储介质
CN112353381B (zh) * 2020-11-24 2022-06-28 杭州冉曼智能科技有限公司 基于多模态大脑影像的阿尔茨海默症综合诊断系统
CN112465058A (zh) * 2020-12-07 2021-03-09 中国计量大学 改进GoogLeNet神经网络下多模态医学图像分类方法
CN114627200A (zh) * 2020-12-10 2022-06-14 中国科学院深圳先进技术研究院 多模态医学图像生成方法和装置
CN112508775B (zh) * 2020-12-10 2024-08-20 深圳先进技术研究院 基于循环生成对抗网络的mri-pet图像模态转换方法及系统
CN112508175B (zh) * 2020-12-10 2024-09-17 深圳先进技术研究院 用于低剂量pet重建的多任务学习型生成式对抗网络生成方法及系统
WO2022120731A1 (zh) * 2020-12-10 2022-06-16 深圳先进技术研究院 基于循环生成对抗网络的mri-pet图像模态转换方法及系统
CN112700859A (zh) * 2020-12-15 2021-04-23 贵州小宝健康科技有限公司 一种基于医学影像的医疗诊断辅助方法及系统
WO2022126480A1 (zh) * 2020-12-17 2022-06-23 深圳先进技术研究院 基于Wasserstein生成对抗网络模型的高能图像合成方法、装置
CN112633378B (zh) * 2020-12-24 2022-06-28 电子科技大学 一种多模态影像胎儿胼胝体智能检测方法及系统
CN112699809B (zh) * 2020-12-31 2023-08-01 深圳数联天下智能科技有限公司 痘痘类别识别方法、装置、计算机设备及存储介质
CN112801297B (zh) * 2021-01-20 2021-11-16 哈尔滨工业大学 一种基于条件变分自编码器的机器学习模型对抗性样本生成方法
CN113298892B (zh) * 2021-04-09 2025-11-18 北京沃东天骏信息技术有限公司 一种图像编码方法和设备，及存储介质
CN113192605B (zh) * 2021-04-13 2024-06-28 复旦大学附属中山医院 医学影像的分类方法、医学影像的检索方法和装置
CN113205566A (zh) * 2021-04-23 2021-08-03 复旦大学 基于深度学习的腹部三维医学影像转换生成方法
CN113205567A (zh) * 2021-04-25 2021-08-03 复旦大学 基于深度学习的mri影像合成ct影像的方法
CN115705639B (zh) * 2021-08-11 2025-07-22 四川大学 一种基于生成对抗网络的脑部pet图像合成方法
CN113705662B (zh) * 2021-08-26 2024-08-02 中国银联股份有限公司 一种协同训练方法、装置及计算机可读存储介质
CN113724880A (zh) * 2021-11-03 2021-11-30 深圳先进技术研究院 一种异常脑连接预测系统、方法、装置及可读存储介质
CN114528679A (zh) * 2021-12-22 2022-05-24 深圳先进技术研究院 数控系统多模态故障预警方法及系统
CN114758783B (zh) * 2022-03-31 2024-07-16 大连理工大学 深度学习的弹性成像方法、装置、计算机设备和存储介质
CN114897726A (zh) * 2022-05-10 2022-08-12 中山大学 基于三维生成对抗网络的胸腔ct图像伪影去除方法与系统
CN114821014B (zh) * 2022-05-17 2024-06-21 湖南大学 基于多模态与对抗学习的多任务目标检测识别方法及装置
CN115099855B (zh) * 2022-06-23 2024-09-24 广州华多网络科技有限公司 广告文案创作模型制备方法及其装置、设备、介质、产品
CN117372796A (zh) * 2022-06-28 2024-01-09 腾讯科技（深圳）有限公司 一种训练图像分类模型的方法、装置、设备及存储介质
CN115588504A (zh) * 2022-10-28 2023-01-10 大连大学附属中山医院 一种基于分子影像成像技术的监测管理系统
CN115830163B (zh) * 2022-11-22 2025-11-21 之江实验室 基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置
WO2024113170A1 (zh) * 2022-11-29 2024-06-06 中国科学院深圳先进技术研究院 基于循环生成对抗网络的医学图像跨模态合成方法及装置
CN116433934B (zh) * 2023-02-16 2026-04-14 清华大学 一种生成ct影像表征及影像报告的多模态预训练方法
CN116309217B (zh) * 2023-02-24 2025-12-12 武汉大学 Mri合成ct影像的方法、装置、设备及可读存储介质
CN116777835A (zh) * 2023-05-09 2023-09-19 广东省人民医院 一种医学影像的生成与代谢评估方法、系统、装置及介质
CN116309591B (zh) * 2023-05-19 2023-08-25 杭州健培科技有限公司 一种医学影像3d关键点检测方法、模型训练方法及装置
CN116433795B (zh) * 2023-06-14 2023-08-29 之江实验室 基于对抗生成网络的多模态影像生成方法和装置
CN117131376B (zh) * 2023-08-31 2026-01-30 西安电子科技大学 一种基于视变换结合生成对抗网络进行持续学习的高光谱跨域鲁棒异常检测方法、系统、设备及介质
CN117218046A (zh) * 2023-09-12 2023-12-12 海南大学 基于无监督领域自适应的多模态三维脑图像融合方法
CN117115045B (zh) * 2023-10-24 2024-01-09 吉林大学 基于互联网生成式人工智能提升医学影像数据质量的方法
CN117911844A (zh) * 2024-03-20 2024-04-19 中国科学院自动化研究所 多模态医学影像标注方法及装置
CN118628372B (zh) * 2024-08-12 2024-12-06 南方医科大学珠江医院 基于条件扩散的多模偏移影像融合重建方法及相关装置
CN119919527B (zh) * 2025-04-03 2025-06-24 中南大学 一种医学图像生成方法、系统、电子设备及存储介质
CN120339228B (zh) * 2025-04-07 2025-10-28 江苏微控生物科技有限公司 一种基于ai的宫颈细胞图像分析辅助方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035356A (zh) * 2018-07-05 2018-12-18 四川大学 一种基于pet图形成像的系统及方法
WO2019051227A1 (en) * 2017-09-08 2019-03-14 The General Hospital Corporation SYSTEM AND METHOD FOR USING A MULTI-PURPOSE GRAPHICS PROCESSING UNIT (GPGPU) ARCHITECTURE FOR PROCESSING MEDICAL IMAGES
CN109523584A (zh) * 2018-10-26 2019-03-26 上海联影医疗科技有限公司 图像处理方法、装置、多模态成像系统、存储介质及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
JP7295022B2 (ja) * 2017-10-03 2023-06-20 株式会社根本杏林堂 血管抽出装置および血管抽出方法
CN108198179A (zh) * 2018-01-03 2018-06-22 华南理工大学 一种生成对抗网络改进的ct医学图像肺结节检测方法
US10482600B2 (en) * 2018-01-16 2019-11-19 Siemens Healthcare Gmbh Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks
CN109961491B (zh) * 2019-04-12 2023-05-26 上海联影医疗科技股份有限公司 多模态图像截断补偿方法、装置、计算机设备和介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019051227A1 (en) * 2017-09-08 2019-03-14 The General Hospital Corporation SYSTEM AND METHOD FOR USING A MULTI-PURPOSE GRAPHICS PROCESSING UNIT (GPGPU) ARCHITECTURE FOR PROCESSING MEDICAL IMAGES
CN109035356A (zh) * 2018-07-05 2018-12-18 四川大学 一种基于pet图形成像的系统及方法
CN109523584A (zh) * 2018-10-26 2019-03-26 上海联影医疗科技有限公司 图像处理方法、装置、多模态成像系统、存储介质及设备

Cited By (134)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230031910A1 (en) * 2020-12-09 2023-02-02 Shenzhen Institutes Of Advanced Technology Apriori guidance network for multitask medical image synthesis
US11915401B2 (en) * 2020-12-09 2024-02-27 Shenzhen Institutes Of Advanced Technology Apriori guidance network for multitask medical image synthesis
CN113052930A (zh) * 2021-03-12 2021-06-29 北京医准智能科技有限公司 一种胸部dr双能量数字减影图像生成方法
CN113724189A (zh) * 2021-03-17 2021-11-30 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN112966112B (zh) * 2021-03-25 2023-08-08 支付宝(杭州)信息技术有限公司 基于对抗学习的文本分类模型训练和文本分类方法及装置
CN112966112A (zh) * 2021-03-25 2021-06-15 支付宝(杭州)信息技术有限公司 基于对抗学习的文本分类模型训练和文本分类方法及装置
CN113052243A (zh) * 2021-03-30 2021-06-29 浙江工业大学 基于CycleGAN和条件分布自适应的目标检测方法
CN113326731A (zh) * 2021-04-22 2021-08-31 南京大学 一种基于动量网络指导的跨域行人重识别算法
CN113326731B (zh) * 2021-04-22 2024-04-19 南京大学 一种基于动量网络指导的跨域行人重识别方法
CN113095038A (zh) * 2021-05-08 2021-07-09 杭州王道控股有限公司 基于多任务辨别器生成对抗网络的字体生成方法及装置
CN113095038B (zh) * 2021-05-08 2024-04-16 杭州王道控股有限公司 基于多任务辨别器生成对抗网络的字体生成方法及装置
CN113496482B (zh) * 2021-05-21 2022-10-04 郑州大学 一种毒驾试纸图像分割模型、定位分割方法及便携式装置
CN113496482A (zh) * 2021-05-21 2021-10-12 郑州大学 一种毒驾试纸图像分割模型、定位分割方法及便携式装置
CN115410005A (zh) * 2021-05-28 2022-11-29 天津科技大学 一种基于gan使用最大化中心模式和微小模式损失解决模式崩塌的方法
CN113223068B (zh) * 2021-05-31 2024-02-02 西安电子科技大学 一种基于深度全局特征的多模态图像配准方法及系统
CN113223068A (zh) * 2021-05-31 2021-08-06 西安电子科技大学 一种基于深度全局特征的多模态图像配准方法及系统
CN113470777B (zh) * 2021-06-04 2024-04-09 江苏大学 一种肿瘤辅助诊断报告生成方法、装置、电子设备、存储介质
CN113470777A (zh) * 2021-06-04 2021-10-01 江苏大学 一种肿瘤辅助诊断报告生成方法、装置、电子设备、存储介质
CN113538533A (zh) * 2021-06-22 2021-10-22 南方医科大学 一种脊柱配准方法、装置、设备及计算机存储介质
CN113488183B (zh) * 2021-06-30 2023-10-31 吾征智能技术(北京)有限公司 一种发热疾病多模态特征融合认知系统、设备、存储介质
CN113488183A (zh) * 2021-06-30 2021-10-08 南京云上数融技术有限公司 一种发热疾病多模态特征融合认知系统、设备、存储介质
CN114266283A (zh) * 2021-09-22 2022-04-01 国网河北省电力有限公司 面向多业务应用场景的气象信息特征数据生成方法
CN113989697B (zh) * 2021-09-24 2024-06-07 天津大学 基于多模态自监督深度对抗网络的短视频分类方法及装置
CN113989697A (zh) * 2021-09-24 2022-01-28 天津大学 基于多模态自监督深度对抗网络的短视频分类方法及装置
CN114036356A (zh) * 2021-10-13 2022-02-11 中国科学院信息工程研究所 一种基于对抗生成网络流量增强的不均衡流量分类方法和系统
CN114038055A (zh) * 2021-10-27 2022-02-11 电子科技大学长三角研究院(衢州) 一种基于对比学习和生成对抗网络的图像生成方法
CN113887663A (zh) * 2021-10-27 2022-01-04 广州小鹏自动驾驶科技有限公司 模型训练方法、图像识别方法、装置、设备及存储介质
CN114022729A (zh) * 2021-10-27 2022-02-08 华中科技大学 基于孪生网络和监督训练的异源图像匹配定位方法和系统
CN114037861A (zh) * 2021-10-28 2022-02-11 南昌大学 一种基于差分图像的动脉自旋标记图像合成方法
CN114119393A (zh) * 2021-11-09 2022-03-01 武汉大学 一种基于特征域循环一致性的半监督图像去雨方法
CN114219969A (zh) * 2021-11-30 2022-03-22 中国空间技术研究院 基于gan的语义对抗样本生成方法
CN114254559A (zh) * 2021-12-08 2022-03-29 国网上海市电力公司 一种基于策略梯度和gan的变压器故障案例生成方法
CN113989474A (zh) * 2021-12-09 2022-01-28 北京环境特性研究所 基于递进式层级融合网络的红外小目标智能识别方法
CN114387481A (zh) * 2021-12-30 2022-04-22 天翼物联科技有限公司 基于多源对抗策略的医学影像交叉模态合成系统及方法
CN114387481B (zh) * 2021-12-30 2024-03-29 天翼物联科技有限公司 基于多源对抗策略的医学影像交叉模态合成系统及方法
CN114332577A (zh) * 2021-12-31 2022-04-12 福州大学 结合深度学习与影像组学的结直肠癌图像分类方法及系统
CN114373532A (zh) * 2021-12-31 2022-04-19 华南理工大学 基于目标感知生成对抗网络的多模态医学图像翻译方法
CN114549341A (zh) * 2022-01-11 2022-05-27 温州大学 一种基于样例引导的人脸图像多样化修复方法
CN114359642A (zh) * 2022-01-12 2022-04-15 大连理工大学 基于一对一目标查询Transformer的多模态医学图像多器官定位方法
CN114495239A (zh) * 2022-02-16 2022-05-13 云南大学 基于频域信息与生成对抗网络的伪造图像检测方法及系统
CN116664472A (zh) * 2022-02-18 2023-08-29 富士通株式会社 图像分割方法、装置和存储介质
CN116664472B (zh) * 2022-02-18 2026-01-27 富士通株式会社 图像分割方法、装置和存储介质
CN114596467A (zh) * 2022-03-10 2022-06-07 山东大学 基于证据深度学习的多模态影像分类方法
CN114332287A (zh) * 2022-03-11 2022-04-12 之江实验室 基于transformer特征共享的PET图像重建方法、装置、设备及介质
CN114332287B (zh) * 2022-03-11 2022-07-15 之江实验室 基于transformer特征共享的PET图像重建方法、装置、设备及介质
CN114596299A (zh) * 2022-03-17 2022-06-07 江苏方天电力技术有限公司 一种电缆隧道无人机巡检样本库建立及更新方法
CN114821157A (zh) * 2022-04-01 2022-07-29 山东大学 基于混合模型网络的多模态影像分类方法
CN114974518A (zh) * 2022-04-15 2022-08-30 浙江大学 多模态数据融合的肺结节影像识别方法及装置
CN114926702A (zh) * 2022-04-16 2022-08-19 西北工业大学深圳研究院 一种基于深度注意力度量的小样本图像分类方法
CN114926702B (zh) * 2022-04-16 2024-03-19 西北工业大学深圳研究院 一种基于深度注意力度量的小样本图像分类方法
CN114779661A (zh) * 2022-04-22 2022-07-22 北京科技大学 基于多分类生成对抗模仿学习算法的化学合成机器人系统
CN114821059A (zh) * 2022-04-29 2022-07-29 西安交通大学 一种基于边界增强的显著性目标检测方法及系统
CN114842258A (zh) * 2022-05-07 2022-08-02 中南大学 功能磁共振影像分类方法、系统、设备及介质
CN114882252A (zh) * 2022-05-20 2022-08-09 中国人民解放军国防科技大学 半监督遥感影像变化检测方法、装置和计算机设备
CN114882364A (zh) * 2022-05-24 2022-08-09 深圳市海清视讯科技有限公司 数据处理方法、服务器和存储介质
CN115170469A (zh) * 2022-05-26 2022-10-11 浙江柏视医疗科技有限公司 一种基于层间多模态特征融合的鼻咽癌坏死预测方法
CN115187467A (zh) * 2022-05-31 2022-10-14 北京昭衍新药研究中心股份有限公司 一种基于生成对抗网络的增强型虚拟图像数据生成方法
CN114972878B (zh) * 2022-06-14 2024-05-14 云南大学 攻击无依赖的可迁移对抗样本检测方法
CN114972878A (zh) * 2022-06-14 2022-08-30 云南大学 攻击无依赖的可迁移对抗样本检测方法
CN115131781A (zh) * 2022-06-23 2022-09-30 北方民族大学 基于判别性特征引导的零样本三维模型分类方法
CN114821206A (zh) * 2022-06-30 2022-07-29 山东建筑大学 基于对抗互补特征的多模态图像融合分类方法与系统
CN114821206B (zh) * 2022-06-30 2022-09-13 山东建筑大学 基于对抗互补特征的多模态图像融合分类方法与系统
CN115130591A (zh) * 2022-07-01 2022-09-30 浙江大学 一种基于交叉监督的多模态数据分类方法及装置
CN115272261A (zh) * 2022-08-05 2022-11-01 广州大学 一种基于深度学习的多模态医学图像融合方法
CN115375968A (zh) * 2022-08-19 2022-11-22 湖南大学 一种针对行星齿轮箱的故障诊断方法
CN115409749A (zh) * 2022-08-22 2022-11-29 江苏海洋大学 一种基于三判别器生成对抗网络的pet和mri图像融合方法
CN115272868A (zh) * 2022-08-31 2022-11-01 西安电子科技大学 一种基于深度学习的红外场景预测方法及系统
CN115935275A (zh) * 2022-10-08 2023-04-07 武汉科技大学 基于双重对抗自编码的永磁推进电机故障数据扩张方法
CN115909134A (zh) * 2022-10-25 2023-04-04 西北工业大学 一种多模态感知流可控的云边端协同助听推理方法
CN115578370B (zh) * 2022-10-28 2023-05-09 深圳市铱硙医疗科技有限公司 一种基于脑影像的代谢区域异常检测方法及装置
CN115578370A (zh) * 2022-10-28 2023-01-06 深圳市铱硙医疗科技有限公司 一种基于脑影像的代谢区域异常检测方法及装置
CN115588487A (zh) * 2022-11-07 2023-01-10 重庆邮电大学 一种基于联邦学习和生成对抗网络的医学图像数据集制作方法
CN115861690B (zh) * 2022-11-23 2025-11-21 深圳大学 一种脑图像分类方法、分类装置、设备及存储介质
CN115861690A (zh) * 2022-11-23 2023-03-28 深圳大学 一种脑图像分类方法、分类装置、设备及存储介质
CN116205847A (zh) * 2022-12-08 2023-06-02 广东珠江开关有限公司 一种基于双模型的三模态医学图像融合方法及系统
CN116205855A (zh) * 2023-01-10 2023-06-02 复旦大学 基于对抗学习的大脑年龄估计方法
CN115984622B (zh) * 2023-01-10 2023-12-29 深圳大学 基于多模态和多示例学习分类方法、预测方法及相关装置
CN115984622A (zh) * 2023-01-10 2023-04-18 深圳大学 基于多模态和多示例学习分类方法、预测方法及相关装置
CN115859175A (zh) * 2023-02-16 2023-03-28 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于跨模态生成式学习的液压减震器设备异常检测方法
CN116051905A (zh) * 2023-02-16 2023-05-02 武汉大学 基于超声和红外多模态图像的甲状腺结节图像分类方法
CN116383744A (zh) * 2023-03-28 2023-07-04 西安电子科技大学 基于流量图像与低频信息的多模态加密网络流量分类方法
CN116415652A (zh) * 2023-03-29 2023-07-11 深圳市优必选科技股份有限公司 一种数据生成方法、装置、可读存储介质及终端设备
WO2024211177A1 (en) * 2023-04-03 2024-10-10 Rensselaer Polytechnic Institute Medical multimodal-multitask foundation model
CN116524248A (zh) * 2023-04-17 2023-08-01 首都医科大学附属北京友谊医院 医学数据处理装置、方法及分类模型训练装置
CN116524295A (zh) * 2023-04-17 2023-08-01 上海联影智能医疗科技有限公司 一种图像处理方法、装置、设备及可读存储介质
CN116524248B (zh) * 2023-04-17 2024-02-13 首都医科大学附属北京友谊医院 医学数据处理装置、方法及分类模型训练装置
CN116596815A (zh) * 2023-05-09 2023-08-15 天津师范大学 一种基于多阶段对齐网络的图像拼接方法
CN116503668A (zh) * 2023-05-18 2023-07-28 西安交通大学 一种基于小样本元学习的医学影像分类方法
WO2024242362A1 (ko) * 2023-05-22 2024-11-28 영남대학교 산학협력단 인공지능을 이용하여 pet-mri 융합 영상을 생성하는 방법 및 장치
CN116645632A (zh) * 2023-05-30 2023-08-25 深圳大学 一种超声智能分析方法、系统、电子设备及存储介质
CN116883995A (zh) * 2023-07-07 2023-10-13 广东食品药品职业学院 一种乳腺癌分子亚型的识别系统
WO2025020719A1 (zh) * 2023-07-26 2025-01-30 郑州大学 基于多模态特征融合的肺结节智能分级方法及系统
US12502152B2 (en) 2023-07-26 2025-12-23 Zhengzhou University Intelligent grading method and system for pulmonary nodules based on multi-modal feature fusion
CN117216557A (zh) * 2023-08-31 2023-12-12 中国银联股份有限公司 数据下发方法、装置、设备及存储介质
CN117150018A (zh) * 2023-09-13 2023-12-01 哈尔滨理工大学 多视图零样本节点分类网络模型及其训练方法、设备及存储介质
CN117315425B (zh) * 2023-10-12 2024-03-26 无锡市第五人民医院 一种多模态磁共振影像的融合方法及系统
CN117315425A (zh) * 2023-10-12 2023-12-29 无锡市第五人民医院 一种多模态磁共振影像的融合方法及系统
CN117174240B (zh) * 2023-10-26 2024-02-09 中国科学技术大学 一种基于大模型领域迁移的医疗影像报告生成方法
CN117174240A (zh) * 2023-10-26 2023-12-05 中国科学技术大学 一种基于大模型领域迁移的医疗影像报告生成方法
CN117201693A (zh) * 2023-11-01 2023-12-08 长春汽车工业高等专科学校 一种物联网图像压缩方法、装置、终端设备及介质
CN117201693B (zh) * 2023-11-01 2024-01-16 长春汽车工业高等专科学校 一种物联网图像压缩方法、装置、终端设备及介质
CN117540489A (zh) * 2023-11-13 2024-02-09 重庆大学 一种基于多任务学习的翼型气动数据计算方法及系统
CN117315376B (zh) * 2023-11-28 2024-02-13 聊城莱柯智能机器人有限公司 基于机器学习的机械零件工业质检方法
CN117315376A (zh) * 2023-11-28 2023-12-29 聊城莱柯智能机器人有限公司 基于机器学习的机械零件工业质检方法
CN117408330B (zh) * 2023-12-14 2024-03-15 合肥高维数据技术有限公司 面向非独立同分布数据的联邦知识蒸馏方法及装置
CN117408330A (zh) * 2023-12-14 2024-01-16 合肥高维数据技术有限公司 面向非独立同分布数据的联邦知识蒸馏方法及装置
CN117765292A (zh) * 2023-12-26 2024-03-26 哈尔滨理工大学 一种基于图卷积流形正则化伪标签引导的非完备多视角遥感数据聚类方法
CN118296425A (zh) * 2024-03-12 2024-07-05 宁波大学 一种应用半监督生成对抗网络的小样本信源数检测方法
CN117936105A (zh) * 2024-03-25 2024-04-26 杭州安鸿科技股份有限公司 基于深度学习网络的多模态黑色素瘤免疫治疗预测方法
CN118015551A (zh) * 2024-04-09 2024-05-10 山东世融信息科技有限公司 应用于野外生态湿地的浮岛式监测系统
CN118521827A (zh) * 2024-05-28 2024-08-20 郑州大学 基于滑动窗口注意力机制的病理组织分级方法及系统
CN118279158A (zh) * 2024-06-03 2024-07-02 之江实验室 一种磁共振脑影像的质量提升方法、装置及计算机设备
CN118736600A (zh) * 2024-06-18 2024-10-01 北京理工大学 一种多粒度医学文本信息指导的3d多模态融合方法
CN118506132B (zh) * 2024-07-17 2024-10-29 成都师范学院 一种多任务生成对抗网络强对流天气临近预报方法及装置
CN118506132A (zh) * 2024-07-17 2024-08-16 成都师范学院 一种多任务生成对抗网络强对流天气临近预报方法及装置
CN118940115A (zh) * 2024-07-23 2024-11-12 广东电网有限责任公司 一种变压器故障检测方法、装置、设备及介质
WO2026045653A1 (zh) * 2024-08-29 2026-03-05 阿里巴巴（中国）有限公司 图像处理方法、脂肪肝计算机辅助诊断方法、设备、系统、计算机存储介质及计算机程序产品
CN118710920A (zh) * 2024-08-29 2024-09-27 阿里巴巴（中国）有限公司 图像处理方法、脂肪肝计算机辅助诊断方法、设备、系统、计算机存储介质及计算机程序产品
CN119089272A (zh) * 2024-09-02 2024-12-06 浙江大学 面向压气机水洗智能决策的零样本性能退化评估方法
CN119559469A (zh) * 2024-11-11 2025-03-04 重庆邮电大学 一种基于图像去噪和照度增强的多模态医学图像融合方法
CN119600343A (zh) * 2024-11-18 2025-03-11 北京医院 基于cv的甲状腺切除术后颈部瘢痕恢复状态预测方法和设备
CN119202904A (zh) * 2024-11-22 2024-12-27 中国人民解放军总医院第一医学中心 一种基于多源异构数据的三维建模方法与装置
CN119580006A (zh) * 2024-12-04 2025-03-07 合肥工业大学 一种基于改进DenseNet的多模态医学图像分类方法
CN119724579B (zh) * 2024-12-06 2025-07-25 广东工业大学 运动伤病风险检测方法、系统及运动伤病风险部位定位方法、系统
CN119724579A (zh) * 2024-12-06 2025-03-28 广东工业大学 运动伤病风险检测方法、系统及运动伤病风险部位定位方法、系统
CN119516323A (zh) * 2025-01-16 2025-02-25 江西中科健康体检有限公司 一种尘肺病影像的多模态识别方法及识别系统
CN120047618A (zh) * 2025-01-24 2025-05-27 北京中科云影科技有限公司 一种医学影像数据的三维建模方法及系统
CN120263506A (zh) * 2025-04-23 2025-07-04 吉林师范大学 一种用于工业互联网入侵检测的Triple CGAN模型框架及其方法
CN120296528A (zh) * 2025-06-12 2025-07-11 北京理工大学 机械通气患者人机异步诊断方法、装置、设备及存储介质
CN120656620A (zh) * 2025-06-19 2025-09-16 重庆科技大学 基于物理信息深度学习的泡沫铝工艺参数优化方法
CN120656620B (zh) * 2025-06-19 2026-04-03 重庆科技大学 基于物理信息深度学习的泡沫铝工艺参数优化方法
CN120713503A (zh) * 2025-08-26 2025-09-30 中国人民解放军北部战区总医院 一种用于临床护理的呼吸肺音辅助识别方法及系统
CN120713503B (zh) * 2025-08-26 2025-11-04 中国人民解放军北部战区总医院 一种用于临床护理的呼吸肺音辅助识别方法及系统
CN121544730A (zh) * 2026-01-09 2026-02-17 杭州电子科技大学 一种基于条件生成对抗网络的轨道角动量叠加态识别方法

Also Published As

Publication number Publication date
CN110580695A (zh) 2019-12-17
CN110580695B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN110580695B (zh) 一种多模态三维医学影像融合方法、系统及电子设备
CN113962311B (zh) 知识数据和人工智能驱动的眼科多病种识别系统
US12288327B2 (en) Image-driven brain atlas construction method, apparatus, device and storage medium
Karthik et al. Ensemble-based multimodal medical imaging fusion for tumor segmentation
WO2023077603A1 (zh) 一种异常脑连接预测系统、方法、装置及可读存储介质
Zeng et al. Self-supervised learning framework application for medical image analysis: a review and summary
Zhang et al. Pyramid-attentive GAN for multimodal brain image complementation in Alzheimer’s disease classification
Tejashwini et al. A novel SLCA-UNet architecture for automatic MRI brain tumor segmentation
Valizadeh et al. Deep learning approaches for early prediction of conversion from MCI to AD using MRI and clinical data: a systematic review
Dong et al. Latent feature representation learning for Alzheimer’s disease classification
Rokade et al. A blockchain-based deep learning system with optimization for skin disease classification
Kong et al. Data enhancement based on M2-Unet for liver segmentation in Computed Tomography
Aslan On the use of deep learning methods on medical images
Li et al. Identification of Mild cognitive impairment based on quadruple GCN model constructed with multiple features from higher-order brain connectivity
Tounsi et al. A comprehensive review on biomedical image classification using deep learning models
Zhang et al. Shape prior-constrained deep learning network for medical image segmentation
CN118230038A (zh) 基于影像分析的眼眶淋巴增生病分类鉴别方法及系统
Sultana et al. Seeing Through Expert's Eyes: Leveraging Radiologist Eye Gaze and Speech Report with Graph Neural Networks for Chest X-ray Image Classification
Baaklini et al. Deep learning for MRI-based acute and subacute ischaemic stroke lesion segmentation—a systematic review, meta-analysis, and pilot evaluation of key results
Huang et al. Memory-Guided Transformer with group attention for knee MRI diagnosis
Xing et al. Deformable registration network based on multi-scale features and cumulative optimization for medical image alignment
CN119831969A (zh) 基于因果特征选择的图神经网络精细化斜视诊断方法、系统、设备及介质
Mahapatra Multimodal generalized zero shot learning for gleason grading using self-supervised learning
CN117011522A (zh) 基于深度对比学习的胎儿脑mri分割方法
Jing et al. Generative AI Empower Addiction-Related Brain Circuits Detection via Graph Diffusion-Infused Adversarial Learning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19940462

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19940462

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 16/02/2023)