WO2022120661A1 - 一种用于多任务医学图像合成的先验指导型网络 - Google Patents
一种用于多任务医学图像合成的先验指导型网络 Download PDFInfo
- Publication number
- WO2022120661A1 WO2022120661A1 PCT/CN2020/135021 CN2020135021W WO2022120661A1 WO 2022120661 A1 WO2022120661 A1 WO 2022120661A1 CN 2020135021 W CN2020135021 W CN 2020135021W WO 2022120661 A1 WO2022120661 A1 WO 2022120661A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- prior
- pet
- target
- task
- Prior art date
Links
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 26
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 19
- 238000009826 distribution Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims 1
- 238000002600 positron emission tomography Methods 0.000 description 48
- 238000002591 computed tomography Methods 0.000 description 45
- 238000002595 magnetic resonance imaging Methods 0.000 description 44
- 230000006870 function Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012879 PET imaging Methods 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4046—Scaling the whole image or part thereof using neural networks
-
- G06T5/60—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Abstract
一种用于多任务医学图像合成的先验指导型网络，该网络包括生成器和判别器，其中，所述生成器包含先验指导模块，所述先验指导模块根据先验特征将输入特征图转换为指向目标域的目标模态图像，该先验特征是目标模态图像的深层特征；所述生成器以目标模态图像的先验特征和源模态图像数据作为输入，生成相应的目标域图像；所述判别器用于判断所述生成器输出的目标域图像的真伪。该网络能够基于一种模态图像，合成其他类型的多模态图像，并且改善了所生成图像的质量和稳定性，提高了网络训练效率。
Description
本发明涉及医学图像处理技术领域，更具体地，涉及一种用于多任务医学图像合成的先验指导型网络。
医学图像合成对于获得不同模态的图像具有非常重要的意义。例如，正电子发射扫描(Positronemission tomography，PET)，是一种通过计算机和正电子湮灭产生的光子射线来获取病人躯体断层图像的非侵入式影像学检测方法。不同于计算机断层扫描(Computed Tomography，CT)，PET成像是一种功能性成像，能清晰且直观地反映出人体病变组织的相关信息，对于临床病灶检测有着重要的意义。但PET扫描的图像空间分辨率低，图像质量差，往往无法明确地表现出人体各部位的解剖结构信息，因此PET成像技术经常与CT成像或者MRI成像技术联合使用，形成目前市面上流行的PET/CT或PET/MRI成像系统。
然而，CT或MRI的引入会带来新的问题。具体地，对于CT成像，大量的X射线照射会导致人体所受辐射剂量的累计效应，显著增加各种疾病发生的可能性，从而影响人体的生理机能。而对于MRI成像，会极大地延长数据的采集时间，增加病人在扫描时的不适感。此外，CT模态和MRI模态图像能为彼此提供互补信息，有助于医生的临床诊断，所以有时需要分别为病人做CT扫描成像和MRI扫描成像，这也意味着病人就医开支与花销的大幅增加。
在现有技术中，存在以下生成CT图像和MRI图像的技术方案：
Dong等人于2019年在Physics in Medicine&Biology期刊上发表文章“Synthetic CT generation from non-attenuation corrected PET images for whole-body PET imaging”，使用循环一致性生成对抗网络(CycleGAN)， 成功地将未经衰减校正的原始PET图像转换为CT模态。其生成的伪CT图像，不仅可以提供解剖结构信息以辅助对病灶区域的定位和诊断，还可以对原始PET图像进行衰减校正。
Donghwi Hwang等人在Journal of Nuclear Medicine期刊上发表文章“Generation of PET attenuation map for whole-body time-of-flight 18F-FDG PET/MRI using a deep neural network trained with simultaneously reconstructed activity and attenuation maps”，利用端对端的U-Net网络实现了PET图像到衰减校正图像的图像映射。在PET/MRI成像系统中，衰减校正图像是MRI图像的派生物。这预示了从PET到MRI的图像转换具有很大的可行性。近年来，已有许多工作谈论了从PET到MRI图像生成的可行方案，揭示了此项工作具有重大的临床意义。
Wen Li等人于Quantitative imaging in medicine and surgery期刊上发表文章“Magnetic resonance image(MRI)synthesis from brain computed tomography(CT)images based on deep learning methods for magnetic resonance(MR)-guided radiotherapy”，使用当下流行的深度卷积神经网络，实现了脑CT图像到MRI图像的图像转换。对于PET-MRI图像合成任务，从PET到CT再到MRI是一种可行的方案，但与所有的MRI-CT图像任务相似，这种方案首先需要克服不同模态间的图像配准问题。
经分析，为解决基于PET图像的多模态医学图像合成任务，目前通常使用以下三种方案：
1)联合式的多任务学习。目标任务是实现PET到CT和MRI的图像生成，联合式学习方案利用单一的PET图像同时生成CT图像和MRI图像。然而，该方案需要病例同时具有相匹配的PET-CT-MR数据对，然而目前市面上不存在能同时进行PET、MRI、CT扫描的实验仪器，所以这种数据对无法获得，也就不能使用该方案；
2)串行式的多任务学习。PET到CT和MRI的图像生成任务，可以视为：先从PET图像生成CT图像，再从CT图像生成MRI图像。这样的两步走的学习策略能够将复杂的问题拆分成多个简单问题，逐个解决。无论是PET到CT，还是CT到MRI都已经被充分研究，也取得了很大的进 展，然而该方案极易造成误差的累计效应，从而大大地降低最终的实验效果。此外，该方案的拆分任务也意味着需要为每个子任务收集单独的训练数据，加重了任务前期的工作量。
3)集成式的多任务学习。对于“一对多”的多任务学习，可以根据输出对象，将此任务拆分成多个子任务，例如PET到CT图像的合成以及PET到MRI图像的合成。然而，这些子任务模型往往具有较强的特异性，严重限制了这些子任务的适用范围。例如，因为数据扫描仪器的差异，PET/CT扫描的PET图像往往与PET/MRI扫描的PET图像大不相同，所以前者被送入PET-MRI模型时难以取得好的生成效果。
发明内容
本发明的目的是克服上述现有技术的缺陷，提供一种用于多任务医学图像合成的先验指导型网络。
根据本发明的第一方面，提供一种用于多任务医学图像合成的先验指导型网络。该网络包括生成器和判别器，其中，所述生成器包含先验指导模块，所述先验指导模块根据先验特征将输入特征图转换为指向目标域的目标模态图像，该先验特征是目标模态图像的深层特征；所述生成器以目标模态图像的先验特征和源模态图像数据作为输入，生成相应的目标域图像；所述判别器用于判断所述生成器输出的目标域图像的真伪。
根据本发明的第二方面，提供一种用于多任务医学图像合成的方法。该方法包括以下步骤：
利用生成对抗机制训练所提供的用于多任务医学图像合成的先验指导型网络；
将源模态图像数据和目标模态图像的先验特征输入到经训练的生成器，合成对应的目标模态图像。
与现有技术相比，本发明的优点在于，提出一种用于多任务医学图像合成的先验指导型网络，实现从一种模态图像到其他多种模态图像的合成。例如，充分利用PET扫描图像的特征信息，在CT先验特征或者MRI先验特征的指导下，实现精确的PET到CT或PET到MRI的图像转换。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是根据本发明一个实施例的用于多任务医学图像合成的先验指导型网络的结构图；
图2是根据本发明一个实施例的变分自编码器提取图像先验特征的示意图；
图3是根据本发明一个实施例的自适应的先验指导模块的示意图；
图4是根据本发明一个实施例的生成器网络示意图；
图5是根据本发明一个实施例的编码器网络细节示意图；
图6是根据本发明一个实施例的残差模块网络细节示意图；
图7是根据本发明一个实施例的解码器网络细节示意图；
图8是根据本发明一个实施例的判别器网络示意图；
图9是根据本发明一个实施例的实验结果示意图。
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明提供一种用于多任务医学图像合成的先验指导型网络。参见图1所示，简言之，该网络包括生成器和判别器，其中，生成器包含先验指导模块，所述先验指导模块根据先验特征将输入特征图转换为指向目标域的目标模态图像，该先验特征是目标模态图像的深层特征；所述生成器以目标模态图像的先验特征和源模态图像数据作为输入，生成相应的目标域图像；所述判别器用于判断所述生成器输出的目标域图像的真伪。利用本发明能够实现从一种模态图像(或称源模态图像)到其他多种模态(或称目标模态)图像的转换。为清楚起见，下文将以PET图像作为源模态图像，而MRI图像或CT图像作为目标模态图像为例进行说明。
为了在无监督样本的情况下，PET图像仍然能够生成其对应的MRI或CT图像，本发明设计了一种基于交替学习策略的先验指导型网络。该网络在生成对抗模型(GAN)的基础上，添加了若干先验指导模块，以实现多个任务的交替学习并进一步提高生成图像的质量。
具体地，该先验指导型网络总体上包含三个过程：第一、选择图像先验特征。先验特征的表达既可以是连续的，也可以离散的，但它们都得符合某种确定的分布。例如，先验特征有onehot(独热)编码和变分自编码(VAE)的隐变量特征。第二、设计自适应的先验指导模块。受批归一化操作(batch normalization)和事例归一化操作(instance normalization)的启发，发现图像的卷积特征图的尺寸(scale)和偏置(bias)对最终的实验结果有着显著的影响。因此，可以利用输入的图像先验特征为每个卷积特征图计算其缩放尺寸和空间偏置，使得特征图向着目标图像模态进行拟合映射。第三、生成网络的交替学习。整个先验指导型网络采用生成对抗机制，其中生成器以残差Unet网络为主干，引入若干先验指导模块，采用交替学习策略，根据接收的先验特征指导网络向对应的目标图像域生成。因为选择的先验特征具有某种确定的分布，从而保证了生成结果的稳定性和鲁棒性。
本发明提供的多任务医学图像合成的先验指导型网络具体操作步骤如下：
步骤S1：选择图像先验特征
对于不同模态的医学图像，其先验特征应具有显著的差异，以确保该先验能有效地指导网络训练的方向，能产生所需的目标模态图像。除了不同模态间的特异性，还要求图像的先验特征在同一模态内具有相同的分布。值得一提的是，这种同一分布可以是任意的，既可以是离散分布(如one hot编码或二进制编码)，也可以连续分布(如正态分布)。在语意上，图像的先验特征可以理解为目标模态图像的深层特征，包含着图像模态的解剖结构信息，所以将此先验信息引入本发明的网络中，可以进一步提高网络的生成图像质量。
如图2所示，该实施例采用变分自编码器(VAE)提取不同模态图像的先验特征。不同于传统的自编码模型(AE)，VAE模型首先将目标模态图像(CT或MRI)进行编码，编码后的特征向量可以被拆分成相同长度的两部分，分别表示正态分布的均值μ和标准差σ。根据重参数技巧(reparameter trick)，可以从中还原出符合均值为μ，标准差为σ的正态分布的图像先验特征。经过解码器后，该先验特征可以重建为原来的输入图像(标记为sCT或sMR)。为了满足图像先验特征的特异性，令编码的CT模态的均值μ
CT→0，MR模态的均值μ
MR→10；同时为了保证VAE模型的生成能力，令编码的标准差σ
CT→1，σ
MR→1。也就是说，对于CT模态，其先验特征符合标准正态分布；对于MR模态，其先验特征符合均值为10，标准差为1的正态分布。
步骤S2：设计自适应的先验指导模块
受批归一化(batch normalization)等操作的启发，优选地，通过控制卷积特征图的缩放尺寸和空间偏置来指导网络最终的生成走向。
如图3所示，该先验指导模块的输入是大小为H×W×C的特征图X和长度为L的目标先验特征Z。首先将输入的卷积特征图进行标准化(减均值，除标准差)处理，表示为：
然后，输入的先验特征经过2个独立的全连接操作f，得到长度均为C的缩放尺寸向量λ和空间偏置向量b，表示为：
λ＝f
1(Z) (2)
b＝f
2(Z)
最后，将标准化的特征图与缩放尺寸向量沿通道方向相乘，与空间偏置沿通道方向相加，得到指向目标域的输出特征图，表示为：
Y＝λ·X′+b (3)
步骤S3：设计生成器和判别器
为了提高生成图像的质量，采用生成对抗机制，其中生成器以残差Unet网络为主干，在解码部分引入了若干先验指导模块，以实现PET图像到指定目标模态的映射。
参见图4所示，该残差Unet网络包括编码器、残差模块和解码器，其中编码器与解码器之间存在跨越连接，从而能够解决训练中的梯度消失和梯度爆炸问题，同时能促进网络间的信息传递。输入1表示PET图像数据，输入2表示目标模态(CT或MRI)的图像先验特征。输入的PET图像在经过编码器后得到多尺度的卷积特征图，然后被送入含有若干先验指导模块的解码器中，在输入的图像先验特征的指导下生成目标模态的图像(CT或MRI)，作为输出。
在一个实施例中，编码器如图5所示，其包含5个卷积模块。除了第一个卷积模块，每个卷积模块都由一个2×2最大池化操作和两个连续且相同的3×3卷积操作组成，例如，这些卷积操作的步长均为1，后接事例归一化(Instance normalization)操作和ReLU激活函数。第一个卷积模块为保留更多的原始图像信息，移除了最大池化操作。每个卷积模块的编码结果通过跨越连接机制传递到解码器中，以更好地指导从PET图像到CT或MRI图像的生成工作。随着编码深度的增加，卷积模块的宽度也从初始的64通道数递增至512通道数。最后的卷积模块编码结果被2倍下采样后送入到残差模块中，进一步提取图像的深度表达信息。
在一个实施例中，残差模块如图6所示，三个连续且相同的残差模块 被添加在编码器和解码器之间。每个残差模块内都含有2个步长为1，通道数为512且后接事例归一化和ReLU激活函数的3×3卷积操作。每个残差模块的输出结果是由第一个卷积操作的输入和第二个卷积操作的输出像素级相加得到。最终的残差模块输出结果被传送入解码器中。
在一个实施例中，解码器如7图所示，解码器大体上具有和编码器相对称的结构，不同的是，每个卷积模块中的2×2最大池化操作在解码器中被替换成了步长为2的双线性插值上采样。经过残差模块所得的特征图被4个连续的卷积模块进行解码。借助于跨越连接，上采样后的解码特征图能与对应分辨率的编码特征图沿通道合并，再进行卷积操作。最终卷积模块的解码结果被送入最后一层卷积层中，产生3通道的输出图像(CT或MRI图像)。输出图像被tanh激活函数约束到(-1，1)区间内。但不同于传统的Unet网络，本发明的解码器还在每个上采样操作前添加了1个自适应先验指导模块，以通过输入的目标模态的先验特征，调整卷积特征图的解码走向，从而实现PET图像向目标模态图像的生成。
对于先验指导型网络的判别器，在一个实施例中，采用全卷积网络结构，以判断生成图像的真伪。如图8所示，该判别器具有4层卷积层和最终输出层，每个卷积层包含了1个步长为2的4x4卷积操作，批归一化操作和斜率为0.2的LeakyReLu激活函数。卷积层的卷积核数分别为64，128，256和256通道。在最后的输出层中，一个(0，1)区间的概率标量被产生以判别输入图像的真假，若为真，此概率标量接近1；若为假，该概率标量接近0。
步骤S4：采用交替学习策略生成多目标图像
例如，收集了2组PET扫描数据，分别是：PET/CT数据集和PET/MRI数据集。相比于其他常见的方法往往将2组数据集独自送入模型进行训练，在本发明实施例中，标记PET/CT数据集为域1，标记PET/MRI数据集为域2，然后将这2组数据集进行充分混合，构造成一个带有“域标记”的大数据集。根据该大数据集的“域标记”，可以确定输入网络的先验分布。
对于需要实现从PET图像同时生成CT和MRI图像的多任务图像合成的情况，显然，PET生成CT任务和PET生成MRI任务具有很大的重复 性，优选地，利用先验指导模块存储代表两任务不重复部分的参数，而其重复部分被储存在生成器的其他部分。每当输入具有不同“域标记”的PET图像，先验指导模块中的参数得到更新，从而实现了PET到CT，以及PET到MRI图像的交替训练。
综上，为了克服不同数据间(PET/CT与PET/MRI)的图像配准难题，通过采用上述的交替学习方式，实现了无标注图像的生成，即便病人只进行了PET/CT扫描，本发明也能利用扫描的PET图像和MRI先验产生高质量的MRI图像，反之亦然。
步骤S5：设计联合损失函数
为了提高网络生成的图像质量和稳定性，设计了较为复杂的联合损失函数，以优化网络的迭代训练，进一步保证生成的MRI或CT图像能够满足绝大多数临床医学诊断的需要。
在一个实施例中，设计的联合损失函数包括平均绝对误差损失函数(Mean absolute error,L
MAE)，感知损失函数(Perceptive loss，L
PCP)和非饱和对抗损失函数(
和
)，例如表示为：
其中，平均绝对误差函数L
MAE反映了生成图像和参考图像在像素层面上的差异性；而感知损失函数L
PCP反映的是在特征层面上生成图像和参考图像的差异。本发明的感知损失函数L
PCP，以预先在ImageNet数据集上训练完成的VGG19网络作为特征提取器，提取生成图像和参考图像的各项尺度特征，衡量其差异。生成器的对抗损失函数
表示的是判别器认为生成图像为真的交叉熵，熵值越小，表示生成图像越逼真。λ
1和λ
2是对应项的权重系数。以上三项函数具体表示如下：
L
MAE＝E[y-G(x)] (5)
其中，x表示模型输入的PET图像，而y表示对应的目标参考图像(CT或MRI图像)，G表示模型的生成器，D表示模型的判别器，E表示数学期望，φ
i表示VGG19模型的第i编码卷积层，n表示所选的卷积层数。
根据生成对抗机制，当生成图像能愚弄判别器，使其判真概率接近1时，该生成图像是逼真的且令人信服的。另一方面，生成图像的逼真程度也与判别器的真假判断能力相关。判别器的真假判断能力越强，生成器愚弄成功后的生成图像越逼真。所以，也对判别器D构造损失函数，进行迭代优化。判别器的损失函数如下：
无论是生成对抗模型的对抗损失函数还是引入的感知损失函数，都能实现特征层面的分布一致。这不仅能产生更为逼真的图像，还能显著加快网络的收敛速度。为了平衡各损失函数在先验指导型网络训练时的贡献，例如，根据经验设置λ
1和λ
2分别为1.0和0.01。事实上，根据若干次的实验，小幅度的调整这些损失权重并不会对网络的训练造成太大的影响。
步骤S6：以设定的损失函数为目标优化训练先验指导型网络。
例如，训练过程，从PET/CT数据集和PET/MRI数据集中分别取一对图像，PET图像作为网络的输入，CT图像或者MRI图像作为参考，使用RMSProp优化器进行优化训练，直到逐步达到收敛状态。
进一步地，利用经训练的生成器，可针对任意的PET图像进行实时合成，获得CT模态图像和/或MRI图像。
为进一步验证本发明的效果，进行了实验仿真，结果如图9所示，其中(A1,A2,A3,A4)表示输入的PET图像；(B1,B2,B3,B4)表示输入图像对应的参考域图像；(C1,C2,C3,C4)表示网络有监督的生成的参考域图像；(D1,D2,D3,D4)表示网络无监督地生成的非参考域图像。可以看出，本发明不仅可以有监督地生成高质量的参考域图像(已与输入PET图像配准，且来自同一扫描数据对)，还可以无监督地生成足以令人信服的非参考域图像。
综上所述，与现有的PET-CT生成任务，PET-MRI生成任务相比，本发明的有益效果体现在：首先，充分利用了两生成任务之间存在的大量重复工作，通过交替学习策略和先验指导模块，实现了PET到CT、MRI图像的无监督生成：对于PET-CT数据集，本发明可以在缺少MRI参考图像的情况下，实现从PET图像到对应MRI模态的图像生成。同理，对于 PET-MRI数据集，本发明可以在缺少CT参考图像的情况下，实现PET到CT模态的图像生成。并且，本发明还将目标模态的先验分布信息与常规的生成网络进行结合，显著提高了生成图像的细节表现力和稳定性。此外，通过联合多重损失函数，有效保证了输出图像的质量，同时在网络的编码器和解码器之间加入了若干残差模块，有效提升了网络的收敛速度，提高了网络的训练效率。
需要说明的是，除应用于PET图像到CT和MRI图像生成外，本发明提供的交替学习策略和先验指导模块可应用于其他类型的多模态图像生成任务；除应用于图像生成任务外，先验信息与网络相结合的方法也能被广泛应用于其他图像任务当中，以进一步提高实验结果的准确性，且增强网络训练的稳定性；先验指导模块是一种即插即用模块，可以添加至任意的多任务神经卷积网络工作流程中，充分利用多任务之间的重复工作从而极大地减少了网络模型的参数规模，同时确保了网络的效能。
应理解的是，上述实施例仅是示意性的，在不违背本发明精神和范围的前提下，本领域技术人员可进行适当的修改或变型，例如，采用不同的卷积层数、卷积步长、卷积核尺寸、激活函数等。又如，先验指导模块也不必须设置在解码器的所有上采样操作。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计 算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它 可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术 人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
Claims (10)
- 一种用于多任务医学图像合成的先验指导型网络，包括生成器和判别器，其中，所述生成器包含先验指导模块，所述先验指导模块根据先验特征将输入特征图转换为指向目标域的目标模态图像，该先验特征是目标模态图像的深层特征；所述生成器以目标模态图像的先验特征和源模态图像数据作为输入，生成相应的目标域图像；所述判别器用于判断所述生成器输出的目标域图像的真伪。
- 根据权利要求1所述的用于多任务医学图像合成的先验指导型网络，其中，对于大小为H×W×C的输入特征图X和长度为L的先验特征Z，所述先验指导模块根据以下步骤生成指向目标域的目标模态图像：对输入特征图X进行标准化处理，表示为：
将输入的先验特征Z分别经过独立的全连接操作f 1和f 2，得到长度均为C的缩放尺寸向量λ和空间偏置向量b，表示为：λ＝f 1(Z)b＝f 2(Z)将标准化的特征图X′与缩放尺寸向量沿通道方向相乘，与空间偏置b沿通道方向相加，得到指向目标域的输出特征图，表示为：Y＝λ·X′+b其中，Mean表示均值，STD表示方差。 - 根据权利要求1所述的用于多任务医学图像合成的先验指导型网络，其中，所述生成器包括依次连接的编码器、残差模块和解码器，且编码器与解码器之间存在跨连接，所述编码器用于将输入的源模态图像转换为多尺度的卷积特征图，所述解码器包含多个所述先验指导模块，并在输入的图像先验特征的指导下生成目标模态图像作为输出。
- 根据权利要求1所述的用于多任务医学图像合成的先验指导型网络，其中，所述判别器包括多层卷积层和输出层，每个卷积层包含卷积操作、批归一化操作和激活操作，所述输出层以产生的概率标量来判别输入图像的真假。
- 根据权利要求1所述的用于多任务医学图像合成的先验指导型网络，其中，所述源模态图像数据是PET图像，所述目标模态图像是CT图像和MRI图像，并以设定的联合损失函数为优化目标根据以下步骤进行训练：采集PET/CT数据集和PET/MRI数据集，将PET/CT数据集的域标记表示为域1，将PET/MRI数据集的域标记表示为域2；将PET/CT数据集和PET/MRI数据集进行混合并构造成带有域标记的混合数据集，进而根据该混合数据集的域标记确定对应的先验特征；利用所述先验指导模块存储代表生成CT图像任务和生成MRI图像任务的不重复部分的参数，每当输入具有不同域标记的PET图像，所述先验指导模块中的参数得到更新，从而实现PET模态图像到CT模态图像以及PET模态图像到MRI模态图像的交替训练。
- 根据权利要求5所述的用于多任务医学图像合成的先验指导型网络，其中，所述联合损失函数包括平均绝对误差函数L MAE，感知损失函数L PCP和对抗损失函数与
表示为：
L MAE＝E[y-G(x)]
其中，x表示模型输入的PET图像，y表示对应的目标参考图像，G表示生成器，D表示判别器，E表示数学期望，φ i表示VGG19模型的第i编码卷积层，n表示所选的卷积层数，λ 1和λ 2是对应项的权重系数，是判别器的损失函数。
- 根据权利要求1所述的用于多任务医学图像合成的先验指导型网络，其中，根据以下步骤提取目标模态图像的先验特征：将目标模态图像进行编码，编码后的特征向量被拆分成相同长度的两部分，分别表示正态分布的均值μ和标准差σ；根据重参数技巧还原出符合均值为μ，标准差为σ的正态分布的图像先验特征。
- 根据权利要求3所述的用于多任务医学图像合成的先验指导型网络，其中，所述编码器包含多个卷积模块，第一个卷积模块包括卷积操作，所述编码器的其他卷积模块最大池化操作和卷积操作，所述编码器的编码结果被下采样后传递至所述残差模块，所述解码器采用与所述编码器相对应的上采样并在每个上采样操作设置所述先验指导模块。
- 一种用于多任务医学图像合成的方法，包括以下步骤：利用生成对抗机制训练根据权利要求1至8任一项所述的用于多任务医学图像合成的先验指导型网络；将源模态图像数据和目标模态图像的先验特征输入到经训练的生成器，合成对应的目标模态图像。
- 一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求9所述的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/135021 WO2022120661A1 (zh) | 2020-12-09 | 2020-12-09 | 一种用于多任务医学图像合成的先验指导型网络 |
| US17/284,794 US11915401B2 (en) | 2020-12-09 | 2020-12-09 | Apriori guidance network for multitask medical image synthesis |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/135021 WO2022120661A1 (zh) | 2020-12-09 | 2020-12-09 | 一种用于多任务医学图像合成的先验指导型网络 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022120661A1 true WO2022120661A1 (zh) | 2022-06-16 |
Family
ID=81972924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2020/135021 WO2022120661A1 (zh) | 2020-12-09 | 2020-12-09 | 一种用于多任务医学图像合成的先验指导型网络 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11915401B2 (zh) |
| WO (1) | WO2022120661A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116596825A (zh) * | 2023-07-18 | 2023-08-15 | 深智透医疗科技发展(上海)有限责任公司 | 磁共振图像对比度合成方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190049540A1 (en) * | 2017-08-10 | 2019-02-14 | Siemens Healthcare Gmbh | Image standardization using generative adversarial networks |
| CN109636742A (zh) * | 2018-11-23 | 2019-04-16 | 中国人民解放军空军研究院航空兵研究所 | 基于对抗生成网络的sar图像和可见光图像的模式转换方法 |
| US20190318474A1 (en) * | 2018-04-13 | 2019-10-17 | Elekta, Inc. | Image synthesis using adversarial networks such as for radiation therapy |
| CN110580695A (zh) * | 2019-08-07 | 2019-12-17 | 深圳先进技术研究院 | 一种多模态三维医学影像融合方法、系统及电子设备 |
| US20200034948A1 (en) * | 2018-07-27 | 2020-01-30 | Washington University | Ml-based methods for pseudo-ct and hr mr image estimation |
| CN111814891A (zh) * | 2020-07-15 | 2020-10-23 | 大连东软教育科技集团有限公司 | 医学图像合成方法、装置及存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10387765B2 (en) * | 2016-06-23 | 2019-08-20 | Siemens Healthcare Gmbh | Image correction using a deep generative machine-learning model |
| US20180247201A1 (en) * | 2017-02-28 | 2018-08-30 | Nvidia Corporation | Systems and methods for image-to-image translation using variational autoencoders |
| US10482600B2 (en) * | 2018-01-16 | 2019-11-19 | Siemens Healthcare Gmbh | Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks |
| US20190279075A1 (en) * | 2018-03-09 | 2019-09-12 | Nvidia Corporation | Multi-modal image translation using neural networks |
| US11158069B2 (en) * | 2018-12-11 | 2021-10-26 | Siemens Healthcare Gmbh | Unsupervised deformable registration for multi-modal images |
| CN109754447B (zh) * | 2018-12-28 | 2021-06-22 | 上海联影智能医疗科技有限公司 | 图像生成方法、装置、设备和存储介质 |
| JP7245364B2 (ja) * | 2019-06-06 | 2023-03-23 | エレクタ、インク． | 変形可能な層を有するＣｙｃｌｅＧＡＮを用いたｓＣＴ画像生成 |
| CN113498526A (zh) * | 2020-02-05 | 2021-10-12 | 谷歌有限责任公司 | 使用可解释变换参数的图像变换 |
| US20220180602A1 (en) * | 2020-12-03 | 2022-06-09 | Nvidia Corporation | Generating images of virtual environments using one or more neural networks |
-
2020
- 2020-12-09 US US17/284,794 patent/US11915401B2/en active Active
- 2020-12-09 WO PCT/CN2020/135021 patent/WO2022120661A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190049540A1 (en) * | 2017-08-10 | 2019-02-14 | Siemens Healthcare Gmbh | Image standardization using generative adversarial networks |
| US20190318474A1 (en) * | 2018-04-13 | 2019-10-17 | Elekta, Inc. | Image synthesis using adversarial networks such as for radiation therapy |
| US20200034948A1 (en) * | 2018-07-27 | 2020-01-30 | Washington University | Ml-based methods for pseudo-ct and hr mr image estimation |
| CN109636742A (zh) * | 2018-11-23 | 2019-04-16 | 中国人民解放军空军研究院航空兵研究所 | 基于对抗生成网络的sar图像和可见光图像的模式转换方法 |
| CN110580695A (zh) * | 2019-08-07 | 2019-12-17 | 深圳先进技术研究院 | 一种多模态三维医学影像融合方法、系统及电子设备 |
| CN111814891A (zh) * | 2020-07-15 | 2020-10-23 | 大连东软教育科技集团有限公司 | 医学图像合成方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| DONG GUOYA, SONG LIMING;LI YAFEN;LI WEN;XIE YAOQIN: "Cross-Modality Medical Image Synthesis Based on Deep Learning", CHINESE JOURNAL OF MEDICAL PHYSICS, vol. 37, no. 10, 31 October 2020 (2020-10-31), pages 1335 - 1339, XP055941001, ISSN: 1005-202X, DOI: 10.3969/j.issn.1005-202X.2020.10.021 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116596825A (zh) * | 2023-07-18 | 2023-08-15 | 深智透医疗科技发展(上海)有限责任公司 | 磁共振图像对比度合成方法及系统 |
| CN116596825B (zh) * | 2023-07-18 | 2023-10-17 | 深智透医疗科技发展(上海)有限责任公司 | 磁共振图像对比度合成方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11915401B2 (en) | 2024-02-27 |
| US20230031910A1 (en) | 2023-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiang et al. | COVID-19 CT image synthesis with a conditional generative adversarial network | |
| CN109697741B (zh) | 一种pet图像重建方法、装置、设备及介质 | |
| EP3511942B1 (en) | Cross-domain image analysis using deep image-to-image networks and adversarial networks | |
| US20200286614A1 (en) | A system and method for automated labeling and annotating unstructured medical datasets | |
| EP3788633A1 (en) | Modality-agnostic method for medical image representation | |
| US11810301B2 (en) | System and method for image segmentation using a joint deep learning model | |
| JP2022536107A (ja) | 変形可能な層を有するＣｙｃｌｅＧＡＮを用いたｓＣＴ画像生成 | |
| CN112669247A (zh) | 一种用于多任务医学图像合成的先验指导型网络 | |
| CN112419173A (zh) | 一种由pet图像生成ct图像的深度学习框架和方法 | |
| Maity et al. | Automatic lung parenchyma segmentation using a deep convolutional neural network from chest X-rays | |
| CN115601352A (zh) | 基于多模态自监督的医学影像分割方法 | |
| Kläser et al. | Improved MR to CT synthesis for PET/MR attenuation correction using imitation learning | |
| CN112819914A (zh) | 一种pet图像处理方法 | |
| Kläser et al. | Deep boosted regression for MR to CT synthesis | |
| CN114897756A (zh) | 模型训练方法、医学图像融合方法、装置、设备和介质 | |
| WO2022120661A1 (zh) | 一种用于多任务医学图像合成的先验指导型网络 | |
| Zhi et al. | Vessel contour detection in intracoronary images via bilateral cross-domain adaptation | |
| Misra et al. | Deep learning‐based multimodal fusion network for segmentation and classification of breast cancers using B‐mode and elastography ultrasound images | |
| Chen et al. | Deep learning based unpaired image-to-image translation applications for medical physics: a systematic review | |
| Huang et al. | Integrating multiple MRI sequences for pelvic organs segmentation via the attention mechanism | |
| Vey et al. | The role of generative adversarial networks in radiation reduction and artifact correction in medical imaging | |
| Dayarathna et al. | Deep learning based synthesis of MRI, CT and PET: Review and analysis | |
| Li et al. | Segmentation of human aorta using 3D nnU-net-oriented deep learning | |
| Yin et al. | CoT-UNet++: A medical image segmentation method based on contextual Transformer and dense connection | |
| Chen et al. | DuSFE: Dual-Channel Squeeze-Fusion-Excitation co-attention for cross-modality registration of cardiac SPECT and CT |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20964601 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20964601 Country of ref document: EP Kind code of ref document: A1 |