WO2023005186A1 - 一种基于深度学习的模态转换方法 - Google Patents
一种基于深度学习的模态转换方法 Download PDFInfo
- Publication number
- WO2023005186A1 WO2023005186A1 PCT/CN2022/075743 CN2022075743W WO2023005186A1 WO 2023005186 A1 WO2023005186 A1 WO 2023005186A1 CN 2022075743 W CN2022075743 W CN 2022075743W WO 2023005186 A1 WO2023005186 A1 WO 2023005186A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- source domain
- layer
- generator
- pseudo
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000011426 transformation method Methods 0.000 title abstract 4
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000007408 cone-beam computed tomography Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 238000012795 verification Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000009466 transformation Effects 0.000 claims abstract description 4
- 238000012805 post-processing Methods 0.000 claims abstract description 3
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 18
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 12
- 238000001959 radiotherapy Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000013434 data augmentation Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000003416 augmentation Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000000265 homogenisation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims 5
- 239000000047 product Substances 0.000 claims 1
- 210000003484 anatomy Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000002247 constant time method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
本发明公开了一种基于深度学习的模态转换方法，模态转换方法的配准方法包括以下步骤：步骤S1：采集测试病人的源域图像数据集，并预处理源域图像数据，源域图像为MR、CBCT或PET；步骤S2：构建基于深度学习的模态转换模型及训练模型，模态转换模型包括生成器模型及判别器模型；步骤S3：获取独立的测试数据，以验证模式输入在步骤S2中训练好的生成器模型，并直接生成伪CT图像；步骤S4：后处理伪CT图像。本发明的基于深度学习的模态转换方法，能够根据无监督学习从源域图像域生成CT图像域。
Description
本发明要解决的技术问题是不同域转换问题，从非CT图像域转换到CT图像域。具体涉及放射治疗领域和图像生成领域。尤其涉及一种基于深度学习的模态转换方法。
放射治疗是目前肿瘤治疗常用的治疗手段之一，在放射治疗设备上目前有较大的发展。特别是利用图像引导技术辅助判断肿瘤靶区区域，同时帮助剂量实施，提高了放射治疗的精度和效率。图像引导技术一般使用锥形束计算机断层扫描图像(CBCT图像)或者MR图像引导放射治疗中的人体摆位。由于扫描CBCT时人体接受剂量较低，导致存在图像质量较差存在伪影和噪声，无法直接于电子密度信息建立关系，因此不能够直接用于放射治疗中的剂量修正。同样MR图像也无法直接于电子密度信息建立关系。利用CBCT或MR图像合成伪CT图像能解决目前放射治疗中CBCT或MR图像存在的问题。
近年来，深度学习等人工智能技术在图像生成领域取得了巨大的进展，尤其是医学图像生成上，生成真实度远优于传统方法。然而，现有的基于U-Net网络结构作为生成器的深度学习源域图像生成伪CT方法，只关注图像网络感受野区域信息；判别器用传统的patch-GAN，也只关注patch-GAN网络感受野下局部的纹理信息；在生成器引入transformer网络结构能让生成器不仅仅关注图像网络感受野区域信息而且关注全局信息，在判别器引入Non-local模块能让判别器不仅能关注局部的纹理信息而且能关注全局纹理信息的真实度。
现有的基于pixel-to-pixel网络结构的深度学习源域图像生成伪CT方法，生成器是基于U-Net网络，只关注图像网络感受野区域信息；判别器是用传统的patch-GAN，也只关注patch-GAN网络感受野下局部的纹理信息；而这些局部信息间的依赖关系没有被提取。提取长距离块之间的依赖关系能够有效的提高生成伪CT的真实度，而伪CT和真实CT之间差距越小，越能够用于剂量计算，对减少剂量误差有重要的临床意义。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种基于深度学习的模态转换方法，其能够根据无监督学习从源域图像域生成CT图像域。
为实现上述目的，本发明提供了一种基于深度学习的模态转换方法，模态转换方法的配准方法包括以下步骤：步骤S1：采集测试病人的源域图像数据集，并预处理源域图像数据，源域图像为MR、CBCT或PET等；步骤S2：构建基于深度学习的模态转换模型及训练模型，模态转换模型包括生成器模型及判别器模型；步骤S3：获取独立的测试数据，以验证模式输入在步骤S2中训练好的生成器模型，并直接生成伪CT图像；步骤S4：后处理伪CT图像。
在一优选实施方式中，步骤S1中的预处理源域图像数据包括以下步骤：步骤S11：采集多中心数据集，首先收集放射治疗过程中的定位计划CT图像和源域图像；步骤S12：通过自适应直方图均匀化方法对步骤S11得到的源域图像进行去噪声和去伪影；步骤S13：通过传统的刚性配准预对齐源域图像和定位计划CT图像，再通过基于深度学习的形变配准方法配准源域图像和定位计划CT图像；步骤S14：通过阈值法分割定位计划CT图像，属于定位计划CT图像的身体内部结构的像素被赋值为1，不属于定位计划CT图像身体内部结构被赋值0，得到定位计划CT图像身体的掩膜图像；根据掩膜图像位置 区域大小截取定位计划CT图像和源域图像；然后，在灰度域上，截断定位计划CT图像[-1000,4095]范围；步骤S15：对经过步骤S14得到的CT图像和源域图像用最大值最小值方法归一化。
在一优选实施方式中，步骤S2包括以下步骤：步骤S21：构造模态转换模型中的生成器genTransformer模型，首先，构建生成器genTransformer模型的基础模块的上采样卷积块，其包括顺序组成的卷积层、实例归一化层、带参数的激活层及池化层，同时上采样卷积块具有一个输入特征和一个输出特征；然后，构建生成器genTransformer模型的基础模块的下采样卷积块，其包括按顺序组成的反卷积层、卷积层、实例归一化层及带参数的激活层，输入来自一个下采样卷积块上一层的父节点上采样特征和一个上采样卷积块的输出特征，输出下采样卷积块的上采样特征；同层的下采样卷积块和同层的上采样卷积块通过短连接相连接；并在最下面的上采样卷积块模块和上采样卷积块之间的经过VTransformer短连接，VTransformer用以提取特征图之间的依赖关系；步骤S22：构造生成器genTransformer模型中的VTransformer模块，把用卷积神经网络(Convolutional Neural Network,CNN)提取到的特征图输入VTransformer模块后，特征图被切分成若干个规则的块，所有的规则块通过线性映射层后，再经过位置嵌入层，编码位置信息特征图；再经过Transformer Encoder模块，Transformer Encoder模块由十个基础模块组成，基础模块按照特征图输入顺序包括层归一化、多头自注意力模块、层归一化以及多层感知机层；步骤S23：构造模态转换模型中的判别器模型，首先，构建判别器模型的基础下采样模块，其包括按顺序组成的卷积层、实例归一化层、带参数的激活层及池化层，同时基础下采样模块有一个输入特征和一个输出特征；判别器模型包括四个基础下采样模块，在第三个基础下采样模块和第四个基础下采样模块之间引入非局部注意力模块；步骤S24：构建完生成器和判别器后，我们构建训练网络框架；先训练生成器，将源域图像输入生成器，得到伪CT图像，图像值域范围是在[-1,1]；然后训练判别器，首先将源域图像和真实CT图像同时按不同通道输入判别器，此时判别器对应的金标像素块为1，其次将源域图像和伪CT图像输入判别器，此时伪CT图像是值域范围归一化到 [0,1]，此时判别器对应的金标块像素值为0；步骤S25：将步骤S24中定义的输入数据进行数据增广，数据增广的增广方法包括：i.对源域图像随机加入高斯噪声；ii.对源域图像和CT图像同时进行正负15个像素内的平移；iii.对源域图像和CT图像同时进行正负30°旋转；v.同时对CT图像和源域图像进行随机翻转，而且随机翻转包括三个不同的维度翻转；步骤S26：训练判别器时，计算生成器输出特征map和金标之间的损失函数，损失函数具体计算如下：
其中n是生成器输出层的特征个数，pred是生成器的输出，gt是金标图像，当gt的值为True，输入源域图像和真实CT；当gt的值为False，输入源域图像和伪CT图像；步骤S27：训练生成器时，计算源域图像和真实CT图像之间的损失函数，损失函数具体计算如下：
L＝α*L
1+β*L
SSIM+γ*L
gan
L
1＝1/N*|T
伪ct-T
ct+∈|
L
gan＝1/n*(pred-gt)
2
其中N是图像元素大小个数，T
伪ct是伪CT图像，T
ct是真实CT图像；μ
x是伪CT图像的平均值，μ
y是CT图像的平均值；σ
xy是真实CT图像和伪CT图像的协方差，σ
x是伪CT图像方差，σ
y是真实CT图像方差，C
1、C
2是常数值；α、β、γ是损失函数之间的平衡参数；∈是一个很小的常数值平衡值；步骤S28：训练若干次后，当验证集上，L1评估函数相似度损失下降到目标值后停止训练，保存生成器模型。
在一优选实施方式中，步骤S3包括以下步骤：步骤S31：获取独立的测试病人的源域图像数据，按照步骤S1获取测试病人处理后的源域图像，以验证模式输入步骤S2中训练好的生成器模型，并输出伪CT图像。
在一优选实施方式中，步骤S4包括以下步骤：步骤S41：将生成器生成的伪CT图像映射至[-1000,4095]，将伪CT图像补充到CT的原始尺寸大小。
与现有技术相比，本发明的一种基于深度学习的模态转换方法具有以下有益效果：在训练模型过程中，加入了SSIM损失函数，能够保证伪CT解剖结构保持不变性，避免出现伪影的现象；在网络模型结构中，加入了实例归一化，能够加速配准网络收敛，能避免网络出现模式崩溃现象；相对于传统方法，本方法在生成器中引入transformer模块，能够提取特征块之间的依赖关系，比之前的方法更能捕捉解剖结构之间的关系，能保证生成的伪CT解剖结构真实性，有效去除噪声和伪影。相对于传统方法，本方法在判别器中引入Non-local模块，使判别器更关注于前景区域，能有效的改善伪CT的纹理信息真实程度。
图1是根据本发明一实施方式的模态转换方法的流程示意图；
图2是根据本发明一实施方式的模态转换方法的深度学习生成器网络结构示意图。
图3是根据本发明一实施方式的生成器的VTransformer网络结构示意图。
图4是根据本发明一实施方式的模态转换的判别器网络示意图。
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
如图1所示，根据本发明优选实施方式的一种基于深度学习的模态转换方法，自动模态转换方法的配准方法包括以下步骤：
在一些实施方式中，步骤S1包括采集数据集，并预处理图像数据，源域图像为MR、CBCT或PET等。步骤S1包括以下步骤：
步骤S11：采集多中心数据集，首先收集放射治疗过程定位计划CT图像和相同测试病人治疗一周后第一次扫描的CBCT图像。
步骤S12：通过自适应直方图均匀化方法对步骤S11得到的CBCT图像进行去噪声和去伪影。
步骤S13：通过传统的刚性配准预对齐CBCT图像和CT图像，再通过基于深度学习的形变配准方法配准CBCT图像和CT图像，该方法是利用无监督方法学习CBCT图像和CT图像差异，然后网络直接生成变形场，作用变形场至CBCT图像，得到与CT图像配准后的CBCT图像。
步骤S14：通过阈值法分割CT图像，属于CT图像身体(body)内部结构的像素被赋值为1，不属于CT图像身体内部结构被赋值0，得到CT身体掩膜图像；根据掩膜图像位置区域大小截取CT图像和CBCT图像。然后，在灰度域上，截断CT图像和CBCT图像灰度值[-1000,4095]范围。
步骤S15：对经过步骤S14得到CT图像和CBCT图像用最大值最小值归一化。其中最大最小值归一化具体计算公式，min是最小值函数，max是最大值公式：
在一些实施方式中，步骤S2包括构建基于深度学习的模态转换模型，训 练模型。步骤S2包括以下步骤：
步骤S21：如图2所示，构造模态转换模型中生成器genTransformer模型，首先，构建其基础模块上采样卷积块，是由卷积层、实例归一化层、带参数的激活层、池化层按顺序组成，同时其有一个输入和一个输出。然后，构建其基础模块下采样卷积块，是由反卷积层、卷积层、实例归一化层、带参数的激活层按顺序组成，输入来自其上一层父节点上采样特征和兄弟节点的特征，输出上采样特征。一共有四个上采样卷积块模块和三个下采样卷积块模块，他们通过短连接相连接。在最下面的两个层上采样卷积块模块短连接之间的特征经过VTransformer，其VTransformer提取特征图之间的依赖关系。
步骤S22：如图3所示，构造生成器genTransformer模型中的VTransformer模块，把用卷积神经网络(Convolutional Neural Network,CNN)提取到的特征图输入VTransformer模块后，特征图被切分成若干个规则的块，所有的规则块通过线性映射层后，再经过位置嵌入层，编码位置信息特征图。再经过Transformer Encoder模块，Transformer Encoder模块由10个基础模块组成，基础模块按照特征图输入顺序包括层归一化、多头自注意力模块、层归一化、多层感知机层。
步骤S23：如图4所示，构造模态转换模型中的判别器模型，首先，构建其基础下采样模块，是由卷积层、实例归一化层、带参数的激活层、池化层按顺序组成，同时其有一个输入和一个输出；判别器模型由四个基础下采样模块，其中在第四个和第三个基础下采样模块之间引入非局部注意力模块(Non-local)。
步骤S24：构建完生成器和判别器后，我们构建训练网络框架；先训练生成器，将CBCT输入生成器，得到伪CT图像，图像值域范围是在[-1,1]；然后训练判别器，首先将CBCT和真实CT输入判别器，此时判别器对应的金标像素块为1,其次将CBCT和伪CT图像输入判别器，此时伪CT值域范围归一化到[0,1]，此时判别器对应的金标块像素值为0。
步骤S25：将步骤S24中定义的输入数据进行数据增广，其增广方法包括：i.对CBCT图像随机加入高斯噪声；ii.对CBCT和CT图像同时进行正负15个像素内的平移；iii.对CBCT和CT图像同时进行正负30°旋转；v.同时对CT和CBCT图像进行随机翻转，而且可对三个不同的维度翻转；
步骤S26：训练判别器时，计算生成器输出特征map和金标之间的损失函数，损失函数具体计算如下：
其中n是生成器输出层的特征个数，pred是生成器的输出，gt是金标图像，当gt的值为True，输入源域图像和真实CT；当gt的值为False，输入源域图像和伪CT图像。
步骤S27：训练生成器时，计算CBCT图像和CT图像之间的损失函数，损失函数具体计算如下：
L＝α*L
1+β*L
SSIM+γ*L
gan
L
1＝1/N*|T
伪ct-T
ct+∈|
L
gan＝1/n*(pred-gt)
2
其中N是图像元素大小个数，T
伪ct是伪CT图像，T
ct是真实CT图像；μ
x是伪CT图像的平均值，μ
y是CT图像的平均值；σ
xy是真实CT图像和伪CT图像的协方差，σ
x是伪CT图像方差，σ
y是真实CT图像方差，C
1、C
2是常数值。α、β、γ是损失函数之间的平衡参数；∈是一个很小的常数值平衡值。
步骤S28：训练若干次后，当验证集上，L1评估函数相似度损失下降到 目标值后停止训练，保存生成器模型；
在一夕实施方式中，步骤S3中包括以下步骤：
步骤S31：获取独立的测试病人CBCT图像数据，按照步骤S1获取测试病人处理后的CBCT图像，以验证模式输入步骤S2中训练好的生成器模型，输出伪CT。
在一夕实施方式中，步骤S4中包括以下步骤：
步骤S41：将生成器生成的伪CT图像映射至[-1000,4095]，将伪CT补充到CT的原始尺寸大小。
综上所述，本发明的基于一种基于深度学习的模态转换方法具有以下优点：在训练模型过程中，加入了SSIM损失函数，能够保证伪CT解剖结构保持不变性，避免出现伪影的现象；在网络模型结构中，加入了实例归一化，能够加速配准网络收敛，能避免网络出现模式崩溃现象；相对于传统方法，本方法在生成器中引入transformer模块，能够提取特征块之间的依赖关系，比之前的方法更能捕捉解剖结构之间的关系，能保证生成的伪CT解剖结构真实性，有效去除噪声和伪影。相对于传统方法，本方法在判别器中引入Non-local模块，使判别器更关注于前景区域，能有效的改善伪CT的纹理信息真实程度。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
Claims (4)
- 一种基于深度学习的模态转换方法，其特征在于，所述模态转换方法的配准方法包括以下步骤：步骤S1：采集测试病人的源域图像数据集，并预处理所述源域图像数据，所述源域图像为MR、CBCT或PET；步骤S2：构建基于深度学习的模态转换模型及训练模型，所述模态转换模型包括生成器模型及判别器模型，所述步骤S2包括以下步骤：步骤S21：构造所述模态转换模型中的生成器genTransformer模型，首先，构建所述生成器genTransformer模型的基础模块的上采样卷积块，其包括顺序组成的卷积层、实例归一化层、带参数的激活层及池化层，同时所述上采样卷积块具有一个输入特征和一个输出特征；然后，构建所述生成器genTransformer模型的基础模块的下采样卷积块，其包括按顺序组成的反卷积层、卷积层、实例归一化层及带参数的激活层，输入来自一个所述下采样卷积块上一层的父节点上采样特征和一个所述上采样卷积块的输出特征，输出所述下采样卷积块的上采样特征；同层的所述下采样卷积块和同层的所述上采样卷积块通过短连接相连接；并在最下面的上采样卷积块模块和上采样卷积块之间的经过VTransformer短连接，所述VTransformer用以提取特征图之间的依赖关系；步骤S22：构造所述生成器genTransformer模型中的VTransformer模块，把用卷积神经网络提取到的特征图输入VTransformer模块后，特征图被切分成若干个规则的块，所有的规则块通过线性映射层后，再经过位置嵌入层，编码位置信息特征图；再经过Transformer Encoder模块，所述Transformer Encoder模块由十个基础模块组成，基础模块按照特征图输入顺序包括层归一化、多头自注意力模块、层归一化以及多层感知机层；步骤S23：构造所述模态转换模型中的判别器模型，首先，构建所述 判别器模型的基础下采样模块，其包括按顺序组成的卷积层、实例归一化层、带参数的激活层及池化层，同时所述基础下采样模块有一个输入特征和一个输出特征；所述判别器模型包括四个基础下采样模块，在第三个所述基础下采样模块和第四个所述基础下采样模块之间引入非局部注意力模块；步骤S24：构建完生成器和判别器后，我们构建训练网络框架；先训练所述生成器，将所述源域图像输入所述生成器，得到所述伪CT图像，图像值域范围是在[-1,1]；然后训练所述判别器，首先将所述源域图像和真实CT图像同时按不同通道输入所述判别器，此时所述判别器对应的金标像素块为1，其次将源域图像和伪CT图像输入所述判别器，此时所述伪CT图像是值域范围归一化到[0,1]，此时所述判别器对应的金标块像素值为0；步骤S25：将所述步骤S24中定义的输入数据进行数据增广，所述数据增广的增广方法包括：i.对所述源域图像随机加入高斯噪声；ii.对所述源域图像和所述CT图像同时进行正负15个像素内的平移；iii.对所述源域图像和所述CT图像同时进行正负30°旋转；v.同时对所述CT图像和所述源域图像进行随机翻转，而且所述随机翻转包括三个不同的维度翻转；步骤S26：训练所述判别器时，计算所述生成器输出特征map和金标之间的损失函数，损失函数具体计算如下：
其中n是生成器输出层的特征个数，pred是生成器的输出，gt是金标图像，当gt的值为True，输入所述源域图像和所述真实CT；当gt的值为False，输入所述源域图像和所述伪CT图像；步骤S27：训练所述生成器时，计算所述源域图像和所述真实CT图 像之间的损失函数，损失函数具体计算如下：L＝α*L 1+β*L SSIM+γ*L ganL 1＝1/N*|T 伪ct-T ct+ε|
L gan＝1/n*(pred-gt) 2其中N是图像元素大小个数，T 伪ct是伪CT图像，T ct是真实CT图像；μ x是伪CT图像的平均值，μ y是CT图像的平均值；σ xy是真实CT图像和伪CT图像的协方差，σ x是伪CT图像方差，σ y是真实CT图像方差，C 1、C 2是常数值；α、β、γ是损失函数之间的平衡参数；ε是一个很小的常数值平衡值；及步骤S28：训练若干次后，当验证集上，L1评估函数相似度损失下降到目标值后停止训练，保存生成器模型；步骤S3：获取独立的测试数据，以验证模式输入在所述步骤S2中训练好的所述生成器模型，并直接生成伪CT图像；以及步骤S4：后处理所述伪CT图像。 - 根据权利要求1所述的基于深度学习的模态转换方法，其特征在于，所述步骤S1中的所述预处理源域图像数据包括以下步骤：步骤S11：采集多中心数据集，首先收集放射治疗过程中的定位计划CT图像和源域图像；步骤S12：通过自适应直方图均匀化方法对所述步骤S11得到的所述源域图像进行去噪声和去伪影；步骤S13：通过传统的刚性配准预对齐所述源域图像和所述定位计划CT图像，再通过基于深度学习的形变配准方法配准所述源域图像和所述定位计 划CT图像；步骤S14：通过阈值法分割所述定位计划CT图像，属于所述定位计划CT图像的身体内部结构的像素被赋值为1，不属于所述定位计划CT图像身体内部结构被赋值0，得到所述定位计划CT图像身体的掩膜图像；根据所述掩膜图像位置区域大小截取所述定位计划CT图像和所述源域图像；然后，在灰度域上，截断所述定位计划CT图像[-1000,4095]范围；步骤S15：对经过所述步骤S14得到的CT图像和源域图像用最大值最小值方法归一化。
- 根据权利要求1所述的基于深度学习的模态转换方法，其特征在于，所述步骤S3包括以下步骤：步骤S31：获取独立的测试病人的源域图像数据，按照所述步骤S1获取所述测试病人处理后的源域图像，以验证模式输入所述步骤S2中训练好的生成器模型，并输出伪CT图像。
- 根据权利要求1所述的基于深度学习的模态转换方法，其特征在于，所述步骤S4包括以下步骤：步骤S41：将所述生成器生成的所述伪CT图像映射至[-1000,4095]，将所述伪CT图像补充到CT的原始尺寸大小。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110863457.5 | 2021-07-29 | ||
| CN202110863457.5A CN113487657B (zh) | 2021-07-29 | 2021-07-29 | 一种基于深度学习的模态转换方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023005186A1 true WO2023005186A1 (zh) | 2023-02-02 |
Family
ID=77943490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2022/075743 WO2023005186A1 (zh) | 2021-07-29 | 2022-02-10 | 一种基于深度学习的模态转换方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113487657B (zh) |
| WO (1) | WO2023005186A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116246025A (zh) * | 2023-04-28 | 2023-06-09 | 中南大学 | 基于三维建模和mr图像的ct图像合成方法及成像方法 |
| CN116402865A (zh) * | 2023-06-06 | 2023-07-07 | 之江实验室 | 一种利用扩散模型的多模态影像配准方法、装置和介质 |
| CN116433730A (zh) * | 2023-06-15 | 2023-07-14 | 南昌航空大学 | 一种联合可变形卷积与模态转换的图像配准方法 |
| CN116580121A (zh) * | 2023-05-18 | 2023-08-11 | 北京元跃科技有限公司 | 一种基于深度学习的单张绘画生成2d模型的方法及系统 |
| CN116942317A (zh) * | 2023-09-21 | 2023-10-27 | 中南大学 | 一种手术导航定位系统 |
| CN117133059A (zh) * | 2023-08-18 | 2023-11-28 | 北京科技大学 | 一种基于局部注意力机制的人脸活体检测方法及装置 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113487657B (zh) * | 2021-07-29 | 2022-02-01 | 广州柏视医疗科技有限公司 | 一种基于深度学习的模态转换方法 |
| CN114266926A (zh) * | 2021-12-17 | 2022-04-01 | 深圳先进技术研究院 | 一种基于平扫ct的物质分解方法、智能终端及存储介质 |
| CN114820730B (zh) * | 2022-03-08 | 2023-04-07 | 安徽慧软科技有限公司 | 一种基于伪ct的ct与cbct配准方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110464353A (zh) * | 2019-08-21 | 2019-11-19 | 南方医科大学 | 一种基于深度卷积神经网络的伪ct合成方法及应用 |
| US20200034948A1 (en) * | 2018-07-27 | 2020-01-30 | Washington University | Ml-based methods for pseudo-ct and hr mr image estimation |
| WO2020246996A1 (en) * | 2019-06-06 | 2020-12-10 | Elekta, Inc. | Sct image generation using cyclegan with deformable layers |
| CN112102385A (zh) * | 2020-08-20 | 2020-12-18 | 复旦大学 | 一种基于深度学习的多模态肝脏磁共振影像配准系统 |
| CN112419173A (zh) * | 2020-11-04 | 2021-02-26 | 深圳先进技术研究院 | 一种由pet图像生成ct图像的深度学习框架和方法 |
| CN112802046A (zh) * | 2021-01-28 | 2021-05-14 | 华南理工大学 | 基于深度学习从多序列mr中生成伪ct的影像生成系统 |
| CN113487657A (zh) * | 2021-07-29 | 2021-10-08 | 广州柏视医疗科技有限公司 | 一种基于深度学习的模态转换方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10984902B2 (en) * | 2018-09-28 | 2021-04-20 | Varian Medical Systems International Ag | Methods and systems for adaptive radiotherapy treatment planning using deep learning engines |
| CN110675461A (zh) * | 2019-09-03 | 2020-01-10 | 天津大学 | 一种基于无监督学习的ct图像恢复方法 |
| CN111080680A (zh) * | 2019-12-29 | 2020-04-28 | 苏州体素信息科技有限公司 | 一种面向患者的三维胸部器官重建方法和系统 |
| CN112132878B (zh) * | 2020-11-03 | 2024-04-05 | 贵州大学 | 基于卷积神经网络的端到端大脑核磁共振图像配准方法 |
| CN113012086B (zh) * | 2021-03-22 | 2024-04-16 | 上海应用技术大学 | 一种跨模态图像的合成方法 |
-
2021
- 2021-07-29 CN CN202110863457.5A patent/CN113487657B/zh active Active
-
2022
- 2022-02-10 WO PCT/CN2022/075743 patent/WO2023005186A1/zh unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200034948A1 (en) * | 2018-07-27 | 2020-01-30 | Washington University | Ml-based methods for pseudo-ct and hr mr image estimation |
| WO2020246996A1 (en) * | 2019-06-06 | 2020-12-10 | Elekta, Inc. | Sct image generation using cyclegan with deformable layers |
| CN110464353A (zh) * | 2019-08-21 | 2019-11-19 | 南方医科大学 | 一种基于深度卷积神经网络的伪ct合成方法及应用 |
| CN112102385A (zh) * | 2020-08-20 | 2020-12-18 | 复旦大学 | 一种基于深度学习的多模态肝脏磁共振影像配准系统 |
| CN112419173A (zh) * | 2020-11-04 | 2021-02-26 | 深圳先进技术研究院 | 一种由pet图像生成ct图像的深度学习框架和方法 |
| CN112802046A (zh) * | 2021-01-28 | 2021-05-14 | 华南理工大学 | 基于深度学习从多序列mr中生成伪ct的影像生成系统 |
| CN113487657A (zh) * | 2021-07-29 | 2021-10-08 | 广州柏视医疗科技有限公司 | 一种基于深度学习的模态转换方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116246025A (zh) * | 2023-04-28 | 2023-06-09 | 中南大学 | 基于三维建模和mr图像的ct图像合成方法及成像方法 |
| CN116246025B (zh) * | 2023-04-28 | 2023-07-11 | 中南大学 | 基于三维建模和mr图像的ct图像合成方法及成像方法 |
| CN116580121A (zh) * | 2023-05-18 | 2023-08-11 | 北京元跃科技有限公司 | 一种基于深度学习的单张绘画生成2d模型的方法及系统 |
| CN116580121B (zh) * | 2023-05-18 | 2024-04-09 | 北京元跃科技有限公司 | 一种基于深度学习的单张绘画生成2d模型的方法及系统 |
| CN116402865A (zh) * | 2023-06-06 | 2023-07-07 | 之江实验室 | 一种利用扩散模型的多模态影像配准方法、装置和介质 |
| CN116402865B (zh) * | 2023-06-06 | 2023-09-15 | 之江实验室 | 一种利用扩散模型的多模态影像配准方法、装置和介质 |
| CN116433730A (zh) * | 2023-06-15 | 2023-07-14 | 南昌航空大学 | 一种联合可变形卷积与模态转换的图像配准方法 |
| CN116433730B (zh) * | 2023-06-15 | 2023-08-29 | 南昌航空大学 | 一种联合可变形卷积与模态转换的图像配准方法 |
| CN117133059A (zh) * | 2023-08-18 | 2023-11-28 | 北京科技大学 | 一种基于局部注意力机制的人脸活体检测方法及装置 |
| CN117133059B (zh) * | 2023-08-18 | 2024-03-01 | 北京科技大学 | 一种基于局部注意力机制的人脸活体检测方法及装置 |
| CN116942317A (zh) * | 2023-09-21 | 2023-10-27 | 中南大学 | 一种手术导航定位系统 |
| CN116942317B (zh) * | 2023-09-21 | 2023-12-26 | 中南大学 | 一种手术导航定位系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113487657A (zh) | 2021-10-08 |
| CN113487657B (zh) | 2022-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2023005186A1 (zh) | 一种基于深度学习的模态转换方法 | |
| Fu et al. | LungRegNet: an unsupervised deformable image registration method for 4D‐CT lung | |
| US11308587B2 (en) | Learning method of generative adversarial network with multiple generators for image denoising | |
| Kalinovsky et al. | Lung image Ssgmentation using deep learning methods and convolutional neural networks | |
| Huang et al. | CaGAN: A cycle-consistent generative adversarial network with attention for low-dose CT imaging | |
| Mahapatra et al. | Training data independent image registration using generative adversarial networks and domain adaptation | |
| CN110009669B (zh) | 一种基于深度强化学习的3d/2d医学图像配准方法 | |
| CN107492071A (zh) | 医学图像处理方法及设备 | |
| WO2022001237A1 (zh) | 鼻咽癌原发肿瘤图像自动识别方法及系统 | |
| CN112598649B (zh) | 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法 | |
| CN113298855B (zh) | 基于自动勾画的图像配准方法 | |
| Jin et al. | Object recognition in medical images via anatomy-guided deep learning | |
| Duan et al. | Unsupervised learning for deformable registration of thoracic CT and cone‐beam CT based on multiscale features matching with spatially adaptive weighting | |
| CN112150564A (zh) | 基于深度卷积神经网络医学图像融合算法 | |
| CN115830163A (zh) | 基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置 | |
| WO2024022485A1 (zh) | 基于多尺度判别的计算机血管造影成像合成方法 | |
| Chillapalli et al. | A Review of Diagnostic Strategies for Pulmonary Embolism Prediction in Computed Tomography Pulmonary Angiograms | |
| Luo et al. | A cascaded FC-DenseNet and level set method (FCDL) for fully automatic segmentation of the right ventricle in cardiac MRI | |
| Liu et al. | Right Ventricle Segmentation of Cine MRI Using Residual U-net Convolutinal Networks | |
| CN115239740A (zh) | 基于GT-UNet的全心分割算法 | |
| Huang et al. | Cross-dataset multiple organ segmentation from CT imagery using FBP-derived domain adaptation | |
| Kening et al. | Nested recurrent residual unet (nrru) on gan (nrrg) for cardiac ct images segmentation task | |
| Zhong et al. | United multi-task learning for abdominal contrast-enhanced CT synthesis through joint deformable registration | |
| Roelofs | Deep learning-based affine and deformable 3D medical image registration | |
| Kumar et al. | Segmentation of magnetic resonance brain images using 3D convolution neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22847806 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |