WO2022257345A1 - 医学图像融合方法及系统、模型训练方法及存储介质 - Google Patents

医学图像融合方法及系统、模型训练方法及存储介质 Download PDF

Info

Publication number
WO2022257345A1
WO2022257345A1 PCT/CN2021/128242 CN2021128242W WO2022257345A1 WO 2022257345 A1 WO2022257345 A1 WO 2022257345A1 CN 2021128242 W CN2021128242 W CN 2021128242W WO 2022257345 A1 WO2022257345 A1 WO 2022257345A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
image
point cloud
medical image
fusion
Prior art date
Application number
PCT/CN2021/128242
Other languages
English (en)
French (fr)
Inventor
刘星宇
张逸凌
Original Assignee
刘星宇
北京长木谷医疗科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 刘星宇, 北京长木谷医疗科技有限公司 filed Critical 刘星宇
Publication of WO2022257345A1 publication Critical patent/WO2022257345A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Definitions

  • step S140 performs three-dimensional reconstruction processing on the multi-modal fusion two-dimensional medical image to obtain the multi-modal fusion three-dimensional medical image, which may include: the multi-modal reconstruction to be three-dimensional
  • the state-phase fusion two-dimensional medical image is input to a pre-trained three-dimensional reconstruction network to obtain a multi-mode fusion three-dimensional medical image corresponding to the multi-mode fusion two-dimensional medical image to be three-dimensionally reconstructed.
  • the MRI medical image in conjunction with the femoral position area includes the setting of the femoral necrosis position area MRI medical image, and the process description is as follows:
  • Each two-dimensional MRI medical image that has been marked and format-converted is divided into an MRI training data set and an MRI testing data set according to a pre-ratio of 7:3.
  • the MRI training data set is used as the input of the MRI image segmentation network to train the MRI image segmentation network model.
  • the MRI test data set is used for subsequent testing and optimization of the performance of the MRI image segmentation network model.
  • the role of setting the loss function is to adjust the size of the number of samples for each training according to the change of the loss function during the model pre-training process.
  • the initial value of the size of the number of samples Batch_Size for each training is set to 6, and the learning rate is set to 1e- 4.
  • the optimizer uses the Adam optimizer and sets the loss function DICE loss.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

一种医学图像融合方法及系统，该方法包括：获取患者的至少两种模态的二维医学图像（S110）；将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出（S120）；基于点云配准算法，将所述各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像（S130）；对所述多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像（S140）。所述方法的多模态医学图像配准精度高，适用于多种复杂的图像融合情况，还可以提高术者的手术准确性以及提高手术效率。

Description

医学图像融合方法及系统、模型训练方法及存储介质
相关申请的交叉引用
本申请要求于2021年06月07日提交中国专利局，申请号为202110633334.2，发明名称为“基于深度学习的多模态医学图像融合方法及系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及医学图像处理技术领域，涉及一种医学图像融合方法及系统、模型训练方法及存储介质。
背景技术
在现代数字化医疗诊断过程中，医护人员通常需要在进行手术之前利用已采集的患者的多模态三维图像对患者病变部位进行分析，从而制定适宜的手术计划。由于各个图像突出显示的图像特征不同，为了便于医生观察和制定手术计划，则需要对术前采集的多种模态的图像的优点进行综合，即需要进行多模态图像配准，以将不同模态的图像配准至同一角度并将各个图像能提供的患者病变部位的图像特征融合至一张图像上显示。相关的多模态图像配准技术，通常采用迭代最近点方法、或求解待配准图像间距离函数最优化问题的方法，在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：对各图像初始对齐状况、相似度要求较高，导致图像配准融合的复杂度较高，图像配准融合精度较低，时间成本较高，且无法有效应用于非刚性配准。
发明内容
本公开提供一种医学图像融合方法及系统、模型训练方法及存储介质，用以克服多模态图像配准融合精度低、复杂度高、时间成本高以及无法有效应用于非刚性配准情况等的缺陷，实现提升多模态图像融合精准度、降低时间成本，适 用于多种复杂的图像融合情况，还可以提高术者的手术准确性以及提高手术效率，以及可有效应用于非刚性配准情况的效果。
本公开提供一种医学图像融合方法，包括：获取患者的至少两种模态的二维医学图像；将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；基于点云配准算法，将所述各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像；对所述多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像。
本公开提供一种模型训练方法，所述方法包括图像分割网络模型的训练过程，包括：获取多个患者的二维医学图像数据集，其中，所述二维医学图像数据集中包含有多个二维医学图像；采用自动标注、手动标注中的至少一种方式，标注出各个所述二维医学图像中的股骨位置区域；将经过标注后的各个二维医学图像按照预设比例划分为训练数据集和测试数据集；基于所述训练数据集并结合神经网络算法和深度学习训练出所述图像分割网络模型。
本公开还提供一种医学图像融合系统，包括：多模态图像获取单元，被配置为获取患者的至少两种模态的二维医学图像；二维图像输出单元，被配置为将所述至少两种模态的二维医学图像输入至预先训练的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；二维图像融合单元，被配置为基于点云配准算法，将所述各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像；三维重建单元，被配置为对所述多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像。
本公开还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现根据如上任一项所述的医学图像融合方法，或者模型训练方法的全部或部分步骤。
本公开还提供一种计算机可读存储介质，其上存储有计算机指令，该计算机指令用于使所述计算机执行根据如上任一项所述的医学图像融合方法，或者模型训练方法的全部或部分步骤。
本公开提供一种医学图像融合方法及系统、模型训练方法及存储介质，所述方法通过将同一患者相同部位不同模态的二维医学图像分别进行图像分割处理，完成图像分割后将各个模态本体位置区域的二维医学图像进行精准的点云配准融合，获得多模态相融合二维医学图像，再将多模态相融合二维医学图像三维重建为多模态相融合三维医学图像；该方法使得多模态医学图像配准精度高，可以降低时间成本，适用于多种复杂的图像融合情况，还可以提高术者的手术准确性以及提高手术效率。
附图说明
图1是本公开提供的医学图像融合方法的流程示意图之一；
图2A是本公开实施例提供的股骨位置区域的二维CT医学图像；图2B是本公开实施例提供的股骨位置区域的二维MRI医学图像；图2C是本公开实施例提供的股骨位置区域的CT模态和MRI模态相融合的二维医学图像；
图3是本公开提供的医学图像融合方法的流程示意图之二；
图4是本公开提供的医学图像融合方法的流程示意图之三；
图5是本公开提供的股骨位置区域的CT模态和股骨位置区域的MRI模态相融合三维医学图像；
图6是本公开提供的股骨位置区域的CT模态以及股骨位置区域的MRI模态和股骨坏死位置区域的MRI模态相融合三维医学图像；
图7是本公开提供的医学图像融合方法图像分割和三维重建后的股骨位置区域的三维CT医学图像；
图8是本公开提供的医学图像融合方法图像分割和三维重建后的股骨位置区域的三维MRI医学图像；
图9是通过本公开提供的医学图像融合方法图像分割和三维重建后的股骨坏死位置区域的三维MRI医学图像；
图10是本公开提供的方法中CT图像分割网络模型的训练过程的流程示意图；
图11是本公开提供的方法中MRI图像分割网络模型的训练过程的流程示意 图；
图12是图10和图11所示训练过程的深度学习训练网络结构图；
图13是本公开提供的医学图像融合系统的结构示意图之一；
图14是本公开提供的电子设备的结构示意图。
附图标记：1010：多模态图像获取单元；1020：二维图像输出单元；1030：二维图像融合单元；1040：三维重建单元；1310：处理器；1320：通信接口；1330：存储器；1340：通信总线。
具体实施方式
CT医学图像空间分辨率较高，可以清晰地定位刚性的骨骼，但是对软组织的成像对比度较低，无法清晰地显示病灶本身；MRI医学图像对软组织、血管、器官等解剖结构有高对比度成像，但空间分辨率低于CT医学图像，缺乏刚性的骨骼结构作为病灶的定位参照。因此，临床应用中，单一模态的医学图像往往不能为相关医护人员提供全面的医学参考信息。
而本公开实施例将人工智能图像分割算法与多模态医学图像融合技术相结合，综合多种医学成像技术的优势，提取不同模态的医学图像的互补信息，融合后生成一幅比任何单一模态图像包含有更多有效医学参考信息的合成图像，以帮助相关医护人员对股骨头坏死等多种类型病症进行诊断、分期和治疗。
本公开提供了一种医学图像融合方法，图1是本公开提供的医学图像融合方法的流程示意图之一，如图1所示，方法包括：
S110、获取患者的至少两种模态的二维医学图像。可以获取同一患者的针对身体同一部位的两种或者两种以上的模态的二维医学图像，例如，对于一位患髋关节疾病的患者，可以获取该患者的髋关节股骨部位的二维CT医学图像、二维MRI医学图像、二维超声医学图像、二维PETCT医学图像等多个模态下的二维医学图像。
S120、将至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出。将步骤S110中获取的多种模态的二维医学图像，逐一地分别输入至预先训练的相应 的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出，例如，将该患者的二维CT医学图像输入至其相对应的针对于CT图像的CT图像分割网络模型中，以获得股骨位置区域的CT医学图像；或者，将该患者的二维MRI医学图像输入至其相对应的针对于MRI图像的MRI图像分割网络模型中，以获得股骨位置区域的MRI医学图像；或者，将该患者的二维超声医学图像输入至其相对应的针对于超声医学图像的超声医学图像分割网络模型中，以获得股骨位置区域的超声医学图像；或者，将该患者的二维PETCT医学图像输入至其相对应的针对于PETCT医学图像的PETCT医学图像分割网络模型中，以获得股骨位置区域的PETCT医学图像。可选地，还可以将患者的该同一身体部位的其他二维医学图像输入至其分别相应的图像分割网络模型中进行处理，本公开实施例对此不做限定。
如果该患者该身体部位并没有任何病症，则各模态的二维医学图像均为正常图像，不会出现关于病灶或坏死情况的图像。而若是该患者的该身体部位存在着一定的病灶或坏死情况，则在多个模态的二维医学图像中，至少有一种模态本体位置区域的二维医学图像中是能够表示出该模态下该患者的本体坏死位置区域的二维医学图像。比如，所分别输出的CT模态下本体位置区域的二维医学图像和MRI模态下本体位置区域的二维医学图像当中，至少有一种，比如是MRI模态下本体位置区域的二维医学图像中包括着MRI模态下该患者的本体坏死位置区域的二维医学图像，或者也可以将MRI模态下该患者的本体坏死位置区域的二维医学图像理解为在MRI模态下与其MRI模态下本体位置区域的二维医学图像并列存在的另一个独立的二维医学图像，但仍将其与同模态下本体位置区域的二维医学图像视作一个整体。
S130、基于点云配准算法，将各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像。
参加图2A-图2C，图2A是本公开实施例提供的股骨位置区域的二维CT医学图像；图2B是本公开实施例提供的股骨位置区域的二维MRI医学图像；图2C是本公开实施例提供的股骨位置区域的CT模态和MRI模态相融合的二维医 学图像。在一些实施例中，分别基于各个模态本体位置区域的二维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态的二维医学图像相对应的点云集，包括：基于股骨位置区域的二维CT医学图像，确定其股骨中心点集和股骨头中心点集作为CT模态相应的第一点云集；基于股骨位置区域的二维MRI医学图像，确定其股骨中心点集和股骨头中心点集作为MRI模态相应的第二点云集；其中，基于点云配准算法，将各个模态二维医学图像相应的点云集进行点云配准融合，以获得多模态相融合二维医学图像，包括：基于ICP点云配准算法，将第一点云集和所述第二点云集进行点云配准融合，以获得CT模态和MRI模态相融合的二维医学图像。
S140、对多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像。
在一些实施例中，还可以将各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像。可选地，将获得的各个模态本体位置区域的二维医学图像分别进行三维重建后获得各个模态本体位置区域的三维医学图像，再将各个模态本体位置区域的三维医学图像进行点云配准融合，以获得多模态相融合三维医学图像。图3是本公开提供的医学图像融合方法的流程示意图之二，如图3所示，在图1所示实施例的基础上，步骤S130执行基于点云配准算法，将各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像，可以包括：
S1311、分别基于各个模态本体位置区域的二维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态二维医学图像相应的点云集；分别基于各个模态本体位置区域的二维医学图像，去确定其本体标志点集和本体头标志点集以确定出各个模态相应的点云集。本体标志点和本体头标志点均可以根据实际需求选取参考点来设置。当然，还可以将本体标志点和本体头标志点均选择本体中心点和本体中心点，以确定出各个模态下的本体中心点集和本体头中心点集。本体区域的中心点和本体头的中心点，均能较好地作为参考点，因此以这些点为 基础去计算确定出各个模态相应的点云集。可选地，本体可以包括股骨，本体头可以包括股骨头。
S1312、基于点云配准算法，将各个模态二维医学图像相应的点云集进行点云配准融合，以获得多模态相融合二维医学图像；基于点云配准算法，将步骤S1311所确定的各个模态二维医学图像相应的点云集进行综合的点云配准融合，以获得多模态相融合二维医学图像。在图1所示实施例的基础上，步骤S140执行对多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像，可以包括：将待三维重建的多模态相融合二维医学图像输入至预先训练好的三维重建网络，以获得待三维重建的多模态相融合二维医学图像对应的多模态相融合三维医学图像。
在一些实施例中，三维重建网络包括编码网络、转换网络和解码网络；将待三维重建的多模态相融合二维医学图像输入至预先训练好的三维重建网络，以获得待三维重建的多模态相融合二维医学图像对应的多模态相融合三维医学图像，包括：基于编码网络，提取多模态相融合二维医学图像的二维图像特征；基于转换网络，将多模态相融合二维医学图像的二维图像特征转换为三维图像特征；基于解码网络，将三维图像特征转换为多模态相融合二维医学图像对应的多模态相融合三维医学图像。
在一些实施例中，还可以基于三维图像重建法，将多模态相融合二维医学图像重建为多模态相融合三维医学图像。基于三维图像重建法(使用三维图像处理库)，将多模态相融合二维医学图像进行三维重建，获得多模态相融合三维医学图像。三维图像重建法可以参照现有的三维图像开源处理库等技术进行，此处不作赘述。
图4是本公开提供的医学图像融合方法的流程示意图之三，如图4所示，将各个模态本体位置区域的二维医学图像分别进行三维重建后再进行点云配准融合，以获得多模态相融合三维医学图像时，可以包括：
S1321、基于三维图像重建法，将各个模态本体位置区域的二维医学图像分别重建为各个模态本体位置区域的三维医学图像；基于三维图像重建法(使用三 维图像处理库)，将各个模态本体位置区域的二维医学图像分别进行三维重建，并分别对应地获得各个模态本体位置区域的三维医学图像。三维图像重建法可以参照现有的三维图像开源处理库等技术进行，此处不作赘述。
S1322、分别基于各个模态本体位置区域的三维医学图像，确定其本体标志点集和本体头标志点集分别作为该模态相应的点云集；再分别基于步骤S1321重建好的各个模态本体位置区域的三维医学图像，分别根据其确定的本体标志点集和本体头标志点集确定出各个模态相应的点云集。本体标志点和本体头标志点均可以根据实际需求选取参考点来设置。当然，还可以将本体标志点和本体头标志点均选择本体中心点和本体中心点，以确定出各个模态下的本体中心点集和本体头中心点集。本体区域的中心点和本体头的中心点，均能较好地作为参考点，因此以这些点为基础去计算确定出各个模态相应的点云集。
S1323、基于点云配准算法，将各个模态三维医学图像相应的点云集进行点云配准融合，以获得多模态相融合三维医学图像。最后基于点云配准算法，将步骤S1322所确定的各个模态三维医学图像相应的点云集进行综合的点云配准融合，最终获得多模态相融合三维医学图像。根据本公开提供的医学图像融合方法，至少两种模态的二维医学图像包括二维CT医学图像、二维MRI医学图像、二维超声医学图像、二维PETCT医学图像中的至少两种。当然还可以包括其他模态下的二维医学图像，本公开对此不做限定。
可选地，当所应用患者为患髋关节疾病的该类患者时，可以采集该类患者的髋关节部位尤其是股骨部位的二维医学图像，以便于医护人员诊断参考。所以，本实施例设置本体理解为股骨，相应地，本体头则为股骨头。因此，步骤S120中通过图像分割网络模型输出的各个模态本体位置区域的二维医学图像，举例为CT模态下和MRI模态下的股骨位置区域的二维医学图像。
根据本公开提供的医学图像融合方法，在上述实施例的基础上，上述步骤S120、将至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出，还包括：
将二维CT医学图像输入至预先训练的CT图像分割网络模型以获得股骨位置区域的CT医学图像；和/或，将二维MRI医学图像输入至预先训练的MRI图像分割网络模型以获得股骨位置区域的MRI医学图像；和/或，将二维超声医学图像输入至预先训练的超声图像分割网络模型以获得股骨位置区域的超声医学图像；和/或，将二维PETCT医学图像输入至预先训练的PETCT图像分割网络模型以获得股骨位置区域的PETCT医学图像。
当患者股骨位置区域存在坏死或病灶情况时，还设置股骨位置区域的MRI医学图像包括着股骨坏死位置区域MRI医学图像，也可以设置为单独获取将带有股骨坏死的二维MRI医学图像输入至预先训练的MRI图像分割网络模型以获得单独的一个股骨坏死位置区域MRI医学图像。
上述步骤S120还可以包括：将二维CT医学图像和二维MRI医学图像分别输入至各自相应的预先训练的图像分割网络模型中，从而分别输出股骨位置区域的CT医学图像，以及股骨位置区域的MRI医学图像。并且，股骨位置区域的MRI医学图像中包括股骨坏死位置区域的MRI医学图像，即，输出的股骨位置区域的MRI医学图像中包含着MRI模态下股骨坏死位置区域的MRI医学图像的表示。或者，也可将股骨坏死位置区域的MRI医学图像理解为是在MRI模态下与股骨位置区域的MRI医学图像并存的另一独立的二维医学图像，但仍将需其与股骨位置区域的MRI医学图像在逻辑上视作一个整体。
而当执行步骤S1321-S1323方法时，结合股骨位置区域的MRI医学图像包括着股骨坏死位置区域MRI医学图像的设置，过程说明如下：
步骤S131、基于三维图像重建法，将各个模态本体位置区域的二维医学图像分别重建为各个模态本体位置区域的三维医学图像。
即，基于三维图像重建法，可以使用三维图像处理库，将股骨位置区域的CT医学图像重建为股骨位置区域的三维CT医学图像，以及将股骨位置区域的MRI医学图像(包含股骨坏死位置区域MRI医学图像)重建为股骨位置区域的三维MRI医学图像(包含股骨坏死位置区域的三维MRI医学图像)。其中，股骨坏死位置区域的三维MRI医学图像既可以理解为是与股骨位置区域的三维 MRI医学图像并存的另一个独立三维医学图像，也可以理解为是包含在股骨位置区域的三维MRI医学图像中与其共同作为一个三维医学图像整体。
步骤S132、分别基于各个模态本体位置区域的三维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态三维医学图像相应的点云集，可以是确定其本体中心点集和本体头中心点集作为各个模态三维医学图像相应的点云集，包括：即，基于股骨位置区域的三维CT医学图像，确定其股骨中心点集和股骨头中心点集作为CT模态下三维CT医学图像相应的第一点云集；基于股骨位置区域的三维MRI医学图像，确定其股骨中心点集和股骨头中心点集作为MRI模态下三维MRI医学图像相应的第二点云集；股骨的中心点和股骨头的中心点，均能较好地作为参考点，因此以这些点为基础去计算确定出各个模态三维医学图像相应的点云集。
各个模态三维医学图像相应的点云集的确定过程包括：
基于股骨位置区域的三维CT医学图像，确定其股骨中心点集和股骨头中心点集作为CT模态相应的第一点云集M。根据模型输出的股骨位置区域的二维CT医学图像，其股骨区域是在二维横断面上显示的，股骨头层面是近似圆形的，所以可以直接计算出股骨头中心点，然后在髓腔层面确定每一层的髓腔中心点即可构成股骨中心点。根据该二维图像进行三维重建后的股骨位置区域的三维CT医学图像中也可以得出这些点。而多个股骨位置区域的三维CT医学图像则得出股骨中心点集和股骨头中心点集，进而由其组合构成第一点云集M。同理，再基于股骨位置区域的三维MRI医学图像(包含股骨坏死位置区域的三维MRI医学图像)，确定其股骨中心点集和股骨头中心点集作为MRI模态相应的第二点云集N。
步骤S133、基于点云配准算法，将各个模态三维医学图像相应的点云集进行点云配准融合，以获得多模态相融合医学图像。即，基于ICP点云配准算法，将第一点云集M和第二点云集N这两组点云进行点云配准融合，进而获得CT模态和MRI模态相融合三维医学图像，配准精确度更高且配准时间成本低。其中，ICP点云配准算法，可以采用三维点云配准方法：基于主成分析法计算待配 准点云集对应的第一参考坐标系以及参考点云集对应的第二参考坐标系；基于第一参考坐标系以及第二参考坐标系，对待配准点云集和参考点云集进行初始配准；再基于多维二叉搜索树算法，在初始配准后的参考点云集中寻找与待配准点云集中距离最近的点，得到多组对应点对；分别计算多组对应点对之间的方向向量夹角；基于预设夹角阈值和方向向量夹角，对待配准点云集和参考点云集进行精配准，最终获得CT模态和MRI模态相融合三维医学图像。
图5是股骨位置区域的CT模态和股骨位置区域的MRI模态相融合三维医学图像；图6是股骨位置区域的CT模态以及股骨位置区域的MRI模态和股骨坏死位置区域的MRI模态相融合三维医学图像；图7是通过本公开提供的医学图像融合方法图像分割和三维重建后的股骨位置区域的三维CT医学图像；图8是通过本公开提供的医学图像融合方法图像分割和三维重建后的股骨位置区域的三维MRI医学图像；图9是通过本公开提供的医学图像融合方法图像分割和三维重建后的股骨坏死位置区域的三维MRI医学图像；图2C是经上述步骤进行点云配准融合后获得的该患者的股骨位置区域的CT模态和MRI模态相融合二维医学图像；图5则是图2C经上述步骤进行三维重建后获得的该患者的股骨位置区域的CT模态和MRI模态相融合三维医学图像；图6则是经上述步骤进行点云配准融合后获得的该患者的股骨位置区域的CT模态以及股骨位置区域的MRI模态和股骨坏死位置区域的MRI模态相融合三维医学图像；图7则是经上述步骤进行三维重建后获得的该患者的股骨位置区域的三维CT医学图像；图8则是经上述步骤进行三维重建后获得的该患者的股骨位置区域的三维MRI医学图像，图9则是经上述步骤进行三维重建后获得的该患者的股骨坏死位置区域的三维MRI医学图像。
图7和图8可以先进行融合后获得图5，图5表示股骨没有坏死的情况下相融合三维图像，而图9是通过本公开提供的医学图像融合方法图像分割和三维重建后的股骨坏死位置区域的三维MRI医学图像，也可理解为是独立的股骨坏死位置区域的三维MRI医学图像。可以将图9的股骨坏死位置区域的三维MRI医学图像与图8的股骨位置区域的三维MRI医学图像共同作为一个三维医学图像 整体，但是在进行点云配准融合处理时本质上还是先将这二者的三维医学图像进行融合处理后作为一个三维医学图像整体，以新的股骨位置区域的三维MRI医学图像的整体，再去与股骨位置区域的三维CT医学图像进行点云配准融合，当然，也可以先将图7所示的股骨位置区域的三维CT医学图像和图8所示的股骨位置区域的三维MRI医学图像融合获得图5，再将图5和图9融合获得图6，即最终获得股骨位置区域的三维CT医学图像和股骨位置区域的三维MRI医学图像以及股骨坏死位置区域的三维MRI医学图像。
依ICP点云配准算法进行配准到一起后再进行三维重建所获得的综合结果：CT模态和MRI模态相融合三维医学图像。该CT模态和MRI模态相融合三维医学图像精准地融合了CT模态和MRI模态的图像的不同特征，并且还能体现出该患者真正的股骨坏死位置区域(如图6中股骨头内部上方的异形小区域部位所示)，进而能够为医护人员提供对该患有髋关节疾病的患者进行治疗前的精准的参考依据。
根据本公开提供的医学图像配准融合方法，各模态下二维医学图像分别相应的各个图像分割网络模型的预先训练过程的原理均相一致，本公开实施例仅以CT图像分割网络模型的预先训练过程和MRI图像分割网络模型的预先训练过程为例进行说明。本公开实施例提供一种模型训练方法，图10是本公开提供的方法中CT图像分割网络模型的训练过程的流程示意图，如图10所示，该方法中CT图像分割网络模型的训练过程，包括：
S610、获取多个患者的二维CT医学图像数据集，其中，二维CT医学图像数据集中包含有多个二维CT医学图像；获取大量的患有髋关节疾病患者的二维CT医学图像数据集，其中，二维CT医学图像数据集中包含有多个二维CT医学图像。
S620、采用自动标注、手动标注中的至少一种方式，标注出各个二维CT医学图像中的股骨位置区域；对二维CT医学图像数据集中的各个二维CT医学图像，分别自动或者手动地标注出股骨位置区域，将其作为我们的数据库基础。自 动标注时可借助标注软件进行。从而获得经过标注后的各个二维CT医学图像形成的二维CT医学图像数据集。
S630、将经过标注后的各个二维CT医学图像按照预设比例划分为CT训练数据集和CT测试数据集；在进行训练数据集和测试数据集划分之前，还可以将经过标注后的二维CT医学图像数据集中的各个二维CT医学图像进行相应的格式转换，如此才能顺利地进入图像分割网络进行处理。可选地，是将经过标注后的二维CT医学图像数据集中的各个二维CT医学图像的二维横断面DICOM格式转换成JPG格式的图片。将经过标注并经过格式转换后的各个二维CT医学图像，按照预比例7:3来划分为CT训练数据集和CT测试数据集。CT训练数据集用于作为CT图像分割网络的输入，以训练出CT图像分割网络模型。而CT测试数据集用于后续对CT图像分割网络模型的性能进行测试和优化。
S640、基于CT训练数据集并结合神经网络算法和深度学习训练出CT图像分割网络模型；基于CT训练数据集并结合神经网络算法和深度学习，利用多次下采样识别CT训练数据集中图像数据的深层特征，还利用多次上采样将学习到的深层特征反向存储至图像数据中，以实现通过第一图像分割网络(主干图像分割网络)获得图像粗分割结果，并再通过第二图像分割网络(从属图像分割网络)对分类不确定的多个点进行精确分割处理，以获得精确分割结果。最终训练出CT图像分割网络模型。
或者，图11是本公开提供的方法中MRI图像分割网络模型的训练过程的流程示意图，如图11所示，该方法中MRI图像分割网络模型的训练过程，包括：
S710、获取多个患者的二维MRI医学图像数据集，其中，二维MRI医学图像数据集中包含有多个二维MRI医学图像；获取大量的患有髋关节疾病患者(可以与步骤S610中为相同患者)的二维MRI医学图像数据集，其中，二维MRI医学图像数据集中包含有多个二维MRI医学图像；
S720、采用自动标注、手动标注中的至少一种方式，标注出各个二维MRI医学图像中的股骨位置区域；对二维MRI医学图像数据集中的各个二维MRI医学图像，分别自动或者手动地标注出股骨位置区域，当然若有股骨坏死情况，还 应该一并标注出股骨坏死位置区域，也将其作为我们的数据库基础。自动标注时可借助标注软件进行。从而获得经过标注后的各个二维MRI医学图像形成的二维MRI医学图像数据集。
S730、将经过标注后的各个二维MRI医学图像按照预设比例划分为MRI训练数据集和MRI测试数据集；在进行训练数据集和测试数据集划分之前，还可以将经过标注后的二维MRI医学图像数据集中的各个二维MRI医学图像进行相应的格式转换，如此才能顺利地进入图像分割网络进行处理。可选地，是将经过标注后的二维MRI医学图像数据集中的各个二维MRI医学图像的原格式转换成PNG格式的图片。
将经过标注并经过格式转换后的各个二维MRI医学图像，按照预比例7:3来划分为MRI训练数据集和MRI测试数据集。MRI训练数据集用于作为MRI图像分割网络的输入，以训练出MRI图像分割网络模型。而MRI测试数据集用于后续对MRI图像分割网络模型的性能进行测试和优化。
S740、基于MRI训练数据集并结合神经网络算法和深度学习训练出MRI图像分割网络模型。基于MRI训练数据集并结合神经网络算法和深度学习，利用多次下采样识别MRI训练数据集中图像数据的深层特征，还利用多次上采样将学习到的深层特征反向存储至图像数据中，以实现通过第一图像分割网络(主干图像分割网络)获得图像粗分割结果，并再通过第二图像分割网络(从属图像分割网络)对分类不确定的多个点进行精确分割处理，以获得精确分割结果。最终训练出MRI图像分割网络模型。根据本公开提供的多模态医学图像配准融合方法，基于CT训练数据集或MRI训练数据集并结合神经网络算法和深度学习训练出CT图像分割网络模型或MRI图像分割网络模型，图12是图10和图11所示训练过程的深度学习训练网络结构图，再结合图12所示，模型的训练过程包括以下几个步骤：
(1)通过第一图像分割模型对CT训练数据集或MRI训练数据集进行粗分割处理：对CT训练数据集或MRI训练数据集中的图像数据执行多次下采样，以通过卷积层和池化层的处理识别各图像数据的深层特征；对进行下采样后的图 像数据执行多次上采样，以通过上采样层和卷积层的处理反向存储深层特征至图像数据中；利用Adam分类优化器进行图像粗分类处理，获得图像粗分割结果；
首先利用第一图像分割模型(unet backbone主干神经网络，简称unet主神经网络)，对CT训练数据集或MRI训练数据集进行粗分割处理(Coarse prediction)。第一阶段执行4次下采样来学习CT训练数据集或MRI训练数据集各个图像数据的深层特征。其中每个下采样层中包括2个卷积层和1个池化层，卷积层中的卷积核大小为3*3，池化层中的卷积核大小为2*2，每个卷积层中的卷积核的个数为128、256、512等。对进行下采样后的图像数据再执行4次上采样，以将下采样所学习的各个图像数据的深层特征重新存储到图像数据中。其中每个上采样层中包括1个上采样层和2个卷积层，其中，卷积层的卷积核大小为3*2，而上采样层中的卷积核大小为2*2，每个上采样层中的卷积核个数为512、256、128等。上述的卷积神经网络的采样过程就是对各个图像数据进行特征提取的过程。我们可以在各个原图像中识别出特征部分，可以通过卷积神经网络不断重复地去学习其深层的特征，最后反向存储到原图像上。利用Adam分类优化器进行图像粗分类处理，获得图像粗分割结果。
(2)通过第二图像分割模型对图像粗分割结果进行精分割处理：从深层特征中筛选预设置信度的特征点数据，对特征点数据进行双线性插值计算，基于计算后的特征点数据识别深层特征的所属类别，获得最终的图像分割结果。再通过第二图像分割模型(pointrend从属神经网络，简称pointrend从神经网络)，对经unet主神经网络处理后获得的图像粗分割结果进行精分割处理。通过Bilinear双线性插值法对图像粗分割结果进行上采样学习计算，以获得各个图像的密集特征图；针对每一个图像的密集特征图，均从中选择多个所属分类未知的点，也即是选择N个所属分类最不确定的点，比如选择多个置信度/概率为0.5的点，然后计算表并提取这N个点的深层特征表示，并利用MLP多层感知器逐点预测这N个点经精分割后各自的所属分类，比如判断该点是属于股骨区域，还是非股骨区域；重复执行上述步骤直至这N个点中的每一个点在精分割后的所属分类逐一预测完毕。其利用MLP多层感知器逐点预测这N个点经精分割后各自的所属 分类时使用一个小型的分类器去判断这个点属于哪个分类，这其是等价于用一个1*1的卷积来预测。但是对于置信度接近于1或0的点，其所属分类依然很明确，故而这些点不再进行逐点预测。减少了所需预测点的数量，并且从整体上提升了最终图像分割结果的精准度。从而，最终获得最优化的图像精分割结果(optimized prediction)。
(3)基于最终的图像分割结果以及CT训练数据集或MRI训练数据集计算损失函数；
(4)基于损失函数调整CT图像分割网络模型或MRI图像分割网络模型的参数，直至CT图像分割网络模型或MRI图像分割网络模型训练成功。
其中，设置损失函数的作用是，可以在模型预训练过程中根据损失函数的变化对每次训练的样本数的大小进行调整。可选地，在通过unet主神经网络对CT训练数据集或MRI训练数据集进行粗分割处理的过程中，每次训练的样本数Batch_Size的大小的初始值设置为6，学习率设置为1e-4，优化器使用Adam优化器，并设置损失函数DICE loss。将CT训练数据集或MRI训练数据集全部送入unet主神经网络进行训练时，便可根据训练过程中损失函数的变化情况，实时有效地调整每次训练的样本数Batch_Size的大小，从而在粗分割处理阶段提升处理精确度。
根据本公开提供的模型训练方法，方法还包括：在各卷积层后均设置激活函数；其中，所有的卷积层后面还均设有激活函数，比如可以是relu激活函数、Sigmoid激活函数、tanh激活函数、leaky relu激活函数等等，以增强卷积神经网络的非线性因素，使得经该卷积神经网络能更好地解决较为复杂的计算处理过程。和/或，通过第一图像分割模型对CT训练数据集或MRI训练数据集进行粗分割处理的过程中，最后一次上采样结束后设置有dropout层；最后一次上采样结束后，或者说最后一个上采样层之后，设有一个dropout层，用于在深度学习网络的训练过程中，按照一定的概率将一些神经网络单元暂时从网络中丢弃，以提升模型训练的精确度。其中，dropout层的概率设置为0.7。
本公开还提供一种医学图像融合系统，图13是本公开提供的医学图像融合系统的结构示意图之一，如图13所示，该系统包括：多模态图像获取单元1010、二维图像输出单元1020、二维图像融合单元1030和三维重建单元1040，其中，多模态图像获取单元1010，被配置为获取患者的至少两种模态的二维医学图像；二维图像输出单元1020，被配置为将所述至少两种模态的二维医学图像输入至预先训练的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；二维图像融合单元1030，被配置为基于点云配准算法，将所述各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像；三维重建单元1040，被配置为对所述多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像。
本公开还提供一种电子设备，图14是本公开提供的电子设备的结构示意图，如图14所示，该电子设备可以包括：处理器(processor)1310、通信接口(Communications Interface)1320、存储器(memory)1330和通信总线1340，其中，处理器1310，通信接口1320，存储器1330通过通信总线1340完成相互间的通信。处理器1310可以调用存储器1330中的逻辑指令，以执行所述医学图像融合方法，或者模型训练方法的全部或部分步骤。
另一方面，本公开还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例所提供的医学图像融合方法，或者模型训练方法的全部或部分步骤。
又一方面，本公开还提供一种非暂态计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如上各实施例所提供的医学图像融合方法，或者模型训练方法的全部或部分步骤。

Claims (12)

  1. 一种医学图像融合方法，包括：获取患者的至少两种模态的二维医学图像；将所述至少两种模态的二维医学图像分别输入至预先训练的相应的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；基于点云配准算法，将所述各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像；对所述多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像。
  2. 根据权利要求1所述的方法，其中，基于点云配准算法，将所述各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像，包括：分别基于所述各个模态本体位置区域的二维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态的二维医学图像相对应的点云集；基于点云配准算法，将各个模态二维医学图像相应的点云集进行点云配准融合，以获得多模态相融合二维医学图像。
  3. 根据权利要求2所述的方法，其中，所述至少两种模态的二维医学图像包括二维CT医学图像、二维MRI医学图像、二维超声医学图像、二维PETCT医学图像中的至少两种，所述本体包括股骨，所述本体头包括股骨头；分别基于所述各个模态本体位置区域的二维医学图像，确定其本体标志点集和本体头标志点集分别作为各个模态的二维医学图像相对应的点云集，包括：基于股骨位置区域的二维CT医学图像，确定其股骨中心点集和股骨头中心点集作为CT模态相应的第一点云集；基于所述股骨位置区域的二维MRI医学图像，确定其股骨中心点集和股骨头中心点集作为MRI模态相应的第二点云集；其中，基于点云配准算法，将各个模态二维医学图像相应的点云集进行点云配准融合，以获得多模态相融合二维医学图像，包括：基于ICP点云配准算法，将所述第一点云集和所述第二点云集进行点云配准融合，以获得CT模态和MRI模态相融合的二维医学图像。
  4. 根据权利要求3所述的方法，其中，基于ICP点云配准算法，将所述第一点云集和所述第二点云集进行点云配准融合，以获得CT模态和MRI模态相融合的二维医学图像的方法包括：基于主成分析法计算待配准点云集对应的第一参考坐标系以及参考点云集对应的第二参考坐标系；基于第一参考坐标系以及第二参考坐标系，对待配准点云集和参考点云集进行初始配准；再基于多维二叉搜索树算法，在初始配准后 的参考点云集中寻找与待配准点云集中距离最近的点，得到多组对应点对；分别计算多组对应点对之间的方向向量夹角；基于预设夹角阈值和方向向量夹角，对待配准点云集和参考点云集进行精配准，最终获得CT模态和MRI模态相融合三维医学图像；其中，所述第一点云集包括待配准点云集和参考点云集中任一个，所述第二点云集包括待配准点云集和参考点云集中与所述第一点云集不同的一个。
  5. 根据权利要求1至4任一项所述的方法，其中，对所述多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像，包括：将待三维重建的多模态相融合二维医学图像输入至预先训练好的三维重建网络，以获得所述待三维重建的多模态相融合二维医学图像对应的多模态相融合三维医学图像。
  6. 根据权利要求5所述的方法，其中，所述三维重建网络包括编码网络、转换网络和解码网络；将待三维重建的多模态相融合二维医学图像输入至预先训练好的三维重建网络，以获得所述待三维重建的多模态相融合二维医学图像对应的多模态相融合三维医学图像，包括：基于所述编码网络，提取所述多模态相融合二维医学图像的二维图像特征；基于所述转换网络，将所述多模态相融合二维医学图像的二维图像特征转换为三维图像特征；基于所述解码网络，将所述三维图像特征转换为所述多模态相融合二维医学图像对应的多模态相融合三维医学图像。
  7. 一种模型训练方法，所述方法包括图像分割网络模型的训练过程，包括：获取多个患者的二维医学图像数据集，其中，所述二维医学图像数据集中包含有多个二维医学图像；采用自动标注、手动标注中的至少一种方式，标注出各个所述二维医学图像中的股骨位置区域；将经过标注后的各个二维医学图像按照预设比例划分为训练数据集和测试数据集；基于所述训练数据集并结合神经网络算法和深度学习训练出所述图像分割网络模型。
  8. 根据权利要求7所述的方法，其中，基于所述训练数据集并结合神经网络算法和深度学习训练出所述图像分割网络模型，包括：通过第一图像分割模型对所述训练数据集进行分割：对所述训练数据集中的图像数据执行多次下采样，以通过卷积层和池化层的处理识别各图像数据的深层特征；对进行下采样后的图像数据执行多次上采样，以通过上采样层和卷积层的处理反向存储所述深层特征至所述图像数据中，获得图像粗分割结果；基于所述图像粗分割结果，通过第二图像分割模型从所述深层特征中筛选预设置信度的特征点数据，对所述特征点数据进行双线性插值计算，基于计 算后的特征点数据识别所述深层特征的所属类别，获得最终的图像分割结果；基于最终的图像分割结果以及所述训练数据集计算损失函数；基于所述损失函数调整所述图像分割网络模型的参数，直至所述图像分割网络模型训练成功。
  9. 根据权利要求8所述的方法，其中，所述获得最终的图像分割结果的方法包括：通过Bilinear双线性插值法对图像粗分割结果进行上采样学习计算，以获得各个图像的密集特征图；针对每一个图像的密集特征图，从中选择多个所属分类未知的点，选择N个所属分类最不确定的点；计算并提取N个点的深层特征表示，并利用MLP多层感知器逐点预测这N个点经精分割后各自的所属分类；重复执行上述步骤直至N个点中的每一个点在精分割后的所属分类逐一预测完毕。
  10. 根据权利要求9所述的方法，所述方法还包括以下至少一种设置方式：在所述各卷积层后设置激活函数；在最后一次上采样结束后，通过设置的dropout层按照预设概率将所述图像分割网络模型中的部分神经网络单元丢弃。
  11. 一种医学图像融合系统，包括：多模态图像获取单元，被配置为获取患者的至少两种模态的二维医学图像；二维图像输出单元，被配置为将所述至少两种模态的二维医学图像输入至预先训练的图像分割网络模型，以分别获得各个模态本体位置区域的二维医学图像的输出；二维图像融合单元，被配置为基于点云配准算法，将所述各个模态本体位置区域的二维医学图像进行点云配准融合，以获得多模态相融合二维医学图像；三维重建单元，被配置为对所述多模态相融合二维医学图像进行三维重建处理，以获得多模态相融合三维医学图像。
  12. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1至6任一项所述的医学图像融合方法，或者权利要求7至10中任一项所述的模型训练方法的全部或部分步骤。
PCT/CN2021/128242 2021-06-07 2021-11-02 医学图像融合方法及系统、模型训练方法及存储介质 WO2022257345A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110633334.2A CN113506334B (zh) 2021-06-07 2021-06-07 基于深度学习的多模态医学图像融合方法及系统
CN202110633334.2 2021-06-07

Publications (1)

Publication Number Publication Date
WO2022257345A1 true WO2022257345A1 (zh) 2022-12-15

Family

ID=78009108

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/128242 WO2022257345A1 (zh) 2021-06-07 2021-11-02 医学图像融合方法及系统、模型训练方法及存储介质

Country Status (2)

Country Link
CN (1) CN113506334B (zh)
WO (1) WO2022257345A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071386A (zh) * 2023-01-09 2023-05-05 安徽爱朋科技有限公司 一种关节疾病的医学影像的动态分割方法
CN116269762A (zh) * 2023-03-30 2023-06-23 重庆市妇幼保健院(重庆市妇产科医院、重庆市遗传与生殖研究所) 用于骶棘韧带悬吊手术导航配准的呼吸补偿方法及系统
CN116416235A (zh) * 2023-04-12 2023-07-11 北京建筑大学 一种基于多模态超声数据的特征区域预测方法和装置
US20230289984A1 (en) * 2022-03-10 2023-09-14 Siemens Healthcare Gmbh Automatic mr-us prostate image fusion through semi-supervised constrained learning
CN116797726A (zh) * 2023-05-20 2023-09-22 北京大学 器官三维重建方法、装置、电子设备和存储介质
CN116863146A (zh) * 2023-06-09 2023-10-10 强联智创（北京）科技有限公司 用于对血管瘤特征进行提取的方法、设备及存储介质
CN116958132A (zh) * 2023-09-18 2023-10-27 中南大学 基于视觉分析的手术导航系统
CN117710227A (zh) * 2023-12-14 2024-03-15 北京长木谷医疗科技股份有限公司 一种基于多模态医学图像的模态融合方法及装置
CN117974735A (zh) * 2024-04-02 2024-05-03 西北工业大学 一种面向数字人的跨模态医学影像配准方法、系统和设备
CN118096729A (zh) * 2024-04-19 2024-05-28 南京理工大学 一种基于二维—深度信息融合的焊缝识别方法
CN118097156A (zh) * 2024-04-26 2024-05-28 百洋智能科技集团股份有限公司 盆底功能障碍检测方法、装置、计算机设备与存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506334B (zh) * 2021-06-07 2023-12-15 刘星宇 基于深度学习的多模态医学图像融合方法及系统
CN114387317B (zh) * 2022-03-24 2022-06-17 真健康（北京）医疗科技有限公司 Ct图像和mri三维图像的配准方法、装置
TWI838785B (zh) * 2022-07-06 2024-04-11 中國醫藥大學 三維醫療影像的建構方法
CN115462903B (zh) * 2022-11-14 2023-04-07 卡本(深圳)医疗器械有限公司 一种基于磁导航的人体内外部传感器协同定位系统
CN116228903B (zh) * 2023-01-18 2024-02-09 北京长木谷医疗科技股份有限公司 基于csa模块及深度学习模型的高清ct图像重建方法
CN116955681B (zh) * 2023-09-08 2024-04-26 北京触幻科技有限公司 一种三维可视化医学影像系统
CN118397059B (zh) * 2024-06-27 2024-09-17 西安电子科技大学 用于多模态影像增强与配准的模型训练方法及配准方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179231A (zh) * 2019-12-20 2020-05-19 上海联影智能医疗科技有限公司 图像处理方法、装置、设备和存储介质
US20200285902A1 (en) * 2019-03-06 2020-09-10 Canon Medical Systems Corporation Medical image processing apparatus, learning method, x-ray diagnostic apparatus, and medical image processing method
CN112150524A (zh) * 2020-09-29 2020-12-29 武汉大学 一种基于深度学习的二维和三维医学图像配准方法和系统
CN113450294A (zh) * 2021-06-07 2021-09-28 刘星宇 多模态医学图像配准融合方法、装置及电子设备
CN113506334A (zh) * 2021-06-07 2021-10-15 刘星宇 基于深度学习的多模态医学图像融合方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111492403A (zh) * 2017-10-19 2020-08-04 迪普迈普有限公司 用于生成高清晰度地图的激光雷达到相机校准
CN110060227A (zh) * 2019-04-11 2019-07-26 艾瑞迈迪科技石家庄有限公司 多模态影像融合显示方法和装置
CN112435341B (zh) * 2020-11-23 2022-08-19 推想医疗科技股份有限公司 三维重建网络的训练方法及装置、三维重建方法及装置
CN112862830B (zh) * 2021-01-28 2023-12-22 陕西师范大学 一种多模态图像分割方法、系统、终端及可读存储介质
CN112826590A (zh) * 2021-02-02 2021-05-25 复旦大学 基于多模态融合和点云配准的膝关节置换术空间注册系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200285902A1 (en) * 2019-03-06 2020-09-10 Canon Medical Systems Corporation Medical image processing apparatus, learning method, x-ray diagnostic apparatus, and medical image processing method
CN111179231A (zh) * 2019-12-20 2020-05-19 上海联影智能医疗科技有限公司 图像处理方法、装置、设备和存储介质
CN112150524A (zh) * 2020-09-29 2020-12-29 武汉大学 一种基于深度学习的二维和三维医学图像配准方法和系统
CN113450294A (zh) * 2021-06-07 2021-09-28 刘星宇 多模态医学图像配准融合方法、装置及电子设备
CN113506334A (zh) * 2021-06-07 2021-10-15 刘星宇 基于深度学习的多模态医学图像融合方法及系统

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230289984A1 (en) * 2022-03-10 2023-09-14 Siemens Healthcare Gmbh Automatic mr-us prostate image fusion through semi-supervised constrained learning
CN116071386A (zh) * 2023-01-09 2023-05-05 安徽爱朋科技有限公司 一种关节疾病的医学影像的动态分割方法
CN116071386B (zh) * 2023-01-09 2023-10-03 安徽爱朋科技有限公司 一种关节疾病的医学影像的动态分割方法
CN116269762A (zh) * 2023-03-30 2023-06-23 重庆市妇幼保健院(重庆市妇产科医院、重庆市遗传与生殖研究所) 用于骶棘韧带悬吊手术导航配准的呼吸补偿方法及系统
CN116416235B (zh) * 2023-04-12 2023-12-05 北京建筑大学 一种基于多模态超声数据的特征区域预测方法和装置
CN116416235A (zh) * 2023-04-12 2023-07-11 北京建筑大学 一种基于多模态超声数据的特征区域预测方法和装置
CN116797726A (zh) * 2023-05-20 2023-09-22 北京大学 器官三维重建方法、装置、电子设备和存储介质
CN116797726B (zh) * 2023-05-20 2024-05-07 北京大学 器官三维重建方法、装置、电子设备和存储介质
CN116863146A (zh) * 2023-06-09 2023-10-10 强联智创（北京）科技有限公司 用于对血管瘤特征进行提取的方法、设备及存储介质
CN116863146B (zh) * 2023-06-09 2024-03-08 强联智创（北京）科技有限公司 用于对血管瘤特征进行提取的方法、设备及存储介质
CN116958132A (zh) * 2023-09-18 2023-10-27 中南大学 基于视觉分析的手术导航系统
CN116958132B (zh) * 2023-09-18 2023-12-26 中南大学 基于视觉分析的手术导航系统
CN117710227A (zh) * 2023-12-14 2024-03-15 北京长木谷医疗科技股份有限公司 一种基于多模态医学图像的模态融合方法及装置
CN117710227B (zh) * 2023-12-14 2024-06-11 北京长木谷医疗科技股份有限公司 一种基于多模态医学图像的模态融合方法及装置
CN117974735A (zh) * 2024-04-02 2024-05-03 西北工业大学 一种面向数字人的跨模态医学影像配准方法、系统和设备
CN118096729A (zh) * 2024-04-19 2024-05-28 南京理工大学 一种基于二维—深度信息融合的焊缝识别方法
CN118097156A (zh) * 2024-04-26 2024-05-28 百洋智能科技集团股份有限公司 盆底功能障碍检测方法、装置、计算机设备与存储介质

Also Published As

Publication number Publication date
CN113506334B (zh) 2023-12-15
CN113506334A (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
WO2022257345A1 (zh) 医学图像融合方法及系统、模型训练方法及存储介质
WO2022257344A1 (zh) 图像配准融合方法及装置、模型训练方法及电子设备
Namburete et al. Fully-automated alignment of 3D fetal brain ultrasound to a canonical reference space using multi-task learning
JP7143008B2 (ja) 深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム
Yaqub et al. A deep learning solution for automatic fetal neurosonographic diagnostic plane verification using clinical standard constraints
WO2023024882A1 (zh) 基于深度学习的股骨髓腔形态识别方法、装置及存储介质
Luca et al. Impact of quality, type and volume of data used by deep learning models in the analysis of medical images
CN111368849B (zh) 图像处理方法、装置、电子设备及存储介质
Ye et al. Medical image diagnosis of prostate tumor based on PSP-Net+ VGG16 deep learning network
US20230206447A1 (en) Image encoding device, image encoding method, image encoding program, image decoding device, image decoding method, image decoding program, image processing device, learning device, learning method, learning program, similar image search device, similar image search method, and similar image search program
Lang et al. Localization of craniomaxillofacial landmarks on CBCT images using 3D mask R-CNN and local dependency learning
CN112308835A (zh) 一种融合密集连接与注意力机制的颅内出血分割方法
Lu et al. PKRT-Net: prior knowledge-based relation transformer network for optic cup and disc segmentation
Horgan et al. Artificial intelligence in obstetric ultrasound: A scoping review
CN115953416A (zh) 基于深度学习的膝骨关节核磁共振图像自动分割方法
CN114581459A (zh) 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法
Mahapatra et al. Self-supervised multimodal generalized zero shot learning for Gleason grading
Ilesanmi et al. Organ segmentation from computed tomography images using the 3D convolutional neural network: a systematic review
CN113674251A (zh) 基于多模态影像的腰椎图像分类识别系统、设备和介质
CN113762285A (zh) 一种分析和处理医学影像的系统及方法
CN117633558A (zh) 基于视觉语言模型的多激励融合零样本病变检测方法
Qin et al. Residual block-based multi-label classification and localization network with integral regression for vertebrae labeling
Bhavya et al. Cervical spine fracture detection using pytorch
CN111640127A (zh) 一种用于骨科的精准临床诊断导航方法
CN117011246A (zh) 基于Transformer的分节段椎骨CT图像分割方法与系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21944844

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21944844

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 27-05-2024)