WO2022120898A1 - 一种磁共振血管壁图像分析方法、系统及计算机可读介质 - Google Patents

一种磁共振血管壁图像分析方法、系统及计算机可读介质 Download PDF

Info

Publication number
WO2022120898A1
WO2022120898A1 PCT/CN2020/136549 CN2020136549W WO2022120898A1 WO 2022120898 A1 WO2022120898 A1 WO 2022120898A1 CN 2020136549 W CN2020136549 W CN 2020136549W WO 2022120898 A1 WO2022120898 A1 WO 2022120898A1
Authority
WO
WIPO (PCT)
Prior art keywords
vessel wall
blood
blood vessel
sequence
image
Prior art date
Application number
PCT/CN2020/136549
Other languages
English (en)
French (fr)
Inventor
张娜
郑海荣
刘新
徐文静
胡战利
梁栋
邹超
李烨
Original Assignee
深圳先进技术研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳先进技术研究院 filed Critical 深圳先进技术研究院
Publication of WO2022120898A1 publication Critical patent/WO2022120898A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Definitions

  • the present invention relates to the technical field of magnetic resonance imaging, and in particular, to a magnetic resonance blood vessel wall image analysis method, system and computer-readable medium.
  • Atherosclerosis is the main cause of cardiovascular disease, and its main lesions are lipid deposition in the intima in some parts of the arteries, accompanied by the proliferation of smooth muscle cell nuclear fiber matrix components, and gradually develop into atherosclerosis.
  • Sclerosing plaque (atherosclerotic plaque), a part of the vulnerable plaque is easily separated from the blood vessel wall under the action of blood flow, and leads to serious consequences such as lumen occlusion or wall rupture and hemorrhage. Studying the early features of carotid atherosclerosis has important implications for the prevention of cardiovascular disease.
  • the existing methods for segmenting the lumen and the vessel wall of the blood vessel wall generally scan data through magnetic resonance imaging technology, and then reconstruct a 3D image through technologies such as compressed sensing.
  • the doctor manually reconstructs the cross-sectional 2D image of the blood vessel on the workstation, and then manually segments the blood vessel wall on the 2D image.
  • This manual segmentation method is not an end-to-end method.
  • the process from the acquired 3D image to the 2D image reconstruction and then to the segmentation result is fragmented, which makes the doctor's diagnosis work cumbersome and complicated, inefficient, time-consuming and labor-intensive, and serious. Depends on the doctor's experience.
  • the present invention provides a magnetic resonance blood vessel wall image analysis method, system and computer-readable medium, which can achieve efficient and accurate segmentation of the lumen and wall of the blood vessel wall, and provide stability for plaque stabilization.
  • Sexual assessment provides a strong reference.
  • a magnetic resonance blood vessel wall image analysis method comprising:
  • the given blood vessel wall image is imported into the training model after the training is completed, and the lumen and the vessel wall are predicted.
  • the step of reconstructing the entire blood vessel according to the center line of the black blood sequence includes: straightening and displaying the curved blood vessel wall image in a two-dimensional plane according to the center line of the black blood sequence, and reconstructing the curved surface. out the entire blood vessel.
  • the training process includes:
  • a downsampling path and an upsampling path are established, and feature extraction is performed by downsampling, and upsampling is performed by skip connection with the downsampled feature map of the same dimension to recover the spatial position information.
  • the upsampling consists of 5 stages, each stage includes 1-3 convolution layers, and each convolution uses a 5 ⁇ 5 convolution kernel for feature extraction.
  • the downsampling is pooled using a 2 ⁇ 2 convolution with a stride of 2 at the end of each stage.
  • the magnetic resonance blood vessel wall image analysis method further includes: evaluating the result of automatic segmentation of the lumen and the vessel wall with DSC indicators:
  • p represents the predicted segmentation result
  • g represents the gold standard marked by doctors
  • p ⁇ g represents the number of pixels whose automatic segmentation result is the same as the gold standard
  • represents the total number of pixels.
  • Another object of the present invention is to provide a magnetic resonance blood vessel wall image analysis system, comprising:
  • Image reading module used to read the obtained 3D image
  • the first extraction module is used to obtain the bright blood sequence of the 3D image, and automatically extract the blood vessels based on the center line of the bright blood sequence;
  • the second extraction module is used to obtain the black blood sequence of the 3D image, and register the center line of the bright blood sequence to the black blood sequence;
  • the blood vessel reconstruction module is used to reconstruct the entire blood vessel according to the centerline of the black blood sequence
  • the 2D section acquisition module is used to acquire the reconstructed 2D cross section
  • a deep learning module used to create a new training model, and train the training model according to the reconstructed 2D cross-sectional lumen and tube wall features
  • the prediction module is used to import the given blood vessel wall image into the training model after the training is completed, and predict the lumen and the wall of the vessel.
  • the deep learning module includes:
  • the path planning module is used to establish the down-sampling path and the up-sampling path;
  • the sampling module is used to obtain an enlarged image according to the up-sampling path, and perform feature extraction according to the down-sampling path;
  • the fusion module is used for skip connection between the enlarged image and the feature map of the same dimension.
  • the sampling module includes an up-sampling module and a down-sampling module
  • the sampling of the up-sampling module is composed of 5 stages
  • each stage includes 1-3 convolution layers
  • each convolution uses A 5 ⁇ 5 convolution kernel is used for feature extraction
  • the downsampling module uses a 2 ⁇ 2 convolution with a stride of 2 for pooling at the end of each stage.
  • Yet another object of the present invention is to provide a computer-readable medium in which a plurality of instructions are stored, the instructions are adapted to be loaded by a processor and execute the steps of the magnetic resonance blood vessel wall image analysis method .
  • the present invention reconstructs the blood vessel by matching the center line of the bright blood sequence of the 3D image with the black blood sequence, and then automatically obtains the characteristics of the lumen and the wall of the lumen through the deep learning method and a large number of sample learning, and no longer needs to rely heavily on the doctor experience, therefore, segmentation results can be obtained efficiently and accurately.
  • FIG. 1 is a flowchart of a method for analyzing a magnetic resonance blood vessel wall image according to an embodiment of the present invention
  • FIG. 2 is a flowchart of a method for analyzing a magnetic resonance blood vessel wall image according to an embodiment of the present invention
  • FIG. 3 is a structural block diagram of a magnetic resonance blood vessel wall image analysis system according to an embodiment of the present invention.
  • an embodiment of the present invention provides a magnetic resonance blood vessel wall image analysis method, including:
  • the above step S04 is a step of reconstructing the entire blood vessel according to the center line of the black blood sequence, which may specifically be: straightening and displaying the curved blood vessel wall image in a two-dimensional plane according to the center line of the black blood sequence, and reconstructing the entire blood vessel from the curved surface. blood vessels.
  • the training process may include:
  • a downsampling path and an upsampling path are established, and feature extraction is performed by downsampling, and upsampling is performed by skip connection (fusion) with the downsampled feature map of the same dimension to restore the spatial position information.
  • the upsampling collects the enlarged heatmap.
  • the upsampling consists of 5 stages (stages), each stage contains 1-3 convolution layers, and each convolution uses a 5 ⁇ 5 convolution kernel Perform feature extraction.
  • Downsampling can be pooled at the end of each stage using a 2 ⁇ 2 convolution with a stride of 2, thereby reducing the image resolution.
  • the feature map keeps getting smaller and the receptive field keeps increasing.
  • the upsampling path restores the downsampled high-level semantic feature map to the resolution of the original image.
  • the magnetic resonance blood vessel wall image analysis method further includes: using DSC (Dice similarity coefficient, a kind of segmentation network evaluation index) index to evaluate the result of automatic segmentation of the lumen and the vessel wall:
  • p represents the predicted segmentation result
  • g represents the gold standard marked by doctors
  • p ⁇ g represents the number of pixels whose automatic segmentation result is the same as the gold standard
  • represents the total number of pixels.
  • the whole process can be carried out as follows: after reading the obtained 3D image, the system obtains its bright blood sequence to obtain a clear blood vessel morphological structure, and then automatically extracts the blood vessels based on the center line of the bright blood sequence. Since the black blood sequence can better display the size, shape and distribution of the plaque, the center line of the bright blood sequence is registered to the black blood sequence, and then the curved surface is reconstructed according to the center line of the black blood sequence. The image of the blood vessel wall is straightened and displayed in a two-dimensional plane, the curved surface reconstructs the entire blood vessel, and then the 2D cross-section is reconstructed.
  • DSC index quantitative index
  • the present invention also provides a magnetic resonance blood vessel wall image analysis system, including an image reading module 1 , a first extraction module 2 , a second extraction module 3 , a blood vessel reconstruction module 4 , and a 2D section acquisition module 5 , the deep learning module 6 and the prediction module 7, the image reading module 1 is used to read the obtained 3D image; the first extraction module 2 is used to obtain the bright blood sequence of the 3D image, and the blood vessels are automatically extracted based on the center line of the bright blood sequence The second extraction module 3 is used to obtain the black blood sequence of the 3D image, and the center line of the bright blood sequence is registered to the black blood sequence; the blood vessel reconstruction module 4 is used to reconstruct the entire blood vessel according to the center line of the black blood sequence; 2D section The acquisition module 5 is used to obtain the reconstructed 2D cross-section; the deep learning module 6 is used to create a new training model, and the training model is trained according to the lumen and wall features of the reconstructed 2D cross-section; the prediction module
  • the deep learning module 6 includes a path planning module 61, a sampling module 62 and a fusion module 63.
  • the path planning module 61 is used to establish a down-sampling path and an up-sampling path; the sampling module 62 is used to obtain an enlarged image according to the up-sampling path, The sampling path is used for feature extraction; the fusion module 63 is used for skip connection between the enlarged image and the feature map of the same dimension.
  • the sampling module 62 includes an up-sampling module 621 and a down-sampling module 622.
  • the sampling of the up-sampling module 621 consists of 5 stages, each stage includes 1-3 convolution layers, and each convolution uses A 5 ⁇ 5 convolution kernel is used for feature extraction, and the downsampling module 622 uses a 2 ⁇ 2 convolution with a stride of 2 for pooling at the end of each stage.
  • the present invention also provides a computer-readable medium and a computing device.
  • the computer-readable medium stores a plurality of instructions, and the instructions are adapted to be loaded by a processor and execute the steps of the above-mentioned magnetic resonance blood vessel wall image analysis method.
  • the computer-readable medium is part of a computing device.
  • the processor may be a central processing unit (Central Processing Unit, CPU), a controller, a microcontroller, a microprocessor, or other data processing chips.
  • the processor is typically used to control the overall operation of the computing device.
  • the processor is configured to execute program codes or process data stored in a computer-readable medium.
  • the present invention reconstructs the blood vessel by matching the center line of the bright blood sequence of the 3D image with the black blood sequence, and then automatically obtains the characteristics of the lumen and the wall of the lumen through the deep learning method and a large number of sample learning, and no longer needs to rely heavily on the doctor experience, therefore, segmentation results can be obtained efficiently and accurately.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

一种磁共振血管壁图像分析方法、系统及计算机可读介质，方法包括：读取3D图像（S01）；获取3D图像的亮血序列，基于亮血序列中心线对血管进行自动提取（S02）；获取3D图像的黑血序列，将亮血序列中心线配准到黑血序列上（S03）；根据黑血序列中心线重建出整条血管（S04）；获取重建出的2D横断面（S05）；新建训练模型，根据重建出的2D横断面的管腔、管壁特征训练训练模型（S06）；将给定的血管壁图像导入训练完成后的训练模型，预测出管腔和管壁（S07）。通过利用3D图像的亮血序列的中心线与黑血序列匹配重建血管，然后通过深度学习经过大量样本学习，自动获得管腔和管壁的特征，不再需要严重依赖于医生的经验，可以高效且准确地获得分割结果。

Description

一种磁共振血管壁图像分析方法、系统及计算机可读介质 技术领域
本发明涉及磁共振成像技术领域，尤其涉及一种磁共振血管壁图像分析方法、系统及计算机可读介质。
背景技术
动脉粥样硬化(Atherosclerosis)是心血管疾病发生的主要原因，其主要病变特征为动脉某些部位的内膜脂质沉积，并伴有平滑肌细胞核纤维基质成分的增殖，并逐步发展形成动脉粥样硬化性斑块(atherosclerotic plaque)，其中一部分易损斑块在血流冲击作用下容易从血管壁上分离开来，并导致管腔闭塞或管壁破裂出血等严重后果。研究颈动脉粥样硬化的早期特征对于预防心血管疾病具有重要意义。
由于斑块发生在血管壁内，需要先对血管的管壁和管腔进行分割，才能进一步地对斑块进行研究。现有的血管壁的管腔和管壁分割方法一般是通过磁共振成像技术扫描数据，再经过压缩感知等技术重建出3D图像。医生在工作站手动重建出血管的横断面2D图像，再在2D图像上对血管壁进行手动分割。此种手动分割的方法不是一种端到端的方法，从采集到的3D图像到进行2D图像重建再到得到分割结果是割裂式的，使得医生诊断工作繁琐复杂，效率低下，费时费力，且严重依赖于医生的经验。
因此研究和开发一种从读取图像到得到血管壁及斑块的定量指标的全自动分析方法和系统，对斑块的识别与定量分析具有重要的实际医学价值和应用场景。
发明内容
鉴于现有技术存在的不足，本发明提供了一种磁共振血管壁图像分析方法、系统及计算机可读介质，可以实现血管壁的管腔和管壁高效和精确的分割，为斑块的稳定性评估提供有力参考。
为了实现上述的目的，本发明采用了如下的技术方案：
一种磁共振血管壁图像分析方法，包括：
读取得到的3D图像；
获取3D图像的亮血序列，基于亮血序列中心线对血管进行自动提取；
获取3D图像的黑血序列，将亮血序列中心线配准到黑血序列上；
根据黑血序列中心线重建出整条血管；
获取重建出的2D横断面；
新建训练模型，根据重建出的2D横断面的管腔、管壁特征训练所述训练模型；
将给定的血管壁图像导入训练完成后的所述训练模型，预测出管腔和管壁。
作为其中一种实施方式，所述根据黑血序列中心线重建出整条血管的步骤，包括：根据黑血序列中心线，将弯曲的血管壁图像拉直显示在一个二维平面内，曲面重建出整条血管。
作为其中一种实施方式，所述训练的过程包括：
建立下采样路径和上采样路径，通过下采样进行特征提取，上采样通过与同维度的下采样的特征图进行跳跃连接，以恢复空间位置信息。
作为其中一种实施方式，所述上采样由5个stage组成，每个stage包含1-3个卷积层，每个卷积使用5×5大小的卷积核进行特征提取。
作为其中一种实施方式，所述下采样在每个stage的最后使用一个2×2、stride为2的卷积进行池化。
作为其中一种实施方式，所述磁共振血管壁图像分析方法还包括：用DSC指标评价管腔和管壁自动分割的结果：
Figure PCTCN2020136549-appb-000001
其中，p代表预测的分割结果，g代表医生标注的金标准，p∩g代表自动分割结果与金标准相同的像素点的数量，|p|+|g|代表像素点的总数。
本发明的另一目的在于提供一种磁共振血管壁图像分析系统，包括：
图像读取模块，用于读取得到的3D图像；
第一提取模块，用于获取3D图像的亮血序列，基于亮血序列中心线对血管进行自动提取；
第二提取模块，用于获取3D图像的黑血序列，将亮血序列中心线配准到黑血序列上；
血管重建模块，用于根据黑血序列中心线重建出整条血管；
2D断面获取模块，用于获取重建出的2D横断面；
深度学习模块，用于新建训练模型，根据重建出的2D横断面的管腔、管壁特征训练所述训练模型；
预测模块，用于将给定的血管壁图像导入训练完成后的所述训练模型，预测出管腔和管壁。
作为其中一种实施方式，所述深度学习模块包括：
路径规划模块，用于建立下采样路径和上采样路径；
采样模块，用于根据上采样路径获取放大图，根据下采样路径进行特征提取；
融合模块，用于将所述放大图与同维度的所述特征图进行跳跃连接。
作为其中一种实施方式，所述采样模块包括上采样模块和下采样模块，所述上采样模块的采样由5个stage组成，每个stage包含1-3个卷积层，每个卷积使用5×5大小的卷积核进行特征提取，所述下采样模块在每个stage的最后使用一个2×2、stride为2的卷积进行池化。
本发明的又一目的在于提供一种计算机可读介质，所述计算机可读介质内存储有多条指令，所述指令适于由处理器加载并执行所述磁共振血管壁图像分析方法的步骤。
本发明通过利用3D图像的亮血序列的中心线与黑血序列匹配重建血管，然后通过深度学习的方法，经过大量样本学习，自动获得管腔和管壁的特征，不再需要严重依赖于医生的经验，因此，可以高效且准确地获得分割结果。
附图说明
图1为本发明实施例的一种磁共振血管壁图像分析方法的流程图；
图2为本发明实施例的一种磁共振血管壁图像分析方法的流程图；
图3为本发明实施例的一种磁共振血管壁图像分析系统的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参阅图1，本发明实施例提供了一种磁共振血管壁图像分析方法，包括：
S01、读取得到的3D图像；
S02、获取3D图像的亮血序列，基于亮血序列中心线对血管进行自动提取；
S03、获取3D图像的黑血序列，将亮血序列中心线配准到黑血序列上；
S04、根据黑血序列中心线重建出整条血管；
S05、获取重建出的2D横断面；
S06、新建训练模型，根据重建出的2D横断面的管腔、管壁特征训练训练模型；
S07、将给定的血管壁图像导入训练完成后的训练模型，预测出管腔和管壁。
其中，上述步骤S04根据黑血序列中心线重建出整条血管的步骤，具体可以是：根据黑血序列中心线，将弯曲的血管壁图像拉直显示在一个二维平面内，曲面重建出整条血管。
其中，上述步骤S06中，训练的过程可以包括：
建立下采样路径和上采样路径，通过下采样进行特征提取，上采样通过与同维度的下采样的特征图进行跳跃连接(融合)，以恢复空间位置信息。
这里，上采样采集到的是放大后的热图，上采样由5个stage(阶段)组成，每个stage包含1-3个卷积层，每个卷积使用5×5大小的卷积核进行特征提取。下采样可以在每个stage的最后使用一个2×2、stride(步长)为2的卷积进行池化，从而降低图片分辨率。沿着下采样路径，特征图不断变小，感受野不断增加。上采样路径则将下采样得到的高级语义特征图恢复到原图片的分辨率。
作为其中一种实施方式，磁共振血管壁图像分析方法还包括：用DSC(Dice  similarity coefficient，分割网络评价指标的一种)指标评价管腔和管壁自动分割的结果：
Figure PCTCN2020136549-appb-000002
其中，p代表预测的分割结果，g代表医生标注的金标准，p∩g代表自动分割结果与金标准相同的像素点的数量，|p|+|g|代表像素点的总数。
如图2所示，整个过程可以这样进行：当读入得到的3D图像后，系统获取其亮血序列以得到清晰的血管形态结构，然后基于亮血序列的中心线对血管进行自动提取。由于黑血序列才能更好的显示斑块的大小、形态和分布等信息，因此，再将亮血序列中心线配准到黑血序列上，再根据黑血序列中心线进行曲面重建，把弯曲的血管壁图像拉直显示在一个二维平面内，曲面重建出整条血管，再重建出2D横断面。获得2D的横断面后，经过深度学习网络结构学习管腔、管壁的特征，最终能够得到一个训练好的训练模型。通过这个训练模型可以预测出给定的血管壁图像的管腔和管壁。通过得到的分割结果，可以计算定量指标(DSC指标)，以此评估斑块的稳定性。
如图3所示，本发明还提供了一种磁共振血管壁图像分析系统，包括图像读取模块1、第一提取模块2、第二提取模块3、血管重建模块4、2D断面获取模块5、深度学习模块6以及预测模块7，图像读取模块1用于读取得到的3D图像；第一提取模块2用于获取3D图像的亮血序列，基于亮血序列中心线对血管进行自动提取；第二提取模块3用于获取3D图像的黑血序列，将亮血序列中心线配准到黑血序列上；血管重建模块4用于根据黑血序列中心线重建出整条血管；2D断面获取模块5用于获取重建出的2D横断面；深度学习模块6用于新建训练模型，根据重建出的2D横断面的管腔、管壁特征训练训练模型；预测模块7用于将给定的血管壁图像导入训练完成后的训练模型，预测出管腔和管壁。
其中，深度学习模块6包括路径规划模块61、采样模块62和融合模块63，路径规划模块61用于建立下采样路径和上采样路径；采样模块62用于根据上采样路径获取放大图，根据下采样路径进行特征提取；融合模块63用于将放大图与同维度的特征图进行跳跃连接。
作为其中一种实施方式，采样模块62包括上采样模块621和下采样模块622，上采样模块621的采样由5个stage组成，每个stage包含1-3个卷积层，每个 卷积使用5×5大小的卷积核进行特征提取，下采样模块622在每个stage的最后使用一个2×2、stride为2的卷积进行池化。
另外，本发明还提供了一种计算机可读介质及计算设备，该计算机可读介质内存储有多条指令，该指令适于由处理器加载并执行上述的磁共振血管壁图像分析方法的步骤，该计算机可读介质为计算设备的一部分。处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算设备的总体操作。本实施例中，该处理器用于运行计算机可读介质中存储的程序代码或者处理数据。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
本发明通过利用3D图像的亮血序列的中心线与黑血序列匹配重建血管，然后通过深度学习的方法，经过大量样本学习，自动获得管腔和管壁的特征，不再需要严重依赖于医生的经验，因此，可以高效且准确地获得分割结果。
以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (19)

  1. 一种磁共振血管壁图像分析方法，其中，包括：
    读取得到的3D图像；
    获取3D图像的亮血序列，基于亮血序列中心线对血管进行自动提取；
    获取3D图像的黑血序列，将亮血序列中心线配准到黑血序列上；
    根据黑血序列中心线重建出整条血管；
    获取重建出的2D横断面；
    新建训练模型，根据重建出的2D横断面的管腔、管壁特征训练所述训练模型；
    将给定的血管壁图像导入训练完成后的所述训练模型，预测出管腔和管壁。
  2. 根据权利要求1所述的磁共振血管壁图像分析方法，其中，所述根据黑血序列中心线重建出整条血管的步骤，包括：根据黑血序列中心线，将弯曲的血管壁图像拉直显示在一个二维平面内，曲面重建出整条血管。
  3. 根据权利要求2所述的磁共振血管壁图像分析方法，其中，所述训练的过程包括：
    建立下采样路径和上采样路径，通过下采样进行特征提取，上采样通过与同维度的下采样的特征图进行跳跃连接，以恢复空间位置信息。
  4. 根据权利要求3所述的磁共振血管壁图像分析方法，其中，所述上采样由5个stage组成，每个stage包含1-3个卷积层，每个卷积使用5×5大小的卷积核进行特征提取。
  5. 根据权利要求4所述的磁共振血管壁图像分析方法，其中，所述下采样在每个stage的最后使用一个2×2、stride为2的卷积进行池化。
  6. 根据权利要求5所述的磁共振血管壁图像分析方法，其中，还包括：用DSC指标评价管腔和管壁自动分割的结果：
    Figure PCTCN2020136549-appb-100001
    其中，p代表预测的分割结果，g代表医生标注的金标准，p∩g代表自动分割结果与金标准相同的像素点的数量，|p|+|g|代表像素点的总数。
  7. 根据权利要求3所述的磁共振血管壁图像分析方法，其中，还包括：用DSC指标评价管腔和管壁自动分割的结果：
    Figure PCTCN2020136549-appb-100002
    其中，p代表预测的分割结果，g代表医生标注的金标准，p∩g代表自动分割结果与金标准相同的像素点的数量，|p|+|g|代表像素点的总数。
  8. 根据权利要求4所述的磁共振血管壁图像分析方法，其中，还包括：用DSC指标评价管腔和管壁自动分割的结果：
    Figure PCTCN2020136549-appb-100003
    其中，p代表预测的分割结果，g代表医生标注的金标准，p∩g代表自动分割结果与金标准相同的像素点的数量，|p|+|g|代表像素点的总数。
  9. 一种磁共振血管壁图像分析系统，其中，包括：
    图像读取模块，用于读取得到的3D图像；
    第一提取模块，用于获取3D图像的亮血序列，基于亮血序列中心线对血管进行自动提取；
    第二提取模块，用于获取3D图像的黑血序列，将亮血序列中心线配准到黑血序列上；
    血管重建模块，用于根据黑血序列中心线重建出整条血管；
    2D断面获取模块，用于获取重建出的2D横断面；
    深度学习模块，用于新建训练模型，根据重建出的2D横断面的管腔、管壁特征训练所述训练模型；
    预测模块，用于将给定的血管壁图像导入训练完成后的所述训练模型，预测出管腔和管壁。
  10. 根据权利要求9所述的磁共振血管壁图像分析系统，其中，所述深度 学习模块包括：
    路径规划模块，用于建立下采样路径和上采样路径；
    采样模块，用于根据上采样路径获取放大图，根据下采样路径进行特征提取；
    融合模块，用于将所述放大图与同维度的所述特征图进行跳跃连接。
  11. 根据权利要求10所述的磁共振血管壁图像分析系统，其中，所述采样模块包括上采样模块和下采样模块，所述上采样模块的采样由5个stage组成，每个stage包含1-3个卷积层，每个卷积使用5×5大小的卷积核进行特征提取，所述下采样模块在每个stage的最后使用一个2×2、stride为2的卷积进行池化。
  12. 一种计算机可读介质，其中，所述计算机可读介质内存储有多条指令，所述指令适于由处理器加载并执行磁共振血管壁图像分析方法的步骤；所述磁共振血管壁图像分析方法包括：
    读取得到的3D图像；
    获取3D图像的亮血序列，基于亮血序列中心线对血管进行自动提取；
    获取3D图像的黑血序列，将亮血序列中心线配准到黑血序列上；
    根据黑血序列中心线重建出整条血管；
    获取重建出的2D横断面；
    新建训练模型，根据重建出的2D横断面的管腔、管壁特征训练所述训练模型；
    将给定的血管壁图像导入训练完成后的所述训练模型，预测出管腔和管壁。
  13. 根据权利要求12所述的计算机可读介质，其中，所述根据黑血序列中心线重建出整条血管的步骤，包括：根据黑血序列中心线，将弯曲的血管壁图像拉直显示在一个二维平面内，曲面重建出整条血管。
  14. 根据权利要求13所述的计算机可读介质，其中，所述训练的过程包括：
    建立下采样路径和上采样路径，通过下采样进行特征提取，上采样通过与同维度的下采样的特征图进行跳跃连接，以恢复空间位置信息。
  15. 根据权利要求14所述的计算机可读介质，其中，所述上采样由5个stage 组成，每个stage包含1-3个卷积层，每个卷积使用5×5大小的卷积核进行特征提取。
  16. 根据权利要求15所述的计算机可读介质，其中，所述下采样在每个stage的最后使用一个2×2、stride为2的卷积进行池化。
  17. 根据权利要求16所述的计算机可读介质，其中，所述磁共振血管壁图像分析方法还包括：用DSC指标评价管腔和管壁自动分割的结果：
    Figure PCTCN2020136549-appb-100004
    其中，p代表预测的分割结果，g代表医生标注的金标准，p∩g代表自动分割结果与金标准相同的像素点的数量，|p|+|g|代表像素点的总数。
  18. 根据权利要求14所述的计算机可读介质，其中，所述磁共振血管壁图像分析方法还包括：用DSC指标评价管腔和管壁自动分割的结果：
    Figure PCTCN2020136549-appb-100005
    其中，p代表预测的分割结果，g代表医生标注的金标准，p∩g代表自动分割结果与金标准相同的像素点的数量，|p|+|g|代表像素点的总数。
  19. 根据权利要求15所述的计算机可读介质，其中，所述磁共振血管壁图像分析方法还包括：用DSC指标评价管腔和管壁自动分割的结果：
    Figure PCTCN2020136549-appb-100006
    其中，p代表预测的分割结果，g代表医生标注的金标准，p∩g代表自动分割结果与金标准相同的像素点的数量，|p|+|g|代表像素点的总数。
PCT/CN2020/136549 2020-12-07 2020-12-15 一种磁共振血管壁图像分析方法、系统及计算机可读介质 WO2022120898A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011438072.6 2020-12-07
CN202011438072.6A CN112561781B (zh) 2020-12-07 2020-12-07 一种磁共振血管壁图像分析方法、系统及计算机可读介质

Publications (1)

Publication Number Publication Date
WO2022120898A1 true WO2022120898A1 (zh) 2022-06-16

Family

ID=75060443

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/136549 WO2022120898A1 (zh) 2020-12-07 2020-12-15 一种磁共振血管壁图像分析方法、系统及计算机可读介质

Country Status (2)

Country Link
CN (1) CN112561781B (zh)
WO (1) WO2022120898A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223015A (zh) * 2021-05-11 2021-08-06 清华大学 血管壁图像分割方法、装置、计算机设备和存储介质
CN114399594A (zh) * 2021-12-28 2022-04-26 深圳先进技术研究院 一种基于中心线提取的血管壁影像自动曲面重建方法
CN114677396B (zh) * 2022-05-27 2022-09-20 天津远景科技服务有限公司 图像处理方法、图像处理设备与计算机可读存储介质
CN116934741B (zh) * 2023-09-11 2023-12-26 首都医科大学附属北京天坛医院 一站式血管壁的成分和定量参数获取方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020136440A1 (en) * 2000-08-30 2002-09-26 Yim Peter J. Vessel surface reconstruction with a tubular deformable model
CN103942772A (zh) * 2014-05-15 2014-07-23 北京思创贯宇科技开发有限公司 一种多模态多维度的血管融合方法及系统
CN109959887A (zh) * 2017-12-26 2019-07-02 深圳先进技术研究院 一种三维磁共振成像重建方法、装置、应用及可读介质
CN111681226A (zh) * 2020-06-09 2020-09-18 上海联影医疗科技有限公司 基于血管识别的目标组织定位方法和装置
CN111938645A (zh) * 2020-08-12 2020-11-17 贵州医科大学附属医院 一种心脏mri检查技术的运用

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020136440A1 (en) * 2000-08-30 2002-09-26 Yim Peter J. Vessel surface reconstruction with a tubular deformable model
CN103942772A (zh) * 2014-05-15 2014-07-23 北京思创贯宇科技开发有限公司 一种多模态多维度的血管融合方法及系统
CN109959887A (zh) * 2017-12-26 2019-07-02 深圳先进技术研究院 一种三维磁共振成像重建方法、装置、应用及可读介质
CN111681226A (zh) * 2020-06-09 2020-09-18 上海联影医疗科技有限公司 基于血管识别的目标组织定位方法和装置
CN111938645A (zh) * 2020-08-12 2020-11-17 贵州医科大学附属医院 一种心脏mri检查技术的运用

Also Published As

Publication number Publication date
CN112561781B (zh) 2024-01-26
CN112561781A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
WO2022120898A1 (zh) 一种磁共振血管壁图像分析方法、系统及计算机可读介质
CN108464840B (zh) 一种乳腺肿块自动检测方法及系统
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
CN113436166A (zh) 基于磁共振血管造影数据的颅内动脉瘤检测方法及系统
CN113298831B (zh) 图像分割方法、装置、电子设备及存储介质
EP1542589B1 (en) Display of image data information
JP7427080B2 (ja) 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習
CN114782398A (zh) 用于医学图像分析的学习网络的训练方法和训练系统
CN113793345A (zh) 一种基于改进注意力模块的医疗影像分割方法及装置
CN113576508A (zh) 一种基于神经网络的脑出血辅助诊断系统
CN114758137A (zh) 超声图像分割方法、装置及计算机可读存储介质
CN112508884A (zh) 一种癌变区域综合检测装置及方法
JP2009301254A (ja) 画像処理装置および方法ならびにプログラム
CN113764101A (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
CN113627483A (zh) 基于自监督纹理对比学习的宫颈oct图像分类方法及设备
CN111325756A (zh) 基于深度学习网络的三维影像动静脉分割方法及系统
CN115239655A (zh) 一种甲状腺超声影像肿瘤分割分类方法及装置
US20210035297A1 (en) System and method for region detection in tissue sections using image registration
CN1836258A (zh) 采用结构张量来检测肺结节和结肠息肉的方法和系统
CN113129297A (zh) 基于多期相肿瘤影像的直径自动测量方法及系统
Liu et al. Automatic fetal ultrasound image segmentation of first trimester for measuring biometric parameters based on deep learning
JP5132559B2 (ja) デジタル画像のセグメント化方法およびコンピュータ読み取り可能なプログラム記憶装置
CN111462101A (zh) 基于新型冠状病毒肺炎ct检测的分期设备及其使用方法
CN117726822B (zh) 基于双分支特征融合的三维医学图像分类分割系统及方法
CN115578285B (zh) 一种乳腺钼靶图像细节增强方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20964831

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20964831

Country of ref document: EP

Kind code of ref document: A1