WO2021189843A1 - Ct图像椎骨定位方法、装置、设备及介质 - Google Patents
Ct图像椎骨定位方法、装置、设备及介质 Download PDFInfo
- Publication number
- WO2021189843A1 WO2021189843A1 PCT/CN2020/125002 CN2020125002W WO2021189843A1 WO 2021189843 A1 WO2021189843 A1 WO 2021189843A1 CN 2020125002 W CN2020125002 W CN 2020125002W WO 2021189843 A1 WO2021189843 A1 WO 2021189843A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- heat map
- key point
- image data
- vertebra
- vertebral
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003062 neural network model Methods 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000010276 construction Methods 0.000 claims abstract description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 14
- 210000000115 thoracic cavity Anatomy 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 208000000875 Spinal Curvatures Diseases 0.000 description 1
- 206010058907 Spinal deformity Diseases 0.000 description 1
- 208000020307 Spinal disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 210000004705 lumbosacral region Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 210000002346 musculoskeletal system Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
Abstract
一种CT图像椎骨定位方法、装置、设备及介质，涉及人工智能中的图像处理，所述方法包括：对椎骨CT图像数据进行预处理；将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果，所述关键点热图回归结果存储在区块链节点中；根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图；将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。有效消除扫描设备差异和扫描噪声带来的影响，对于复杂形态的椎骨也能实现精确定位。该方法适用于智慧医疗领域，可进一步推动智慧城市的建设。
Description
本申请要求于2020年9月22日提交中国专利局、申请号为CN2020109984232、名称为“CT图像椎骨定位方法、装置、设备及介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本申请涉及图像处理领域，尤其涉及一种CT图像椎骨定位方法、装置、计算机设备及介质。
脊柱是肌肉骨骼系统的重要组成部分，维持和支撑着身体及各器官结构，生物力学改变可能导致脊椎病变或者弯曲，若缺乏早期检测进行预防或者有效治疗，将会影响中枢神经受阻从而引发慢性疾病。目前，计算机断层扫描(CT图像)因其高对比度的骨软组织，是研究脊柱曲线、识别脊柱畸形的首选方法。
由于椎骨周围组织结构复杂、金属植入物、扫描噪声等问题存在，放射科技师诊疗工作繁琐且耗时，因此需要精确自动的椎骨定位。当前已有的椎骨定位方法大多要求CT图像中椎骨数目确定且轮廓清晰，针对部分脊柱节段(如颈椎、腰椎等)，无法对整段脊柱进行椎骨定位。
发明人意识到，传统方法进行椎骨定位需要根据椎骨形态等人工设计复杂特征，难以适用于多种异常病理现象。另外，由于椎骨之间相关性强、后部形态复杂、扫描设备差异以及扫描存在噪声等局限导致普通的卷积神经网络方法难以提取CT图像的有效特征，一般需要较大的数据量进行训练，无法实现精确的椎骨定位。
发明内容
本申请提供了一种CT图像椎骨定位方法，所述方法包括：
对椎骨CT图像数据进行预处理；
将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果；
根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图；
将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
本申请还提供了一种CT图像椎骨定位装置，所述装置包括：
预处理模块，用于对椎骨CT图像数据进行预处理；
训练模块，用于将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果；
回归模块，用于根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图；
定位模块，用于将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的CT图像椎骨定位方法。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的CT图像椎骨定位方法。
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的实施例提供的一种CT图像椎骨定位方法的示意流程图；
图2是本申请的实施例提供的一种CT图像椎骨定位方法的结构示意图；
图3是本申请的实施例提供的椎骨CT图像数据对应的原图及预处理后对比图；
图4是本申请的实施例提供的高分辨率的卷积神经网络的结构示意图；
图5是本申请的实施例提供的确定6个3D热图对应的图像；
图6为本申请的实施例提供的另一种CT图像椎骨定位装置的示意性框图；
图7为本申请的实施例提供的一种计算机设备的结构示意性框图。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本申请的实施例提供了一种CT图像椎骨定位方法、装置、计算机设备及存储介质。其中，该CT图像椎骨定位方法有效消除扫描设备差异和扫描噪声带来的影响，对于复杂形态的椎骨也能实现精确定位。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1－2，图1是本申请的实施例提供的一种CT图像椎骨定位方法的示意流程图，图2是本申请的实施例提供的一种CT图像椎骨定位方法的结构示意图。如图1所示，该CT图像椎骨定位方法具体包括步骤S101至步骤S104。
S101、对椎骨CT图像数据进行预处理。
在得到椎骨CT图像数据后，首先，对椎骨CT图像数据进行预处理，使得椎骨CT图像数据集进行方向统一变化，具体地，采用SimpleITK工具包对CT图像进行平移、缩放、旋转和弹性形变等操作，增加训练样本的多样性。
SimpleITK是专门处理医学影像的软件，在SimpleITK中，图像的概念与在计算机视觉中常用的RGB图像差异很大，后者只是一个多维矩阵，是一个数学上的概念，而在SimpleITK中，图像是一种物理实体，图像中的每一个像素都是物理空间中的一个点，不光有着像素值，还有着坐标，间距，方向等概念。
如图3所示，图3是本申请的实施例提供的椎骨CT图像数据对应的原图及预处理后对比图，通过SimpleITK，对椎骨CT图像数据进行预处理，即进行空间平移、缩放、旋转和弹性形变等数据增强操作处理，在将预处理后的椎骨CT图像数据作为训练样本时，模型参数少，具有样本丰富及多样性的特点。
S102、将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果。
具体地，在得到预处理后的椎骨CT图像数据后，将预处理后的椎骨CT图像数据输入到卷积神经网络中进行训练，该卷积神经网络可以是高分辨率的卷积神经网络，因此，将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果，可以包括：
将所述预处理后的椎骨CT图像数据输入到高分辨率神经网络模型，所述高分辨率神经网络模型包括并联处理的不同分辨率的特征图；
通过所述不同分辨率的特征图对所述预处理后的椎骨CT图像数据进行交互处理，且将25个3D热图作为网络标签，得到脊柱对应的25个关键点热图回归结果。
在一些实施方式中，将椎骨定位问题转化为语义分割问题，回归25个3D热图。通过语义分割，将整个脊柱分割为25个椎骨，得到25个3D热图，与整段脊柱有25块椎骨对应，25块每个热图的像素值最高点反映椎骨质心，以此定位椎骨。采用回归25个3D热图的方式，能减少卷积神经网络对数据的依赖，同时，模型参数更小。
可以理解的是，本案采用高分辨率的卷积神经网络，如图4所示，图4是本申请的实施例提供的高分辨率的卷积神经网络结构，将所述预处理后的椎骨CT图像数据输入到神经网络模型，得到不同分辨率的特征图。
与现有技术的先降分辨率后串联升分辨率的网络结构不同的是，通过所述不同分辨率的特征图对所述预处理后的椎骨CT图像数据进行交互处理，且将25个3D热图作为网络标签，得到脊柱对应的25个关键点热图回归结果，在25个3D热图中，越靠近特征点，像素值越大，反之越小，特征点在热图中类似于一个个小的光板，具体地，3D热图的构建公式如下：
其中，γ是超参数，δ
i是可学习参数，g
i表示热图中第i个特征点对应通道的像素值，x表示像素位置，x’表示关键点位置，d表示热图维度，损失函数为L2。
该高分辨率的卷积神经网络使整个网络结构中都保持高分辨率表征，能够提高模型性能，通过该高分辨率的卷积神经网络对预处理后的椎骨CT图像数据的训练，得到的神经网络模型具有高鲁棒性与泛化性，且避免过拟合，并且，构建高分辨率的卷积神经网络，能够实现高自动化任意脊柱段椎骨定位，无需根据椎骨形态人工设计繁琐的特征提取器。
需要强调的是，为进一步保证上述网络标签的私密性和安全性，上述网络标签还可以存储于一区块链的节点中。
S103、根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图。
在一些实施方式中，根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图可以包括：
采用U型卷积神经网络与空间信息提取网络相结合的方式，将所述预处理后的椎骨CT图像数据作为输入，椎骨质心关键点位置作为标签，从所述25个关键点热图回归结果中确定6个目标位置对应的3D热图；
其中，所述6个目标位置对应的3D热图包括颈椎首椎块、颈椎尾椎块、腰椎首椎块、腰椎尾椎块、胸椎首椎块、胸椎尾椎块分别与关键点位置对应的3D热图对应。
具体地，在得到25个3D热图后，由于25个3D热图对应的是整段脊柱所有的椎骨，类别数目较多，若是单独基于高分辨率的卷积神经网络训练可能会导致椎骨类别的判断错误，在整段脊柱中，颈椎首椎块、颈椎尾椎块、腰椎首椎块、腰椎尾椎块、胸椎首椎块、胸椎尾椎块6个关键点的显著性最强，更容易被识别。因此，借鉴Christian Payer论文中的思想，将经过预处理后的椎骨CT图像数据集合作为输入，椎骨质心关键点位置作为标签，网络结构 采用U型卷积神经网络(U－Net)与空间信息提取网络(Spatial Configuration Net)结合的方式，从所述25个关键点热图回归结果中回归这6个3D热图信息得到回归结果，从而确定6个目标位置对应的3D热图。
如图5所示，图5是本申请的实施例提供的确定6个3D热图对应的图像，相对于依靠25个椎骨定位，确定6个3D热图的网络结构更加容易收敛，定位精度更好。
S104、将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
在一些实施方式中，在确定6个关键点对应的3D热图后，将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位，可以包括：
确定所述6个目标位置对应的3D热图对应的关键点位置；
通过限定椎块之间的预设间隔范围，将所述椎骨关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
其中，在确定6个目标位置对应的3D热图后，取所述6个目标位置对应的3D热图分别对应的最大值，作为关键点位置，然后，由于6个关键点之间通常有预设的间隔范围，如颈椎首椎块、颈椎尾椎块之间都是在预设区间范围内，那么，通过限定椎块之间的预设间隔范围，再结合高分辨率的卷积神经网络的输出结果，输出结果为所述椎骨关键点位置对应的3D热图作为标签，实现椎骨精确定位。
通过将高分辨率的卷积神经网络与关键点定位进行结合，优化了后处理方案，解决了由于椎骨数目过多而可能产生的类别错误问题，使得定位结果更加精确。
上述实施例提供CT图像椎骨定位方法，对椎骨CT图像数据进行预处理后，将预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，采用的神经网络模型可以是高分辨率卷积神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果，然后，根据关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图，将所述椎骨质心关键点位置对应的3D热图作为标签，该标签具有高鲁棒性和泛化性的特点，并网络回归3D热图信息，完成椎骨定位。通过高分辨率卷积神经网络与关键点定位的结合，解决了由于椎骨数目过多而可能产生的类别错误问题，使得定位结果更加精确。本申请的网络模型容易训练，卷积神经网络模型具有高鲁棒性和泛化性，不依赖大量轮廓清晰的数据集进行训练，且能够有效消除扫描设备差异和扫描噪声带来的影响，对于复杂形态的椎骨也能实现精确的定位。
请参阅图6，图6是本申请的实施例提供一种CT图像椎骨定位装置的示意性框图，该CT图像椎骨定位装置用于执行前述的CT图像椎骨定位方法。其中，该CT图像椎骨定位装置可以配置于终端或服务器。
如图6所示，该CT图像椎骨定位装置400，包括：预处理模块401、训练模块402、回归模块403、定位模块404。
预处理模块401，用于对椎骨CT图像数据进行预处理；
训练模块402，用于将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果；
回归模块403，用于根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图；
定位模块404，用于将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本申请的实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器。
参阅图7，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以是易失性的，也可以是非易失性的。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种CT图像椎骨定位方法。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种CT图像椎骨定位方法。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
对椎骨CT图像数据进行预处理；
将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果；
根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图；
将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
在一些实施例中，所述处理器实现所述将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果，包括：
将所述预处理后的椎骨CT图像数据输入到高分辨率神经网络模型，所述高分辨率神经网络模型包括并联处理的不同分辨率的特征图；
通过所述不同分辨率的特征图对所述预处理后的椎骨CT图像数据进行交互处理，且将25个3D热图作为网络标签，得到脊柱对应的25个关键点热图回归结果。
在一些实施例中，所述处理器实现所述根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图，包括：
采用U型卷积神经网络与空间信息提取网络相结合的方式，将所述预处理后的椎骨CT图像数据作为输入，椎骨质心关键点位置作为标签，从所述25个关键点热图回归结果中确定6个目标位置对应的3D热图；
其中，所述6个目标位置对应的3D热图包括颈椎首椎块、颈椎尾椎块、腰椎首椎块、腰椎尾椎块、胸椎首椎块、胸椎尾椎块分别与关键点位置对应的3D热图对应。
在一些实施例中，所述处理器实现所述将所述椎骨关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位，包括：
确定所述6个目标位置对应的3D热图对应的关键点位置；
通过限定椎块之间的预设间隔范围，将所述椎骨关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
在一些实施例中，所述处理器实现所述确定所述6个目标位置对应的3D热图对应的关键点位置，包括：
取所述6个目标位置对应的3D热图分别对应的最大值，作为关键点位置。
在一些实施例中，所述处理器还实现将所述对椎骨CT图像数据进行预处理，包括：
采用SimpleITK工具包对所述椎骨CT图像数据进行数据增强操作处理，得到训练样本多样性的椎骨CT图像数据。
本申请的实施例中还提供一种计算机可读存储介质，计算机可读存储介质可以是易失性的，也可以是非易失性的，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项CT图像椎骨定位方法。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (20)
- 一种CT图像椎骨定位方法，其中，所述方法包括：对椎骨CT图像数据进行预处理；将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果；根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图；将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
- 根据权利要求1所述的方法，其中，所述将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果，包括：将所述预处理后的椎骨CT图像数据输入到高分辨率神经网络模型，所述高分辨率神经网络模型包括并联处理的不同分辨率的特征图；通过所述不同分辨率的特征图对所述预处理后的椎骨CT图像数据进行交互处理，且将25个3D热图作为网络标签，得到脊柱对应的25个关键点热图回归结果。
- 根据权利要求2所述的方法，其中，所述根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图，包括：采用U型卷积神经网络与空间信息提取网络相结合的方式，将所述预处理后的椎骨CT图像数据作为输入，椎骨质心关键点位置作为标签，从所述25个关键点热图回归结果中确定6个目标位置对应的3D热图；其中，所述6个目标位置对应的3D热图包括颈椎首椎块、颈椎尾椎块、腰椎首椎块、腰椎尾椎块、胸椎首椎块、胸椎尾椎块分别与关键点位置对应的3D热图对应。
- 根据权利要求3所述的方法，其中，所述将所述椎骨关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位，包括：确定所述6个目标位置对应的3D热图对应的关键点位置；通过限定椎块之间的预设间隔范围，将所述椎骨关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
- 根据权利要求4所述的方法，其中，所述确定所述6个目标位置对应的3D热图对应的关键点位置，包括：取所述6个目标位置对应的3D热图分别对应的最大值，作为关键点位置。
- 根据权利要求1所述的方法，其中，所述对椎骨CT图像数据进行预处理，包括：采用SimpleITK工具包对所述椎骨CT图像数据进行数据增强操作处理，得到训练样本多样性的椎骨CT图像数据。
- 根据权利要求2所述的方法，其中，所述3D热图的构建公式如下：
其中，γ是超参数，δ i是可学习参数，g i表示热图中第i个特征点对应通道的像素值，x表示像素位置，x’表示关键点位置，d表示热图维度。 - 一种CT图像椎骨定位装置，其中，包括：预处理模块，用于对椎骨CT图像数据进行预处理；训练模块，用于将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果；回归模块，用于根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎 骨质心关键点位置对应的3D热图；定位模块，用于将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
- 一种计算机设备，其中，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如下步骤：对椎骨CT图像数据进行预处理；将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果；根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图；将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
- 根据权利要求9所述的计算机设备，其中，所述将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果，包括：将所述预处理后的椎骨CT图像数据输入到高分辨率神经网络模型，所述高分辨率神经网络模型包括并联处理的不同分辨率的特征图；通过所述不同分辨率的特征图对所述预处理后的椎骨CT图像数据进行交互处理，且将25个3D热图作为网络标签，得到脊柱对应的25个关键点热图回归结果。
- 根据权利要求10所述的计算机设备，其中，所述根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图，包括：采用U型卷积神经网络与空间信息提取网络相结合的方式，将所述预处理后的椎骨CT图像数据作为输入，椎骨质心关键点位置作为标签，从所述25个关键点热图回归结果中确定6个目标位置对应的3D热图；其中，所述6个目标位置对应的3D热图包括颈椎首椎块、颈椎尾椎块、腰椎首椎块、腰椎尾椎块、胸椎首椎块、胸椎尾椎块分别与关键点位置对应的3D热图对应。
- 根据权利要求11所述的计算机设备，其中，所述将所述椎骨关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位，包括：确定所述6个目标位置对应的3D热图对应的关键点位置；通过限定椎块之间的预设间隔范围，将所述椎骨关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
- 根据权利要求11所述的计算机设备，其中，所述确定所述6个目标位置对应的3D热图对应的关键点位置，包括：取所述6个目标位置对应的3D热图分别对应的最大值，作为关键点位置。
- 根据权利要求9所述的计算机设备，其中，所述对椎骨CT图像数据进行预处理，包括：采用SimpleITK工具包对所述椎骨CT图像数据进行数据增强操作处理，得到训练样本多样性的椎骨CT图像数据。
- 根据权利要求10所述的计算机设备，其中，所述3D热图的构建公式如下：
其中，γ是超参数，δ i是可学习参数，g i表示热图中第i个特征点对应通道的像素值，x表示像素位置，x’表示关键点位置，d表示热图维度。 - 一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所 述计算机程序被处理器执行时使所述处理器实现如下步骤：对椎骨CT图像数据进行预处理；将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果；根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图；将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
- 根据权利要求16所述的计算机可读存储介质，其中，所述将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果，包括：将所述预处理后的椎骨CT图像数据输入到高分辨率神经网络模型，所述高分辨率神经网络模型包括并联处理的不同分辨率的特征图；通过所述不同分辨率的特征图对所述预处理后的椎骨CT图像数据进行交互处理，且将25个3D热图作为网络标签，得到脊柱对应的25个关键点热图回归结果。
- 根据权利要求17所述的计算机可读存储介质，其中，所述根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图，包括：采用U型卷积神经网络与空间信息提取网络相结合的方式，将所述预处理后的椎骨CT图像数据作为输入，椎骨质心关键点位置作为标签，从所述25个关键点热图回归结果中确定6个目标位置对应的3D热图；其中，所述6个目标位置对应的3D热图包括颈椎首椎块、颈椎尾椎块、腰椎首椎块、腰椎尾椎块、胸椎首椎块、胸椎尾椎块分别与关键点位置对应的3D热图对应。
- 根据权利要求18所述的计算机可读存储介质，其中，所述将所述椎骨关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位，包括：确定所述6个目标位置对应的3D热图对应的关键点位置；通过限定椎块之间的预设间隔范围，将所述椎骨关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
- 根据权利要求18所述的计算机可读存储介质，其中，所述确定所述6个目标位置对应的3D热图对应的关键点位置，包括：取所述6个目标位置对应的3D热图分别对应的最大值，作为关键点位置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021568943A JP7221421B2 (ja) | 2020-09-22 | 2020-10-30 | Ｃｔ画像の椎骨位置決め方法、装置、機器及び媒体 |
| US17/613,487 US11928782B2 (en) | 2020-09-22 | 2020-10-30 | Method for positioning vertebra in CT image, apparatus, device, and computer readable storage medium |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010998423.2A CN111932533B (zh) | 2020-09-22 | 2020-09-22 | Ct图像椎骨定位方法、装置、设备及介质 |
| CN202010998423.2 | 2020-09-22 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021189843A1 true WO2021189843A1 (zh) | 2021-09-30 |
Family
ID=73333987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2020/125002 WO2021189843A1 (zh) | 2020-09-22 | 2020-10-30 | Ct图像椎骨定位方法、装置、设备及介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11928782B2 (zh) |
| JP (1) | JP7221421B2 (zh) |
| CN (1) | CN111932533B (zh) |
| WO (1) | WO2021189843A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115330753A (zh) * | 2022-10-10 | 2022-11-11 | 博志生物科技(深圳)有限公司 | 椎骨识别方法、装置、设备及存储介质 |
| CN115880319A (zh) * | 2023-02-16 | 2023-03-31 | 博志生物科技(深圳)有限公司 | 一种椎体终板及邻近松质骨自动分割方法及装置 |
| WO2024001140A1 (zh) * | 2022-06-28 | 2024-01-04 | 北京大学第三医院（北京大学第三临床医学院） | 一种椎体亚区域分割方法、装置及存储介质 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11704798B2 (en) * | 2020-12-02 | 2023-07-18 | Ping An Technology (Shenzhen) Co., Ltd. | Method and device for vertebra localization and identification |
| CN112686878A (zh) * | 2021-01-05 | 2021-04-20 | 北京大学口腔医学院 | 颞下颌关节cbct图像关键点的定位方法和装置 |
| CN113240696B (zh) * | 2021-05-20 | 2022-02-08 | 推想医疗科技股份有限公司 | 图像处理方法及装置，模型的训练方法及装置，电子设备 |
| CN113240661B (zh) * | 2021-05-31 | 2023-09-26 | 平安科技（深圳）有限公司 | 基于深度学习的腰椎骨分析方法、装置、设备及存储介质 |
| CN113327235B (zh) * | 2021-06-04 | 2022-07-01 | 杭州健培科技有限公司 | 基于ct影像肌少症评估的图像处理方法和装置 |
| CN114511561B (zh) * | 2022-04-18 | 2022-06-17 | 博志生物科技(深圳)有限公司 | 脊柱矢状位形态预测方法、装置、设备及存储介质 |
| CN116492052B (zh) * | 2023-04-24 | 2024-04-23 | 中科智博(珠海)科技有限公司 | 一种基于混合现实脊柱三维可视化手术导航系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108320288A (zh) * | 2017-12-08 | 2018-07-24 | 李书纲 | 一种特发性脊柱侧凸影像的数据处理方法 |
| CN109859233A (zh) * | 2018-12-28 | 2019-06-07 | 上海联影智能医疗科技有限公司 | 图像处理、图像处理模型的训练方法及系统 |
| CN110852991A (zh) * | 2019-10-10 | 2020-02-28 | 浙江大学 | 一种基于3d结合2d的脊椎骨检测方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112074841A (zh) * | 2018-03-30 | 2020-12-11 | 珀金埃尔默健康科学有限公司 | 3d图像中自动检测和分割椎体的系统和方法 |
| EP3841559A1 (en) * | 2018-08-21 | 2021-06-30 | Koninklijke Philips N.V. | Salient visual explanations of feature assessments by machine learning models |
| CN109754414A (zh) * | 2018-12-27 | 2019-05-14 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| US11790524B2 (en) * | 2019-06-20 | 2023-10-17 | Ohio State Innovation Foundation | System and method for quantitative volumetric assessment and modeling of tumor lesions |
| CN110705555B (zh) * | 2019-09-17 | 2022-06-14 | 中山大学 | 基于fcn的腹部多器官核磁共振图像分割方法、系统及介质 |
-
2020
- 2020-09-22 CN CN202010998423.2A patent/CN111932533B/zh active Active
- 2020-10-30 US US17/613,487 patent/US11928782B2/en active Active
- 2020-10-30 WO PCT/CN2020/125002 patent/WO2021189843A1/zh active Application Filing
- 2020-10-30 JP JP2021568943A patent/JP7221421B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108320288A (zh) * | 2017-12-08 | 2018-07-24 | 李书纲 | 一种特发性脊柱侧凸影像的数据处理方法 |
| CN109859233A (zh) * | 2018-12-28 | 2019-06-07 | 上海联影智能医疗科技有限公司 | 图像处理、图像处理模型的训练方法及系统 |
| CN110852991A (zh) * | 2019-10-10 | 2020-02-28 | 浙江大学 | 一种基于3d结合2d的脊椎骨检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| PAYER CHRISTIAN, ŠTERN DARKO, BISCHOF HORST, URSCHLER MARTIN: "Coarse to Fine Vertebrae Localization and Segmentation with SpatialConfiguration-Net and U-Net :", PROCEEDINGS OF THE 15TH INTERNATIONAL JOINT CONFERENCE ON COMPUTER VISION, IMAGING AND COMPUTER GRAPHICS THEORY AND APPLICATIONS, SCITEPRESS - SCIENCE AND TECHNOLOGY PUBLICATIONS, 29 February 2020 (2020-02-29) - 29 February 2020 (2020-02-29), pages 124 - 133, XP055854516, ISBN: 978-989-7584-02-2, DOI: 10.5220/0008975201240133 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024001140A1 (zh) * | 2022-06-28 | 2024-01-04 | 北京大学第三医院（北京大学第三临床医学院） | 一种椎体亚区域分割方法、装置及存储介质 |
| CN115330753A (zh) * | 2022-10-10 | 2022-11-11 | 博志生物科技(深圳)有限公司 | 椎骨识别方法、装置、设备及存储介质 |
| CN115330753B (zh) * | 2022-10-10 | 2022-12-20 | 博志生物科技(深圳)有限公司 | 椎骨识别方法、装置、设备及存储介质 |
| CN115880319A (zh) * | 2023-02-16 | 2023-03-31 | 博志生物科技(深圳)有限公司 | 一种椎体终板及邻近松质骨自动分割方法及装置 |
| CN115880319B (zh) * | 2023-02-16 | 2023-07-21 | 博志生物科技(深圳)有限公司 | 一种椎体终板及邻近松质骨自动分割方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11928782B2 (en) | 2024-03-12 |
| JP2022533686A (ja) | 2022-07-25 |
| JP7221421B2 (ja) | 2023-02-13 |
| CN111932533B (zh) | 2021-04-27 |
| CN111932533A (zh) | 2020-11-13 |
| US20230186566A1 (en) | 2023-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021189843A1 (zh) | Ct图像椎骨定位方法、装置、设备及介质 | |
| Payer et al. | Coarse to Fine Vertebrae Localization and Segmentation with SpatialConfiguration-Net and U-Net. | |
| US11862348B2 (en) | Systems and methods for using generic anatomy models in surgical planning | |
| WO2021114622A1 (zh) | 脊柱弯曲角度测量方法、装置、计算机设备及存储介质 | |
| CN111862066B (zh) | 基于深度学习的脑瘤图像分割方法、装置、设备及介质 | |
| WO2018205232A1 (zh) | 一种针对拼接结果自动精确定位参考线的方法 | |
| US9561004B2 (en) | Automated 3-D orthopedic assessments | |
| CN107220933B (zh) | 一种参考线确定方法和系统 | |
| US8861891B2 (en) | Hierarchical atlas-based segmentation | |
| WO2019218451A1 (zh) | 一种医学报告的生成方法及设备 | |
| CN110599528A (zh) | 一种基于神经网络的无监督三维医学图像配准方法及系统 | |
| US11798161B2 (en) | Method and apparatus for determining mid-sagittal plane in magnetic resonance images | |
| CN112634256A (zh) | 圆检测及拟合方法、装置、电子设备和存储介质 | |
| WO2020168647A1 (zh) | 图像识别方法及相关设备 | |
| Wang et al. | Liver segmentation from CT images using a sparse priori statistical shape model (SP-SSM) | |
| CN114092475A (zh) | 病灶长径确定方法、图像标注方法、装置及计算机设备 | |
| Haq et al. | Dynamic multiatlas selection‐based consensus segmentation of head and neck structures from CT images | |
| US9286688B2 (en) | Automatic segmentation of articulated structures | |
| CN113888566A (zh) | 目标轮廓曲线确定方法、装置、电子设备以及存储介质 | |
| CN116439691A (zh) | 基于人工智能的关节活动度检测方法及相关设备 | |
| Zhang et al. | A novel tool to provide predictable alignment data irrespective of source and image quality acquired on mobile phones: what engineers can offer clinicians | |
| Farzi et al. | A spatio-temporal ageing atlas of the proximal femur | |
| CN114901191A (zh) | 描述骨变形的方法和装置 | |
| Kim et al. | Morphology-aware interactive keypoint estimation | |
| Huang et al. | Atlas based segmentations via semi-supervised diffeomorphic registrations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20927070 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2021568943 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20927070 Country of ref document: EP Kind code of ref document: A1 |