WO2021189843A1 - Ct图像椎骨定位方法、装置、设备及介质 - Google Patents

Ct图像椎骨定位方法、装置、设备及介质 Download PDF

Info

Publication number
WO2021189843A1
WO2021189843A1 PCT/CN2020/125002 CN2020125002W WO2021189843A1 WO 2021189843 A1 WO2021189843 A1 WO 2021189843A1 CN 2020125002 W CN2020125002 W CN 2020125002W WO 2021189843 A1 WO2021189843 A1 WO 2021189843A1
Authority
WO
WIPO (PCT)
Prior art keywords
heat map
key point
image data
vertebra
vertebral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2020/125002
Other languages
English (en)
French (fr)
Inventor
曾婵
李葛
成冠举
高鹏
谢国彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to US17/613,487 priority Critical patent/US11928782B2/en
Priority to JP2021568943A priority patent/JP7221421B2/ja
Publication of WO2021189843A1 publication Critical patent/WO2021189843A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Definitions

  • This application relates to the field of image processing, and in particular to a method, device, computer equipment, and media for vertebra positioning in CT images.
  • CT image is the preferred method for studying spinal curves and identifying spinal deformities due to its high-contrast soft bone tissue.
  • vertebrae positioning methods require a certain number of vertebrae in CT images and clear outlines. For some spine segments (such as cervical vertebrae, lumbar vertebrae, etc.), vertebrae cannot be positioned for the entire spine.
  • the common convolutional neural network method is difficult to extract the effective features of the CT image, and generally requires a large amount of data for training. Cannot achieve precise vertebrae positioning.
  • This application provides a CT image vertebra positioning method, the method includes:
  • the network Using the 3D heat map corresponding to the position of the key point of the centroid of the vertebrae as a label, the network returns the 3D heat map information to complete the vertebral positioning.
  • the present application also provides a CT image vertebra positioning device, which includes:
  • the preprocessing module is used to preprocess the vertebra CT image data
  • the training module is used to input the preprocessed vertebra CT image data into a pre-trained neural network model to obtain the key point heat map regression results corresponding to the preprocessed vertebra CT image data;
  • a regression module configured to return a 3D heat map corresponding to the key point position of the vertebral centroid according to the key point heat map regression result and the preprocessed vertebra CT image data;
  • the positioning module is used to use the 3D heat map corresponding to the position of the key point of the vertebra centroid as a label, and the network returns the 3D heat map information to complete the vertebral positioning.
  • the application also provides a computer device, the computer device includes a memory and a processor; the memory is used to store a computer program; the processor is used to execute the computer program and realizes when the computer program is executed Such as the above-mentioned CT image vertebra positioning method.
  • the present application also provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the processor realizes the above-mentioned CT image vertebra positioning method.
  • FIG. 1 is a schematic flowchart of a method for vertebral positioning in CT images according to an embodiment of the present application
  • Figure 2 is a schematic structural diagram of a CT image vertebra positioning method provided by an embodiment of the present application.
  • FIG. 3 is an original image corresponding to the vertebra CT image data provided by the embodiment of the present application and a comparison diagram after preprocessing;
  • FIG. 4 is a schematic diagram of the structure of a high-resolution convolutional neural network provided by an embodiment of the present application.
  • FIG. 5 is an image corresponding to determining 6 3D heat maps provided by an embodiment of the present application.
  • FIG. 6 is a schematic block diagram of another CT image vertebra positioning device provided by an embodiment of the application.
  • FIG. 7 is a schematic block diagram of the structure of a computer device provided by an embodiment of the application.
  • the embodiments of the present application provide a CT image vertebra positioning method, device, computer equipment, and storage medium.
  • the CT image vertebrae positioning method effectively eliminates the influence of scanning equipment differences and scanning noise, and can also achieve precise positioning for vertebrae with complex shapes.
  • FIG. 1 is a schematic flowchart of a CT image vertebra positioning method provided by an embodiment of the present application
  • FIG. 2 is a schematic structural diagram of a CT image vertebra positioning method provided by an embodiment of the present application.
  • the CT image vertebra positioning method specifically includes steps S101 to S104.
  • the SimpleITK toolkit is used to translate, zoom, rotate, and elastically deform the CT image. Operation to increase the diversity of training samples.
  • SimpleITK is a software that specializes in processing medical images.
  • the concept of image is very different from the RGB image commonly used in computer vision. The latter is just a multi-dimensional matrix, which is a mathematical concept.
  • the image is A physical entity, each pixel in the image is a point in the physical space, not only has the pixel value, but also the coordinates, spacing, direction and other concepts.
  • Figure 3 is the original image corresponding to the CT image data of the vertebrae and the comparison after preprocessing provided by the embodiment of the present application.
  • the CT image data of the vertebrae are preprocessed through SimpleITK, that is, spatial translation, zooming, and Data enhancement operation processing such as rotation and elastic deformation.
  • SimpleITK spatial translation, zooming, and Data enhancement operation processing such as rotation and elastic deformation.
  • the model parameters are few, and the samples are rich and diverse.
  • the preprocessed vertebra CT image data is input into a convolutional neural network for training, and the convolutional neural network may be a high-resolution convolutional neural network, Therefore, inputting the preprocessed vertebra CT image data into the pre-trained neural network model to obtain the key point heat map regression results corresponding to the preprocessed vertebra CT image data may include:
  • the high-resolution neural network model including feature maps of different resolutions processed in parallel;
  • the preprocessed CT image data of the vertebrae are interactively processed through the feature maps of different resolutions, and 25 3D heat maps are used as network labels to obtain 25 key point heat map regression results corresponding to the spine.
  • the vertebra positioning problem is transformed into a semantic segmentation problem, and 25 3D heat maps are returned.
  • semantic segmentation the entire spine is segmented into 25 vertebrae, and 25 3D heat maps are obtained, which correspond to 25 vertebrae in the entire spine.
  • the highest pixel value of each of the 25 heat maps reflects the center of mass of the vertebrae to locate the vertebrae.
  • Using the method of regressing 25 3D heat maps can reduce the dependence of the convolutional neural network on data, and at the same time, the model parameters are smaller.
  • this case uses a high-resolution convolutional neural network, as shown in FIG. 4, which is a high-resolution convolutional neural network structure provided by an embodiment of the application, and the preprocessed vertebra
  • the CT image data is input to the neural network model to obtain feature maps with different resolutions.
  • the preprocessed vertebra CT image data is interactively processed through the feature maps of different resolutions, and 25 3D 3D images are processed interactively.
  • the heat map is used as a network label to obtain the regression results of the 25 key points corresponding to the spine.
  • the closer to the feature point, the larger the pixel value, and vice versa the feature point is similar to one in the heat map
  • a small light board, specifically, the 3D heat map construction formula is as follows:
  • ⁇ is a hyperparameter
  • ⁇ i is a learnable parameter
  • g i represents the pixel value of the channel corresponding to the i-th feature point in the heat map
  • x represents the pixel location
  • d represents the heat map dimension
  • loss The function is L2.
  • the high-resolution convolutional neural network keeps high-resolution representations in the entire network structure, which can improve the performance of the model.
  • the neural network model has high robustness and generalization, and avoids over-fitting, and builds a high-resolution convolutional neural network, which can realize highly automated positioning of any vertebrae in the spine, without the need to manually design cumbersome features based on the shape of the vertebrae Extractor.
  • the above-mentioned network tag may also be stored in a node of a blockchain.
  • returning the 3D heat map corresponding to the key point position of the vertebral centroid based on the key point heat map regression result and the preprocessed vertebra CT image data may include:
  • the U-shaped convolutional neural network is combined with the spatial information extraction network, the preprocessed vertebral CT image data is used as input, the vertebral centroid key point position is used as a label, and the result is returned from the 25 key point heat map Determine the 3D heat maps corresponding to the 6 target positions in the
  • the 3D heat maps corresponding to the 6 target positions include the first cervical vertebral block, the cervical caudal vertebral block, the first lumbar vertebral block, the lumbar caudal vertebral block, the first thoracic vertebral block, and the thoracic caudal vertebral block respectively corresponding to the key point positions. 3D heat map correspondence.
  • the preprocessed vertebra CT image data set is used as input, and the key points of the vertebra centroid are used as labels.
  • the network structure uses U-Net convolutional neural network (U-Net) and spatial information extraction.
  • U-Net convolutional neural network
  • Spatial Configuration Net the 6 3D heat map information is returned from the 25 key point heat map regression results to obtain the regression result, thereby determining the 3D heat map corresponding to the 6 target positions.
  • Figure 5 is the image corresponding to the determination of 6 3D heat maps provided by the embodiment of the present application. Compared with the positioning of 25 vertebrae, the network structure of determining the 6 3D heat maps is easier to converge, and the positioning accuracy is better. good.
  • the network after determining the 3D heat map corresponding to the 6 key points, using the 3D heat map corresponding to the position of the vertebra centroid key point as a label, and the network returns the 3D heat map information to complete the vertebral positioning, which may include:
  • the 3D heat map corresponding to the key point position of the vertebrae is used as a label, and the network returns the 3D heat map information to complete the vertebral positioning.
  • the maximum values of the 3D heat maps corresponding to the 6 target positions are taken as the key point positions.
  • Set the interval range, such as the first cervical vertebral mass and the cervical caudal vertebral mass are within the preset interval range.
  • the output result is the 3D heat map corresponding to the position of the key point of the vertebrae as a label to achieve precise positioning of the vertebrae.
  • the post-processing scheme is optimized, and the problem of category errors that may occur due to the excessive number of vertebrae is solved, and the positioning result is more accurate.
  • the foregoing embodiment provides a method for locating vertebrae in CT images.
  • the pre-processed vertebrae CT image data is input to a pre-trained neural network model.
  • the neural network model used may be a high-resolution convolution
  • the neural network model obtains the key point heat map regression result corresponding to the preprocessed vertebra CT image data, and then returns the key point position corresponding to the vertebra center of mass according to the key point heat map regression result and the preprocessed vertebra CT image data
  • the 3D heat map uses the 3D heat map corresponding to the key point position of the centroid of the vertebrae as a label.
  • the label has the characteristics of high robustness and generalization, and the network returns the 3D heat map information to complete the vertebral positioning.
  • the network model of this application is easy to train.
  • the convolutional neural network model has high robustness and generalization, does not rely on a large number of clear-cut data sets for training, and can effectively eliminate the impact of scanning device differences and scanning noise. Vertebrae with complex shapes can also achieve precise positioning.
  • FIG. 6 is a schematic block diagram of a CT image vertebra positioning device according to an embodiment of the present application.
  • the CT image vertebra positioning device is used to perform the aforementioned CT image vertebra positioning method.
  • the CT image vertebra positioning device can be configured in a terminal or a server.
  • the CT image vertebra positioning device 400 includes: a preprocessing module 401, a training module 402, a regression module 403, and a positioning module 404.
  • the preprocessing module 401 is used to preprocess the vertebra CT image data
  • the training module 402 is configured to input the preprocessed CT image data of the vertebrae into a pre-trained neural network model to obtain the key point heat map regression results corresponding to the preprocessed CT image data of the vertebrae;
  • the regression module 403 is configured to regress the 3D heat map corresponding to the key point position of the vertebral center of mass according to the key point heat map regression result and the preprocessed vertebra CT image data;
  • the positioning module 404 is configured to use the 3D heat map corresponding to the position of the key point of the centroid of the vertebra as a label, and the network returns the 3D heat map information to complete the vertebral positioning.
  • the above-mentioned apparatus may be implemented in the form of a computer program, and the computer program may run on the computer device as shown in FIG. 7.
  • FIG. 7 is a schematic block diagram of the structure of a computer device provided by an embodiment of the present application.
  • the computer device may be a server.
  • the computer device includes a processor, a memory, and a network interface connected through a system bus, where the memory may be volatile or non-volatile.
  • the non-volatile storage medium can store an operating system and a computer program.
  • the computer program includes program instructions, and when the program instructions are executed, the processor can execute any CT image vertebra positioning method.
  • the processor is used to provide computing and control capabilities and support the operation of the entire computer equipment.
  • the internal memory provides an environment for the operation of the computer program in the non-volatile storage medium.
  • the processor can execute any CT image vertebra positioning method.
  • the network interface is used for network communication, such as sending assigned tasks.
  • the network interface is used for network communication, such as sending assigned tasks.
  • FIG. 7 is only a block diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation on the computer device to which the solution of the present application is applied.
  • the specific computer device may Including more or fewer parts than shown in the figure, or combining some parts, or having a different arrangement of parts.
  • the processor may be a central processing unit (Central Processing Unit, CPU), and the processor may also be other general-purpose processors, digital signal processors (Digital Signal Processors, DSPs), and application specific integrated circuits (Application Specific Integrated Circuits). Circuit, ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor may be a microprocessor or the processor may also be any conventional processor.
  • the processor is used to run a computer program stored in a memory to implement the following steps:
  • the network Using the 3D heat map corresponding to the position of the key point of the centroid of the vertebrae as a label, the network returns the 3D heat map information to complete the vertebral positioning.
  • the processor implements the input of the pre-processed vertebra CT image data into a pre-trained neural network model to obtain a heat map regression of key points corresponding to the pre-processed vertebra CT image data
  • the results include:
  • the high-resolution neural network model including feature maps of different resolutions processed in parallel;
  • the preprocessed CT image data of the vertebrae are interactively processed through the feature maps of different resolutions, and 25 3D heat maps are used as network labels to obtain 25 key point heat map regression results corresponding to the spine.
  • the processor implementing the return of the 3D heat map corresponding to the key point position of the vertebral centroid based on the key point heat map regression result and the preprocessed vertebra CT image data includes:
  • the U-shaped convolutional neural network is combined with the spatial information extraction network, the preprocessed vertebral CT image data is used as input, the vertebral centroid key point position is used as a label, and the result is returned from the 25 key point heat map Determine the 3D heat maps corresponding to the 6 target positions in the
  • the 3D heat maps corresponding to the 6 target positions include the first cervical vertebral block, the cervical caudal vertebral block, the first lumbar vertebral block, the lumbar caudal vertebral block, the first thoracic vertebral block, and the thoracic caudal vertebral block respectively corresponding to the key point positions. 3D heat map correspondence.
  • the processor realizes that the 3D heat map corresponding to the key point position of the vertebrae is used as a label, and the network returns the 3D heat map information to complete the vertebral positioning, including:
  • the 3D heat map corresponding to the key point position of the vertebrae is used as a label, and the network returns the 3D heat map information to complete the vertebral positioning.
  • implementing the processor to determine the key point positions corresponding to the 3D heat maps corresponding to the 6 target positions includes:
  • the maximum values of the 3D heat maps corresponding to the 6 target positions are taken as the key point positions.
  • the processor further implements the preprocessing of the vertebra CT image data, including:
  • the SimpleITK toolkit is used to perform data enhancement operation processing on the vertebra CT image data to obtain vertebra CT image data with a variety of training samples.
  • the embodiments of the present application also provide a computer-readable storage medium.
  • the computer-readable storage medium may be volatile or non-volatile.
  • the computer-readable storage medium stores a computer program.
  • the computer program includes program instructions, and the processor executes the program instructions to implement any CT image vertebra positioning method provided in the embodiments of the present application.
  • the computer-readable storage medium may be the internal storage unit of the computer device described in the foregoing embodiment, for example, the hard disk or memory of the computer device.
  • the computer-readable storage medium may also be an external storage device of the computer device, such as a plug-in hard disk equipped on the computer device, a smart memory card (Smart Media Card, SMC), and a Secure Digital (SD) ) Card, Flash Card, etc.
  • a plug-in hard disk equipped on the computer device such as a smart memory card (Smart Media Card, SMC), and a Secure Digital (SD) ) Card, Flash Card, etc.
  • SD Secure Digital
  • the computer-readable storage medium may mainly include a storage program area and a storage data area, where the storage program area may store an operating system, an application program required by at least one function, etc.; the storage data area may store Data created by the use of nodes, etc.
  • the blockchain referred to in the present invention is a new application mode of computer technology such as distributed data storage, point-to-point transmission, consensus mechanism, and encryption algorithm.
  • Blockchain essentially a decentralized database, is a series of data blocks associated with cryptographic methods. Each data block contains a batch of network transaction information for verification. The validity of the information (anti-counterfeiting) and the generation of the next block.
  • the blockchain can include the underlying platform of the blockchain, the platform product service layer, and the application service layer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

一种CT图像椎骨定位方法、装置、设备及介质，涉及人工智能中的图像处理，所述方法包括：对椎骨CT图像数据进行预处理；将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果，所述关键点热图回归结果存储在区块链节点中；根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图；将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。有效消除扫描设备差异和扫描噪声带来的影响，对于复杂形态的椎骨也能实现精确定位。该方法适用于智慧医疗领域，可进一步推动智慧城市的建设。

Description

CT图像椎骨定位方法、装置、设备及介质
本申请要求于2020年9月22日提交中国专利局、申请号为CN2020109984232、名称为“CT图像椎骨定位方法、装置、设备及介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像处理领域，尤其涉及一种CT图像椎骨定位方法、装置、计算机设备及介质。
背景技术
脊柱是肌肉骨骼系统的重要组成部分，维持和支撑着身体及各器官结构，生物力学改变可能导致脊椎病变或者弯曲，若缺乏早期检测进行预防或者有效治疗，将会影响中枢神经受阻从而引发慢性疾病。目前，计算机断层扫描(CT图像)因其高对比度的骨软组织，是研究脊柱曲线、识别脊柱畸形的首选方法。
由于椎骨周围组织结构复杂、金属植入物、扫描噪声等问题存在，放射科技师诊疗工作繁琐且耗时，因此需要精确自动的椎骨定位。当前已有的椎骨定位方法大多要求CT图像中椎骨数目确定且轮廓清晰，针对部分脊柱节段(如颈椎、腰椎等)，无法对整段脊柱进行椎骨定位。
发明人意识到，传统方法进行椎骨定位需要根据椎骨形态等人工设计复杂特征，难以适用于多种异常病理现象。另外，由于椎骨之间相关性强、后部形态复杂、扫描设备差异以及扫描存在噪声等局限导致普通的卷积神经网络方法难以提取CT图像的有效特征，一般需要较大的数据量进行训练，无法实现精确的椎骨定位。
发明内容
本申请提供了一种CT图像椎骨定位方法，所述方法包括：
对椎骨CT图像数据进行预处理；
将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果；
根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图；
将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
本申请还提供了一种CT图像椎骨定位装置，所述装置包括：
预处理模块，用于对椎骨CT图像数据进行预处理；
训练模块，用于将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果；
回归模块，用于根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图；
定位模块，用于将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的CT图像椎骨定位方法。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的CT图像椎骨定位方法。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的实施例提供的一种CT图像椎骨定位方法的示意流程图；
图2是本申请的实施例提供的一种CT图像椎骨定位方法的结构示意图；
图3是本申请的实施例提供的椎骨CT图像数据对应的原图及预处理后对比图；
图4是本申请的实施例提供的高分辨率的卷积神经网络的结构示意图；
图5是本申请的实施例提供的确定6个3D热图对应的图像；
图6为本申请的实施例提供的另一种CT图像椎骨定位装置的示意性框图；
图7为本申请的实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本申请的实施例提供了一种CT图像椎骨定位方法、装置、计算机设备及存储介质。其中，该CT图像椎骨定位方法有效消除扫描设备差异和扫描噪声带来的影响，对于复杂形态的椎骨也能实现精确定位。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1－2，图1是本申请的实施例提供的一种CT图像椎骨定位方法的示意流程图，图2是本申请的实施例提供的一种CT图像椎骨定位方法的结构示意图。如图1所示，该CT图像椎骨定位方法具体包括步骤S101至步骤S104。
S101、对椎骨CT图像数据进行预处理。
在得到椎骨CT图像数据后，首先，对椎骨CT图像数据进行预处理，使得椎骨CT图像数据集进行方向统一变化，具体地，采用SimpleITK工具包对CT图像进行平移、缩放、旋转和弹性形变等操作，增加训练样本的多样性。
SimpleITK是专门处理医学影像的软件，在SimpleITK中，图像的概念与在计算机视觉中常用的RGB图像差异很大，后者只是一个多维矩阵，是一个数学上的概念，而在SimpleITK中，图像是一种物理实体，图像中的每一个像素都是物理空间中的一个点，不光有着像素值，还有着坐标，间距，方向等概念。
如图3所示，图3是本申请的实施例提供的椎骨CT图像数据对应的原图及预处理后对比图，通过SimpleITK，对椎骨CT图像数据进行预处理，即进行空间平移、缩放、旋转和弹性形变等数据增强操作处理，在将预处理后的椎骨CT图像数据作为训练样本时，模型参数少，具有样本丰富及多样性的特点。
S102、将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果。
具体地，在得到预处理后的椎骨CT图像数据后，将预处理后的椎骨CT图像数据输入到卷积神经网络中进行训练，该卷积神经网络可以是高分辨率的卷积神经网络，因此，将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果，可以包括：
将所述预处理后的椎骨CT图像数据输入到高分辨率神经网络模型，所述高分辨率神经网络模型包括并联处理的不同分辨率的特征图；
通过所述不同分辨率的特征图对所述预处理后的椎骨CT图像数据进行交互处理，且将25个3D热图作为网络标签，得到脊柱对应的25个关键点热图回归结果。
在一些实施方式中，将椎骨定位问题转化为语义分割问题，回归25个3D热图。通过语义分割，将整个脊柱分割为25个椎骨，得到25个3D热图，与整段脊柱有25块椎骨对应，25块每个热图的像素值最高点反映椎骨质心，以此定位椎骨。采用回归25个3D热图的方式，能减少卷积神经网络对数据的依赖，同时，模型参数更小。
可以理解的是，本案采用高分辨率的卷积神经网络，如图4所示，图4是本申请的实施例提供的高分辨率的卷积神经网络结构，将所述预处理后的椎骨CT图像数据输入到神经网络模型，得到不同分辨率的特征图。
与现有技术的先降分辨率后串联升分辨率的网络结构不同的是，通过所述不同分辨率的特征图对所述预处理后的椎骨CT图像数据进行交互处理，且将25个3D热图作为网络标签，得到脊柱对应的25个关键点热图回归结果，在25个3D热图中，越靠近特征点，像素值越大，反之越小，特征点在热图中类似于一个个小的光板，具体地，3D热图的构建公式如下：
Figure PCTCN2020125002-appb-000001
其中，γ是超参数，δ i是可学习参数，g i表示热图中第i个特征点对应通道的像素值，x表示像素位置，x’表示关键点位置，d表示热图维度，损失函数为L2。
该高分辨率的卷积神经网络使整个网络结构中都保持高分辨率表征，能够提高模型性能，通过该高分辨率的卷积神经网络对预处理后的椎骨CT图像数据的训练，得到的神经网络模型具有高鲁棒性与泛化性，且避免过拟合，并且，构建高分辨率的卷积神经网络，能够实现高自动化任意脊柱段椎骨定位，无需根据椎骨形态人工设计繁琐的特征提取器。
需要强调的是，为进一步保证上述网络标签的私密性和安全性，上述网络标签还可以存储于一区块链的节点中。
S103、根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图。
在一些实施方式中，根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图可以包括：
采用U型卷积神经网络与空间信息提取网络相结合的方式，将所述预处理后的椎骨CT图像数据作为输入，椎骨质心关键点位置作为标签，从所述25个关键点热图回归结果中确定6个目标位置对应的3D热图；
其中，所述6个目标位置对应的3D热图包括颈椎首椎块、颈椎尾椎块、腰椎首椎块、腰椎尾椎块、胸椎首椎块、胸椎尾椎块分别与关键点位置对应的3D热图对应。
具体地，在得到25个3D热图后，由于25个3D热图对应的是整段脊柱所有的椎骨，类别数目较多，若是单独基于高分辨率的卷积神经网络训练可能会导致椎骨类别的判断错误，在整段脊柱中，颈椎首椎块、颈椎尾椎块、腰椎首椎块、腰椎尾椎块、胸椎首椎块、胸椎尾椎块6个关键点的显著性最强，更容易被识别。因此，借鉴Christian Payer论文中的思想，将经过预处理后的椎骨CT图像数据集合作为输入，椎骨质心关键点位置作为标签，网络结构 采用U型卷积神经网络(U－Net)与空间信息提取网络(Spatial Configuration Net)结合的方式，从所述25个关键点热图回归结果中回归这6个3D热图信息得到回归结果，从而确定6个目标位置对应的3D热图。
如图5所示，图5是本申请的实施例提供的确定6个3D热图对应的图像，相对于依靠25个椎骨定位，确定6个3D热图的网络结构更加容易收敛，定位精度更好。
S104、将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
在一些实施方式中，在确定6个关键点对应的3D热图后，将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位，可以包括：
确定所述6个目标位置对应的3D热图对应的关键点位置；
通过限定椎块之间的预设间隔范围，将所述椎骨关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
其中，在确定6个目标位置对应的3D热图后，取所述6个目标位置对应的3D热图分别对应的最大值，作为关键点位置，然后，由于6个关键点之间通常有预设的间隔范围，如颈椎首椎块、颈椎尾椎块之间都是在预设区间范围内，那么，通过限定椎块之间的预设间隔范围，再结合高分辨率的卷积神经网络的输出结果，输出结果为所述椎骨关键点位置对应的3D热图作为标签，实现椎骨精确定位。
通过将高分辨率的卷积神经网络与关键点定位进行结合，优化了后处理方案，解决了由于椎骨数目过多而可能产生的类别错误问题，使得定位结果更加精确。
上述实施例提供CT图像椎骨定位方法，对椎骨CT图像数据进行预处理后，将预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，采用的神经网络模型可以是高分辨率卷积神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果，然后，根据关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图，将所述椎骨质心关键点位置对应的3D热图作为标签，该标签具有高鲁棒性和泛化性的特点，并网络回归3D热图信息，完成椎骨定位。通过高分辨率卷积神经网络与关键点定位的结合，解决了由于椎骨数目过多而可能产生的类别错误问题，使得定位结果更加精确。本申请的网络模型容易训练，卷积神经网络模型具有高鲁棒性和泛化性，不依赖大量轮廓清晰的数据集进行训练，且能够有效消除扫描设备差异和扫描噪声带来的影响，对于复杂形态的椎骨也能实现精确的定位。
请参阅图6，图6是本申请的实施例提供一种CT图像椎骨定位装置的示意性框图，该CT图像椎骨定位装置用于执行前述的CT图像椎骨定位方法。其中，该CT图像椎骨定位装置可以配置于终端或服务器。
如图6所示，该CT图像椎骨定位装置400，包括：预处理模块401、训练模块402、回归模块403、定位模块404。
预处理模块401，用于对椎骨CT图像数据进行预处理；
训练模块402，用于将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果；
回归模块403，用于根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图；
定位模块404，用于将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本申请的实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器。
参阅图7，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以是易失性的，也可以是非易失性的。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种CT图像椎骨定位方法。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种CT图像椎骨定位方法。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
对椎骨CT图像数据进行预处理；
将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果；
根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图；
将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
在一些实施例中，所述处理器实现所述将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果，包括：
将所述预处理后的椎骨CT图像数据输入到高分辨率神经网络模型，所述高分辨率神经网络模型包括并联处理的不同分辨率的特征图；
通过所述不同分辨率的特征图对所述预处理后的椎骨CT图像数据进行交互处理，且将25个3D热图作为网络标签，得到脊柱对应的25个关键点热图回归结果。
在一些实施例中，所述处理器实现所述根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图，包括：
采用U型卷积神经网络与空间信息提取网络相结合的方式，将所述预处理后的椎骨CT图像数据作为输入，椎骨质心关键点位置作为标签，从所述25个关键点热图回归结果中确定6个目标位置对应的3D热图；
其中，所述6个目标位置对应的3D热图包括颈椎首椎块、颈椎尾椎块、腰椎首椎块、腰椎尾椎块、胸椎首椎块、胸椎尾椎块分别与关键点位置对应的3D热图对应。
在一些实施例中，所述处理器实现所述将所述椎骨关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位，包括：
确定所述6个目标位置对应的3D热图对应的关键点位置；
通过限定椎块之间的预设间隔范围，将所述椎骨关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
在一些实施例中，所述处理器实现所述确定所述6个目标位置对应的3D热图对应的关键点位置，包括：
取所述6个目标位置对应的3D热图分别对应的最大值，作为关键点位置。
在一些实施例中，所述处理器还实现将所述对椎骨CT图像数据进行预处理，包括：
采用SimpleITK工具包对所述椎骨CT图像数据进行数据增强操作处理，得到训练样本多样性的椎骨CT图像数据。
本申请的实施例中还提供一种计算机可读存储介质，计算机可读存储介质可以是易失性的，也可以是非易失性的，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项CT图像椎骨定位方法。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

  1. 一种CT图像椎骨定位方法，其中，所述方法包括：
    对椎骨CT图像数据进行预处理；
    将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果；
    根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图；
    将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
  2. 根据权利要求1所述的方法，其中，所述将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果，包括：
    将所述预处理后的椎骨CT图像数据输入到高分辨率神经网络模型，所述高分辨率神经网络模型包括并联处理的不同分辨率的特征图；
    通过所述不同分辨率的特征图对所述预处理后的椎骨CT图像数据进行交互处理，且将25个3D热图作为网络标签，得到脊柱对应的25个关键点热图回归结果。
  3. 根据权利要求2所述的方法，其中，所述根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图，包括：
    采用U型卷积神经网络与空间信息提取网络相结合的方式，将所述预处理后的椎骨CT图像数据作为输入，椎骨质心关键点位置作为标签，从所述25个关键点热图回归结果中确定6个目标位置对应的3D热图；
    其中，所述6个目标位置对应的3D热图包括颈椎首椎块、颈椎尾椎块、腰椎首椎块、腰椎尾椎块、胸椎首椎块、胸椎尾椎块分别与关键点位置对应的3D热图对应。
  4. 根据权利要求3所述的方法，其中，所述将所述椎骨关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位，包括：
    确定所述6个目标位置对应的3D热图对应的关键点位置；
    通过限定椎块之间的预设间隔范围，将所述椎骨关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
  5. 根据权利要求4所述的方法，其中，所述确定所述6个目标位置对应的3D热图对应的关键点位置，包括：
    取所述6个目标位置对应的3D热图分别对应的最大值，作为关键点位置。
  6. 根据权利要求1所述的方法，其中，所述对椎骨CT图像数据进行预处理，包括：
    采用SimpleITK工具包对所述椎骨CT图像数据进行数据增强操作处理，得到训练样本多样性的椎骨CT图像数据。
  7. 根据权利要求2所述的方法，其中，所述3D热图的构建公式如下：
    Figure PCTCN2020125002-appb-100001
    其中，γ是超参数，δ i是可学习参数，g i表示热图中第i个特征点对应通道的像素值，x表示像素位置，x’表示关键点位置，d表示热图维度。
  8. 一种CT图像椎骨定位装置，其中，包括：
    预处理模块，用于对椎骨CT图像数据进行预处理；
    训练模块，用于将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果；
    回归模块，用于根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎 骨质心关键点位置对应的3D热图；
    定位模块，用于将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
  9. 一种计算机设备，其中，所述计算机设备包括存储器和处理器；
    所述存储器用于存储计算机程序；
    所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如下步骤：
    对椎骨CT图像数据进行预处理；
    将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果；
    根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图；
    将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
  10. 根据权利要求9所述的计算机设备，其中，所述将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果，包括：
    将所述预处理后的椎骨CT图像数据输入到高分辨率神经网络模型，所述高分辨率神经网络模型包括并联处理的不同分辨率的特征图；
    通过所述不同分辨率的特征图对所述预处理后的椎骨CT图像数据进行交互处理，且将25个3D热图作为网络标签，得到脊柱对应的25个关键点热图回归结果。
  11. 根据权利要求10所述的计算机设备，其中，所述根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图，包括：
    采用U型卷积神经网络与空间信息提取网络相结合的方式，将所述预处理后的椎骨CT图像数据作为输入，椎骨质心关键点位置作为标签，从所述25个关键点热图回归结果中确定6个目标位置对应的3D热图；
    其中，所述6个目标位置对应的3D热图包括颈椎首椎块、颈椎尾椎块、腰椎首椎块、腰椎尾椎块、胸椎首椎块、胸椎尾椎块分别与关键点位置对应的3D热图对应。
  12. 根据权利要求11所述的计算机设备，其中，所述将所述椎骨关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位，包括：
    确定所述6个目标位置对应的3D热图对应的关键点位置；
    通过限定椎块之间的预设间隔范围，将所述椎骨关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
  13. 根据权利要求11所述的计算机设备，其中，所述确定所述6个目标位置对应的3D热图对应的关键点位置，包括：
    取所述6个目标位置对应的3D热图分别对应的最大值，作为关键点位置。
  14. 根据权利要求9所述的计算机设备，其中，所述对椎骨CT图像数据进行预处理，包括：
    采用SimpleITK工具包对所述椎骨CT图像数据进行数据增强操作处理，得到训练样本多样性的椎骨CT图像数据。
  15. 根据权利要求10所述的计算机设备，其中，所述3D热图的构建公式如下：
    Figure PCTCN2020125002-appb-100002
    其中，γ是超参数，δ i是可学习参数，g i表示热图中第i个特征点对应通道的像素值，x表示像素位置，x’表示关键点位置，d表示热图维度。
  16. 一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所 述计算机程序被处理器执行时使所述处理器实现如下步骤：
    对椎骨CT图像数据进行预处理；
    将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果；
    根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图；
    将所述椎骨质心关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
  17. 根据权利要求16所述的计算机可读存储介质，其中，所述将所述预处理后的椎骨CT图像数据输入到预先训练的神经网络模型，得到与预处理后的椎骨CT图像数据对应的关键点热图回归结果，包括：
    将所述预处理后的椎骨CT图像数据输入到高分辨率神经网络模型，所述高分辨率神经网络模型包括并联处理的不同分辨率的特征图；
    通过所述不同分辨率的特征图对所述预处理后的椎骨CT图像数据进行交互处理，且将25个3D热图作为网络标签，得到脊柱对应的25个关键点热图回归结果。
  18. 根据权利要求17所述的计算机可读存储介质，其中，所述根据所述关键点热图回归结果及所述预处理后的椎骨CT图像数据回归椎骨质心关键点位置对应的3D热图，包括：
    采用U型卷积神经网络与空间信息提取网络相结合的方式，将所述预处理后的椎骨CT图像数据作为输入，椎骨质心关键点位置作为标签，从所述25个关键点热图回归结果中确定6个目标位置对应的3D热图；
    其中，所述6个目标位置对应的3D热图包括颈椎首椎块、颈椎尾椎块、腰椎首椎块、腰椎尾椎块、胸椎首椎块、胸椎尾椎块分别与关键点位置对应的3D热图对应。
  19. 根据权利要求18所述的计算机可读存储介质，其中，所述将所述椎骨关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位，包括：
    确定所述6个目标位置对应的3D热图对应的关键点位置；
    通过限定椎块之间的预设间隔范围，将所述椎骨关键点位置对应的3D热图作为标签，网络回归3D热图信息，完成椎骨定位。
  20. 根据权利要求18所述的计算机可读存储介质，其中，所述确定所述6个目标位置对应的3D热图对应的关键点位置，包括：
    取所述6个目标位置对应的3D热图分别对应的最大值，作为关键点位置。
PCT/CN2020/125002 2020-09-22 2020-10-30 Ct图像椎骨定位方法、装置、设备及介质 Ceased WO2021189843A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/613,487 US11928782B2 (en) 2020-09-22 2020-10-30 Method for positioning vertebra in CT image, apparatus, device, and computer readable storage medium
JP2021568943A JP7221421B2 (ja) 2020-09-22 2020-10-30 Ｃｔ画像の椎骨位置決め方法、装置、機器及び媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010998423.2 2020-09-22
CN202010998423.2A CN111932533B (zh) 2020-09-22 2020-09-22 Ct图像椎骨定位方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
WO2021189843A1 true WO2021189843A1 (zh) 2021-09-30

Family

ID=73333987

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/125002 Ceased WO2021189843A1 (zh) 2020-09-22 2020-10-30 Ct图像椎骨定位方法、装置、设备及介质

Country Status (4)

Country Link
US (1) US11928782B2 (zh)
JP (1) JP7221421B2 (zh)
CN (1) CN111932533B (zh)
WO (1) WO2021189843A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330753A (zh) * 2022-10-10 2022-11-11 博志生物科技(深圳)有限公司 椎骨识别方法、装置、设备及存储介质
CN115880319A (zh) * 2023-02-16 2023-03-31 博志生物科技(深圳)有限公司 一种椎体终板及邻近松质骨自动分割方法及装置
CN116309455A (zh) * 2023-03-16 2023-06-23 山东大学 腰椎异常图像识别方法及系统
WO2024001140A1 (zh) * 2022-06-28 2024-01-04 北京大学第三医院（北京大学第三临床医学院） 一种椎体亚区域分割方法、装置及存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11704798B2 (en) * 2020-12-02 2023-07-18 Ping An Technology (Shenzhen) Co., Ltd. Method and device for vertebra localization and identification
CN112686878A (zh) * 2021-01-05 2021-04-20 北京大学口腔医学院 颞下颌关节cbct图像关键点的定位方法和装置
CN113240696B (zh) * 2021-05-20 2022-02-08 推想医疗科技股份有限公司 图像处理方法及装置，模型的训练方法及装置，电子设备
CN113240661B (zh) * 2021-05-31 2023-09-26 平安科技（深圳）有限公司 基于深度学习的腰椎骨分析方法、装置、设备及存储介质
CN113327235B (zh) * 2021-06-04 2022-07-01 杭州健培科技有限公司 基于ct影像肌少症评估的图像处理方法和装置
WO2023021504A1 (en) * 2021-08-18 2023-02-23 Tel Hashomer Medical Research, Infrastructure And Services Ltd. System and method for monitoring treatment through pet-ct combination imaging
KR102672531B1 (ko) * 2021-11-09 2024-06-07 주식회사 피앤씨솔루션 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치
CN114358388B (zh) * 2021-12-13 2024-10-15 中国科学院深圳先进技术研究院 一种椎弓根螺钉置入手术路径规划方法、装置及设备
CN114511561B (zh) * 2022-04-18 2022-06-17 博志生物科技(深圳)有限公司 脊柱矢状位形态预测方法、装置、设备及存储介质
CN115273223A (zh) * 2022-06-24 2022-11-01 河南中光学集团有限公司 一种轻量化手部骨骼关键点定位方法
CN115546106B (zh) * 2022-09-06 2025-04-04 北京羽医甘蓝信息技术有限公司 一种椎骨和气道的定位方法和系统
CN115641324A (zh) * 2022-11-04 2023-01-24 上海电气集团股份有限公司 颈椎关键点预测方法、系统、电子设备及存储介质
CN116309495B (zh) * 2023-03-24 2025-10-28 南京大学 一种脊柱关键点检测和Cobb角计算方法、系统
CN116492052B (zh) * 2023-04-24 2024-04-23 中科智博(珠海)科技有限公司 一种基于混合现实脊柱三维可视化手术导航系统
CN119379781B (zh) * 2024-09-03 2025-09-19 山东大学齐鲁医院 基于关键点检测的胸部横断面ct倾斜识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320288A (zh) * 2017-12-08 2018-07-24 李书纲 一种特发性脊柱侧凸影像的数据处理方法
CN109859233A (zh) * 2018-12-28 2019-06-07 上海联影智能医疗科技有限公司 图像处理、图像处理模型的训练方法及系统
CN110852991A (zh) * 2019-10-10 2020-02-28 浙江大学 一种基于3d结合2d的脊椎骨检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11302008B2 (en) * 2018-03-30 2022-04-12 Perkinelmer Health Sciences, Inc. Systems and methods for automated detection and segmentation of vertebral centrum(s) in 3D images
US12062429B2 (en) * 2018-08-21 2024-08-13 Koninklijke Philips N.V. Salient visual explanations of feature assessments by machine learning models
CN111210467A (zh) * 2018-12-27 2020-05-29 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
US11790524B2 (en) * 2019-06-20 2023-10-17 Ohio State Innovation Foundation System and method for quantitative volumetric assessment and modeling of tumor lesions
CN110705555B (zh) * 2019-09-17 2022-06-14 中山大学 基于fcn的腹部多器官核磁共振图像分割方法、系统及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320288A (zh) * 2017-12-08 2018-07-24 李书纲 一种特发性脊柱侧凸影像的数据处理方法
CN109859233A (zh) * 2018-12-28 2019-06-07 上海联影智能医疗科技有限公司 图像处理、图像处理模型的训练方法及系统
CN110852991A (zh) * 2019-10-10 2020-02-28 浙江大学 一种基于3d结合2d的脊椎骨检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PAYER CHRISTIAN, ŠTERN DARKO, BISCHOF HORST, URSCHLER MARTIN: "Coarse to Fine Vertebrae Localization and Segmentation with SpatialConfiguration-Net and U-Net :", PROCEEDINGS OF THE 15TH INTERNATIONAL JOINT CONFERENCE ON COMPUTER VISION, IMAGING AND COMPUTER GRAPHICS THEORY AND APPLICATIONS, SCITEPRESS - SCIENCE AND TECHNOLOGY PUBLICATIONS, 29 February 2020 (2020-02-29) - 29 February 2020 (2020-02-29), pages 124 - 133, XP055854516, ISBN: 978-989-7584-02-2, DOI: 10.5220/0008975201240133 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024001140A1 (zh) * 2022-06-28 2024-01-04 北京大学第三医院（北京大学第三临床医学院） 一种椎体亚区域分割方法、装置及存储介质
CN115330753A (zh) * 2022-10-10 2022-11-11 博志生物科技(深圳)有限公司 椎骨识别方法、装置、设备及存储介质
CN115330753B (zh) * 2022-10-10 2022-12-20 博志生物科技(深圳)有限公司 椎骨识别方法、装置、设备及存储介质
CN115880319A (zh) * 2023-02-16 2023-03-31 博志生物科技(深圳)有限公司 一种椎体终板及邻近松质骨自动分割方法及装置
CN115880319B (zh) * 2023-02-16 2023-07-21 博志生物科技(深圳)有限公司 一种椎体终板及邻近松质骨自动分割方法及装置
CN116309455A (zh) * 2023-03-16 2023-06-23 山东大学 腰椎异常图像识别方法及系统

Also Published As

Publication number Publication date
US11928782B2 (en) 2024-03-12
CN111932533B (zh) 2021-04-27
JP2022533686A (ja) 2022-07-25
JP7221421B2 (ja) 2023-02-13
CN111932533A (zh) 2020-11-13
US20230186566A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
WO2021189843A1 (zh) Ct图像椎骨定位方法、装置、设备及介质
CN111862066B (zh) 基于深度学习的脑瘤图像分割方法、装置、设备及介质
US11862348B2 (en) Systems and methods for using generic anatomy models in surgical planning
WO2021114622A1 (zh) 脊柱弯曲角度测量方法、装置、计算机设备及存储介质
US8861891B2 (en) Hierarchical atlas-based segmentation
WO2018205232A1 (zh) 一种针对拼接结果自动精确定位参考线的方法
CN112634256A (zh) 圆检测及拟合方法、装置、电子设备和存储介质
CN112785632A (zh) 基于epid的图像引导放疗中dr和drr影像跨模态自动配准方法
CN110555856A (zh) 一种基于深度神经网络的黄斑水肿病变区域分割方法
WO2020168647A1 (zh) 图像识别方法及相关设备
CN115984203A (zh) 一种眼球突出度测量方法、系统、终端及介质
CN114092475B (zh) 病灶长径确定方法、图像标注方法、装置及计算机设备
Hong et al. Automated cephalometric landmark detection using deep reinforcement learning
US12272023B2 (en) Deep learning multi-planar reformatting of medical images
Ai et al. Spatial probabilistic distribution map-based two-channel 3D U-net for visual pathway segmentation
CN113888566A (zh) 目标轮廓曲线确定方法、装置、电子设备以及存储介质
Khan et al. Transformative deep neural network approaches in kidney ultrasound segmentation: empirical validation with an annotated dataset
CN114901191A (zh) 描述骨变形的方法和装置
CN120163782A (zh) 对称信息检测方法、装置、计算机设备和存储介质
Rostamian et al. A deep learning-based multi-view approach to automatic 3D landmarking and deformity assessment of lower limb
CN111784705B (zh) 感兴趣区域的勾画方法、装置、设备和存储介质
US20250152243A1 (en) Process and system for three-dimensional modelling of tissue of a subject, and surgical planning process and system
Lian et al. Deformation registration based on reconstruction of brain MRI images with pathologies
CN117911445A (zh) 牙根管分割方法、牙根管三维重建方法及装置
CN110738639A (zh) 医学图像检测结果的展示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20927070

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021568943

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20927070

Country of ref document: EP

Kind code of ref document: A1