JP7221421B2 - Ｃｔ画像の椎骨位置決め方法、装置、機器及び媒体 - Google Patents
Ｃｔ画像の椎骨位置決め方法、装置、機器及び媒体 Download PDFInfo
- Publication number
- JP7221421B2 JP7221421B2 JP2021568943A JP2021568943A JP7221421B2 JP 7221421 B2 JP7221421 B2 JP 7221421B2 JP 2021568943 A JP2021568943 A JP 2021568943A JP 2021568943 A JP2021568943 A JP 2021568943A JP 7221421 B2 JP7221421 B2 JP 7221421B2
- Authority
- JP
- Japan
- Prior art keywords
- vertebral
- heatmap
- image data
- keypoint
- preprocessed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 39
- 230000004807 localization Effects 0.000 title claims description 38
- 238000003062 neural network model Methods 0.000 claims description 26
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 11
- 210000000115 thoracic cavity Anatomy 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 230000005489 elastic deformation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 206010058907 Spinal deformity Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002346 musculoskeletal system Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Description
本願は、２０２０年９月２２日に中国国家知識産権局に提出された、出願番号ＣＮ２０２０１０９９８４２３２、名称が「ＣＴ画像の椎骨位置決め方法、装置、機器及び媒体」の中国特許出願の優先権を主張し、その内容の全てが参照によって本願に組み込まれる。
本願は、画像処理分野に関し、特に、ＣＴ画像の椎骨位置決め方法、装置、コンピュータ機器及び媒体に関する。
脊柱は、筋骨格系の重要な構成部分であり、身体及び各器官の構造を維持し、支持しており、生体力学的変化は脊椎の病変又は湾曲を引き起こす可能性があり、予防又は有効な治療のための早期検出がない場合、中枢神経の障害に影響を及ぼし、慢性疾患を引き起こす。現在、コンピュータ断層撮影（ＣＴ画像）は、その高コントラストの骨軟組織のため、脊柱曲線を研究し、脊柱奇形を認識する好ましい方法である。
椎骨周囲の複雑な組織構造、金属インプラント、走査ノイズなどの問題が存在するため、放射線科技師の診療作業は煩雑であり時間がかかるため、正確で自動的な椎骨位置決めが必要となる。現在の既存の椎骨位置決め方法の多くはＣＴ画像中の椎骨の数が決定され、輪郭がはっきりしていることを要求し、一部の脊柱分節（頚椎、腰椎など）に対して、脊柱全体に対して椎骨位置決めを行うことができない。
発明者らは、従来の方法で椎骨位置決めを行うには、椎骨の形態などに応じて複雑な特徴を人工的に設計する必要があり、多くの異常病理現象に適用することが困難であることを認識した。また、椎骨間の相関性が強く、後部の形態が複雑で、走査装置の違い及び走査にノイズが存在するなどの限界により、一般的な畳み込みニューラルネットワーク方法ではＣＴ画像の有効な特徴を抽出することが困難であり、一般にトレーニングには大きなデータ量が必要で、正確な椎骨位置決めは実現できない。
本願は、ＣＴ画像の椎骨位置決め方法を提供し、前記方法は、
椎骨ＣＴ画像データを前処理するステップと、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得るステップと、
前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰するステップと、
前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を含む。
椎骨ＣＴ画像データを前処理するステップと、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得るステップと、
前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰するステップと、
前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を含む。
本願は、ＣＴ画像の椎骨位置決め装置をさらに提供し、前記装置は、
椎骨ＣＴ画像データを前処理するための前処理モジュールと、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得るためのトレーニングモジュールと、
前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰するための回帰モジュールと、
前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するための位置決めモジュールと、を含む。
椎骨ＣＴ画像データを前処理するための前処理モジュールと、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得るためのトレーニングモジュールと、
前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰するための回帰モジュールと、
前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するための位置決めモジュールと、を含む。
本願は、コンピュータ機器をさらに提供し、前記コンピュータ機器は、メモリと、プロセッサと、を含み、前記メモリは、コンピュータプログラムを記憶するために用いられ、前記プロセッサは、前記コンピュータプログラムを実行し、且つ前記コンピュータプログラムを実行するときに上述したＣＴ画像の椎骨位置決め方法を実現するために用いられる。
本願は、コンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムは、プロセッサによって実行されると、上述したＣＴ画像の椎骨位置決め方法を前記プロセッサに実現させる。
本願の実施例の技術的解決手段をより明確に説明するために、以下、実施例の説明に必要な図面について簡単に説明する。明らかに、以下の説明における図面は本願の実施例の一部であり、当業者にとって、創造的な労働を行うことなく、これらの図面に基づいて他の図面を得ることができる。
本願の実施例によるＣＴ画像の椎骨位置決め方法の概略フローチャートである。
本願の実施例によるＣＴ画像の椎骨位置決め方法の概略構造図である。
本願の実施例による椎骨ＣＴ画像データに対応する原画像及び前処理後の比較図である。
本願の実施例による高解像度の畳み込みニューラルネットワークの概略構造図である。
本願の実施例による６個の３Ｄヒートマップに対応する画像の決定である。
本願の実施例による別のＣＴ画像の椎骨位置決め装置の概略ブロック図である。
本願の実施例によるコンピュータ機器の構造を示すブロック図である。
以下、本願の実施例における図面を参照して、本願の実施例における技術的解決手段を明確且つ完全に説明し、明らかに、説明された実施例は本願の実施例の一部であり、全ての実施例ではない。本願における実施例に基づいて、当業者が創造的な労働を行わずに得られる他の全ての実施例は、本願の保護範囲に属する。
図面に示されるフローチャートは単なる例示であり、全ての内容及び操作／ステップを含む必要はなく、記載された順序で実行される必要もない。例えば、いくつかの操作／ステップは、分解、組み合わせ、又は部分的に結合することもできるので、実際に実行される順序は、実際の状況に応じて変わる可能性がある。
本願の明細書で使用される用語は、特定の実施例を説明するためだけのものであり、本願を限定することを意図していないことを理解されたい。本願の明細書及び添付の特許請求の範囲において使用されるように、単数形の「ａ」、「ａｎ」及び「ｔｈｅ」は、文脈が明らかにそうでないことを示さない限り、複数形を含むことが意図される。
本願の明細書及び添付の特許請求の範囲において使用される用語「及び／又は」は、関連して列挙された項目のうちの１つ又は複数の任意の組み合わせ、ならびに可能な全ての組み合わせを指し、これらの組み合わせを含むことも理解されたい。
本願の実施例は、ＣＴ画像の椎骨位置決め方法、装置、コンピュータ機器及び記憶媒体を提供する。ここで、当該ＣＴ画像の椎骨位置決め方法は、走査装置の違いと走査ノイズによる影響を効果的に取り除き、複雑な形態の椎骨に対しても正確な位置決めを実現できる。
以下、図面を参照して、本願のいくつかの実施形態について詳細に説明する。以下に説明する実施例及び実施例の特徴は、矛盾なく組み合わせることができる。
図１～２を参照すると、図１は、本願の実施例によるＣＴ画像の椎骨位置決め方法の概略フローチャートであり、図２は、本願の実施例によるＣＴ画像の椎骨位置決め方法の概略構造図である。図１に示すように、当該ＣＴ画像の椎骨位置決め方法は、具体的には、ステップＳ１０１～ステップＳ１０４を含む。
Ｓ１０１、椎骨ＣＴ画像データを前処理する。
椎骨ＣＴ画像データを得た後、まず、椎骨ＣＴ画像データを前処理し、椎骨ＣＴ画像データセットの方向を一様に変化させ、具体的には、ＳｉｍｐｌｅＩＴＫツールキットを採用してＣＴ画像に対して平行移動、拡大縮小、回転及び弾性変形などの操作を行い、トレーニングサンプルの多様性を増加させる。
ＳｉｍｐｌｅＩＴＫは、医学映像を専門に扱うソフトウェアであり、ＳｉｍｐｌｅＩＴＫでは、画像の概念がコンピュータビジョンでよく使われるＲＧＢ画像と大きく異なり、後者はただの多次元行列で数学的な概念であるが、ＳｉｍｐｌｅＩＴＫでは、画像が物理的実体であり、画像における各画素が物理的空間上の点であり、画素値だけでなく、座標、間隔、方向などの概念がある。
図３に示すように、図３は、本願の実施例による椎骨ＣＴ画像データに対応する原画像及び前処理後の比較図であり、ＳｉｍｐｌｅＩＴＫによって、椎骨ＣＴ画像データを前処理し、即ち空間平行移動、拡大縮小、回転及び弾性変形などのデータ増強操作処理を行い、前処理した椎骨ＣＴ画像データをトレーニングサンプルとするとき、モデルパラメータが少なく、サンプルが豊富で多様性があるという特徴を有する。
Ｓ１０２、前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得る。
具体的には、前処理した椎骨ＣＴ画像データを得た後、前処理した椎骨ＣＴ画像データを畳み込みニューラルネットワークに入力してトレーニングし、当該畳み込みニューラルネットワークが高解像度の畳み込みニューラルネットワークであってもよく、したがって、前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得るステップは、
前記前処理した椎骨ＣＴ画像データを高解像度ニューラルネットワークモデルに入力するステップであって、前記高解像度ニューラルネットワークモデルが並列に処理された異なる解像度の特徴マップを含むステップと、
前記異なる解像度の特徴マップによって前記前処理した椎骨ＣＴ画像データに対してインタラクション処理を行い、且つ２５個の３Ｄヒートマップをネットワークタグとし、脊柱に対応する２５個のキーポイントヒートマップ回帰結果を得るステップと、を含んでもよい。
前記前処理した椎骨ＣＴ画像データを高解像度ニューラルネットワークモデルに入力するステップであって、前記高解像度ニューラルネットワークモデルが並列に処理された異なる解像度の特徴マップを含むステップと、
前記異なる解像度の特徴マップによって前記前処理した椎骨ＣＴ画像データに対してインタラクション処理を行い、且つ２５個の３Ｄヒートマップをネットワークタグとし、脊柱に対応する２５個のキーポイントヒートマップ回帰結果を得るステップと、を含んでもよい。
いくつかの実施形態において、椎骨位置決め問題を意味分割問題に変換し、２５個の３Ｄヒートマップを回帰する。意味分割によって、脊柱全体を２５個の椎骨に分割し、２５個の３Ｄヒートマップを得て、脊柱全体に２５個の椎骨が対応し、２５個のそれぞれのヒートマップの画素値の最高点が椎骨重心を反映し、これにより椎骨を位置決めする。２５個の３Ｄヒートマップを回帰する方式を採用することで、畳み込みニューラルネットワークのデータへの依存を減らすことができ、同時に、モデルパラメータがより小さくなる。
理解できるように、本願は、高解像度の畳み込みニューラルネットワークを採用し、図４に示すように、図４は、本願の実施例による高解像度の畳み込みニューラルネットワーク構造であり、前記前処理した椎骨ＣＴ画像データをニューラルネットワークモデルに入力し、異なる解像度の特徴マップを得る。
解像度を下げた後に解像度を順次上げる従来技術のネットワーク構造とは異なり、前記異なる解像度の特徴マップによって前記前処理した椎骨ＣＴ画像データに対してインタラクション処理を行い、且つ２５個の３Ｄヒートマップをネットワークタグとし、脊柱に対応する２５個のキーポイントヒートマップ回帰結果を得て、２５個の３Ｄヒートマップにおいて、特徴点に近いほど、画素値が大きく、逆に小さく、特徴点はヒートマップにおいて個々の小さなライトボードに類似し、具体的には、３Ｄヒートマップの構築式は、
当該高解像度の畳み込みニューラルネットワークは、ネットワーク構造全体で高解像度特徴づけを保持し、モデル性能を向上させることができ、当該高解像度の畳み込みニューラルネットワークによる前処理した椎骨ＣＴ画像データのトレーニングにより、得られたニューラルネットワークモデルは高いロバスト性及び汎化性を有し、且つオーバーフィッティングを回避し、且つ、高解像度の畳み込みニューラルネットワークを構築し、任意の脊柱セグメント椎骨の高自動化位置決めを実現でき、椎骨の形態に応じて煩雑な特徴抽出器を人工的に設計する必要がない。
なお、上記ネットワークタグのプライバシー及び安全性をさらに保証するために、上記ネットワークタグは、ブロックチェーンのノードに記憶されてもよい。
Ｓ１０３、前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰する。
いくつかの実施形態において、前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰するステップは、
Ｕ型畳み込みニューラルネットワークと空間情報抽出ネットワークとを組み合わせる方式を採用して、前記前処理した椎骨ＣＴ画像データを入力とし、椎骨重心キーポイント位置をタグとし、前記２５個のキーポイントヒートマップ回帰結果から６個の目標位置に対応する３Ｄヒートマップを決定するステップを含んでもよく、
ここで、前記６個の目標位置に対応する３Ｄヒートマップは第１頚椎、第７頚椎、第１腰椎、第５腰椎、第１胸椎、第１２胸椎を含み、それぞれキーポイント位置に対応する３Ｄヒートマップに対応する。
Ｕ型畳み込みニューラルネットワークと空間情報抽出ネットワークとを組み合わせる方式を採用して、前記前処理した椎骨ＣＴ画像データを入力とし、椎骨重心キーポイント位置をタグとし、前記２５個のキーポイントヒートマップ回帰結果から６個の目標位置に対応する３Ｄヒートマップを決定するステップを含んでもよく、
ここで、前記６個の目標位置に対応する３Ｄヒートマップは第１頚椎、第７頚椎、第１腰椎、第５腰椎、第１胸椎、第１２胸椎を含み、それぞれキーポイント位置に対応する３Ｄヒートマップに対応する。
具体的には、２５個の３Ｄヒートマップを得た後、２５個の３Ｄヒートマップは脊柱全体の全ての椎骨に対応するため、カテゴリ数が多く、単独で高解像度の畳み込みニューラルネットワークトレーニングに基づくと椎骨カテゴリの判断を誤る可能性があり、脊柱全体では、第１頚椎、第７頚椎、第１腰椎、第５腰椎、第１胸椎、第１２胸椎の６個のキーポイントの顕著性が最も強く、より容易に認識される。したがって、Ｃｈｒｉｓｔｉａｎ Ｐａｙｅｒ論文の思想を踏まえ、前処理した椎骨ＣＴ画像データ集合を入力とし、椎骨重心キーポイント位置をタグとし、ネットワーク構造がＵ型畳み込みニューラルネットワーク（Ｕ－Ｎｅｔ）と空間情報抽出ネットワーク（Ｓｐａｔｉａｌ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｎｅｔ）とを組み合わせる方式を採用し、前記２５個のキーポイントヒートマップ回帰結果からこれら６個の３Ｄヒートマップ情報を回帰して回帰結果を得ることにより、６個の目標位置に対応する３Ｄヒートマップを決定する。
図５に示すように、図５は、本願の実施例による６個の３Ｄヒートマップに対応する画像の決定であり、２５個の椎骨位置決めに依存し、６個の３Ｄヒートマップを決定するネットワーク構造よりも収束しやすく、位置決め精度がより高い。
Ｓ１０４、前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了する。
いくつかの実施形態において、６個のキーポイントに対応する３Ｄヒートマップを決定した後、前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップは、
前記６個の目標位置に対応する３Ｄヒートマップに対応するキーポイント位置を決定するステップと、
椎骨間の予め設定された間隔範囲を規定することにより、前記椎骨キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を含んでもよい。
前記６個の目標位置に対応する３Ｄヒートマップに対応するキーポイント位置を決定するステップと、
椎骨間の予め設定された間隔範囲を規定することにより、前記椎骨キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を含んでもよい。
ここで、６個の目標位置に対応する３Ｄヒートマップを決定した後、前記６個の目標位置に対応する３Ｄヒートマップのそれぞれに対応する最大値を、キーポイント位置とし、そして、６個のキーポイントの間に通常予め設定された間隔範囲があり、例えば第１頚椎、第７頚椎の間が予め設定された区間範囲内にあるため、椎骨間の予め設定された間隔範囲を規定し、さらに高解像度の畳み込みニューラルネットワークの出力結果と組み合わせ、出力結果が前記椎骨キーポイント位置に対応する３Ｄヒートマップをタグとすることであり、椎骨の正確な位置決めを実現する。
高解像度の畳み込みニューラルネットワークとキーポイント位置決めとを組み合わせることにより、後処理方式を最適化し、椎骨の数が多すぎるために発生する可能性のあるカテゴリ誤りの問題を解決し、位置決め結果をより正確にする。
上記実施例によるＣＴ画像の椎骨位置決め方法は、椎骨ＣＴ画像データを前処理した後、前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、採用したニューラルネットワークモデルが高解像度畳み込みニューラルネットワークモデルであってもよく、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得て、そして、キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰し、前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、当該タグが高いロバスト性及び汎化性の特徴を有し、且つ３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了する。高解像度畳み込みニューラルネットワークとキーポイント位置決めとの組み合わせにより、椎骨の数が多すぎるために発生する可能性のあるカテゴリ誤りの問題を解決し、位置決め結果をより正確にする。本願のネットワークモデルが容易にトレーニングされ、畳み込みニューラルネットワークモデルが高いロバスト性及び汎化性を有し、大量の輪郭のはっきりしたデータセットに依存せずにトレーニングし、且つ走査装置の違いと走査ノイズによる影響を効果的に取り除き、複雑な形態の椎骨に対しても正確な位置決めを実現できる。
図６を参照すると、図６は、本願の実施例によるＣＴ画像の椎骨位置決め装置の概略ブロック図であり、当該ＣＴ画像の椎骨位置決め装置は、前述したＣＴ画像の椎骨位置決め方法を実行するために用いられる。ここで、当該ＣＴ画像の椎骨位置決め装置は、端末又はサーバに配置されてもよい。
図６に示すように、当該ＣＴ画像の椎骨位置決め装置４００は、
椎骨ＣＴ画像データを前処理するための前処理モジュール４０１と、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得るためのトレーニングモジュール４０２と、
前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰するための回帰モジュール４０３と、
前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するための位置決めモジュール４０４と、を含む。
椎骨ＣＴ画像データを前処理するための前処理モジュール４０１と、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得るためのトレーニングモジュール４０２と、
前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰するための回帰モジュール４０３と、
前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するための位置決めモジュール４０４と、を含む。
なお、当業者は、説明の便宜及び簡潔化のために、上述した装置及び各モジュールの具体的な動作過程は、前述した方法の実施例における対応過程を参照することができることを明確に理解することができ、ここでは説明を省略する。
上述した装置は、図７に示すようなコンピュータ機器で実行され得るコンピュータプログラムの形態で実現することができる。
図７を参照すると、図７は、本願の実施例によるコンピュータ機器の構造を示すブロック図である。当該コンピュータ機器は、サーバであってもよい。
図７を参照すると、当該コンピュータ機器は、システムバスを介して接続されたプロセッサ、メモリ及びネットワークインタフェースを含み、ここで、メモリは、揮発性であってもよいし、不揮発性であってもよい。
不揮発性記憶媒体は、オペレーティングシステム及びコンピュータプログラムを記憶することができる。当該コンピュータプログラムは、プログラムコマンドを含み、当該プログラムコマンドが実行されると、ＣＴ画像の椎骨位置決め方法のいずれかをプロセッサに実行させることができる。
プロセッサは、コンピュータ機器全体の動作をサポートする計算及び制御機能を提供するために用いられる。
内部メモリは、不揮発性記憶媒体におけるコンピュータプログラムの実行のための環境を提供し、当該コンピュータプログラムがプロセッサによって実行されると、ＣＴ画像の椎骨位置決め方法のいずれかをプロセッサに実行させることができる。
当該ネットワークインタフェースは、割り当てられたタスクの送信などのネットワーク通信に用いられる。図７に示す構造は、本願の解決手段に関連する部分的な構造のブロック図にすぎず、本願の解決手段が適用されるコンピュータ機器を限定するものではなく、具体的なコンピュータ機器は、図に示されているよりも多くの又は少ない構成要素を含んでもよく、一部の構成要素を組み合わせてもよく、又は異なる構成要素配置を有してもよいことを当業者は理解するであろう。
プロセッサは中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）であってもよく、当該プロセッサは、他の汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントなどであってもよいことが理解されるべきである。ここで、汎用プロセッサは、マイクロプロセッサであってもよく、又は当該プロセッサは、任意の従来のプロセッサなどであってもよい。
ここで、一実施例において、前記プロセッサは、メモリに記憶されているコンピュータプログラムを実行し、
椎骨ＣＴ画像データを前処理するステップと、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得るステップと、
前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰するステップと、
前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を実現するために用いられる。
椎骨ＣＴ画像データを前処理するステップと、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得るステップと、
前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰するステップと、
前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を実現するために用いられる。
いくつかの実施例において、前記プロセッサは、前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得る前記ステップを実現し、
前記前処理した椎骨ＣＴ画像データを高解像度ニューラルネットワークモデルに入力するステップであって、前記高解像度ニューラルネットワークモデルが並列に処理された異なる解像度の特徴マップを含むステップと、
前記異なる解像度の特徴マップによって前記前処理した椎骨ＣＴ画像データに対してインタラクション処理を行い、且つ２５個の３Ｄヒートマップをネットワークタグとし、脊柱に対応する２５個のキーポイントヒートマップ回帰結果を得るステップと、を含む。
前記前処理した椎骨ＣＴ画像データを高解像度ニューラルネットワークモデルに入力するステップであって、前記高解像度ニューラルネットワークモデルが並列に処理された異なる解像度の特徴マップを含むステップと、
前記異なる解像度の特徴マップによって前記前処理した椎骨ＣＴ画像データに対してインタラクション処理を行い、且つ２５個の３Ｄヒートマップをネットワークタグとし、脊柱に対応する２５個のキーポイントヒートマップ回帰結果を得るステップと、を含む。
いくつかの実施例において、前記プロセッサは、前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰する前記ステップを実現し、
Ｕ型畳み込みニューラルネットワークと空間情報抽出ネットワークとを組み合わせる方式を採用して、前記前処理した椎骨ＣＴ画像データを入力とし、椎骨重心キーポイント位置をタグとし、前記２５個のキーポイントヒートマップ回帰結果から６個の目標位置に対応する３Ｄヒートマップを決定するステップを含み、
ここで、前記６個の目標位置に対応する３Ｄヒートマップは第１頚椎、第７頚椎、第１腰椎、第５腰椎、第１胸椎、第１２胸椎を含み、それぞれキーポイント位置に対応する３Ｄヒートマップに対応する。
Ｕ型畳み込みニューラルネットワークと空間情報抽出ネットワークとを組み合わせる方式を採用して、前記前処理した椎骨ＣＴ画像データを入力とし、椎骨重心キーポイント位置をタグとし、前記２５個のキーポイントヒートマップ回帰結果から６個の目標位置に対応する３Ｄヒートマップを決定するステップを含み、
ここで、前記６個の目標位置に対応する３Ｄヒートマップは第１頚椎、第７頚椎、第１腰椎、第５腰椎、第１胸椎、第１２胸椎を含み、それぞれキーポイント位置に対応する３Ｄヒートマップに対応する。
いくつかの実施例において、前記プロセッサは、前記椎骨キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了する前記ステップを実現し、
前記６個の目標位置に対応する３Ｄヒートマップに対応するキーポイント位置を決定するステップと、
椎骨間の予め設定された間隔範囲を規定することにより、前記椎骨キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を含む。
前記６個の目標位置に対応する３Ｄヒートマップに対応するキーポイント位置を決定するステップと、
椎骨間の予め設定された間隔範囲を規定することにより、前記椎骨キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を含む。
いくつかの実施例において、前記プロセッサは、前記６個の目標位置に対応する３Ｄヒートマップに対応するキーポイント位置を決定する前記ステップを実現し、
前記６個の目標位置に対応する３Ｄヒートマップのそれぞれに対応する最大値を、キーポイント位置とするステップを含む。
前記６個の目標位置に対応する３Ｄヒートマップのそれぞれに対応する最大値を、キーポイント位置とするステップを含む。
いくつかの実施例において、前記プロセッサはさらに、椎骨ＣＴ画像データを前処理する前記ステップを実現し、
ＳｉｍｐｌｅＩＴＫツールキットを採用して前記椎骨ＣＴ画像データに対してデータ増強操作処理を行い、トレーニングサンプル多様性の椎骨ＣＴ画像データを得るステップを含む。
ＳｉｍｐｌｅＩＴＫツールキットを採用して前記椎骨ＣＴ画像データに対してデータ増強操作処理を行い、トレーニングサンプル多様性の椎骨ＣＴ画像データを得るステップを含む。
本願の実施例は、コンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ読み取り可能な記憶媒体は、揮発性であってもよいし、不揮発性であってもよく、前記コンピュータ読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムにプログラムコマンドが含まれ、前記プロセッサは、前記プログラムコマンドを実行し、本願の実施例によるＣＴ画像の椎骨位置決め方法のいずれかを実現する
ここで、前記コンピュータ読み取り可能な記憶媒体は、前述した実施例に記載のコンピュータ機器の内部記憶ユニット、例えば前記コンピュータ機器のハードディスク又はメモリであってもよい。前記コンピュータ読み取り可能な記憶媒体は、前記コンピュータ機器の外部記憶機器、例えば前記コンピュータ機器に備えられたプラグインハードディスク、スマートメディアカード（Ｓｍａｒｔ Ｍｅｄｉａ（登録商標） Ｃａｒｄ、ＳＭＣ）、セキュアデジタル（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ、ＳＤ）カード、フラッシュカード（Ｆｌａｓｈ Ｃａｒｄ）などであってもよい。
さらに、前記コンピュータ読み取り可能な記憶媒体は、主に、記憶プログラム領域と、記憶データ領域とを含むことができ、ここで、記憶プログラム領域は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションなどを記憶することができ、記憶データ領域は、ブロックチェーンノードの使用に応じて作成されたデータなどを記憶することができる。
本発明でいうブロックチェーンとは、分散型データストレージ、ポイントツーポイント伝送、コンセンサスメカニズム、暗号化アルゴリズムなどのコンピュータ技術の新しい応用モードである。ブロックチェーン（Ｂｌｏｃｋｃｈａｉｎ）は、本質的に非中心化データベースであり、暗号学的方法を用いて関連して生成された一連のデータブロックであり、各データブロックは情報の有効性（偽造防止）を検証するため、及び次のブロックを生成するためのネットワークトランザクションのバッチに関する情報を含む。ブロックチェーンは、ブロックチェーン下層プラットフォーム、プラットフォーム製品サービス層、及びアプリケーションサービス層などを含んでもよい。
以上、本願の具体的な実施形態について説明したが、本願の保護範囲はこれに限定されるものではなく、当業者であれば、本願において開示された技術的範囲内において、様々な等価な修正又は置換が容易に考えられ、これらの修正又は置換は、本願の保護範囲内に含まれるべきである。したがって、本願の保護範囲は、特許請求の範囲の保護範囲に準ずるものとする。
Claims (13)
- ＣＴ画像の椎骨位置決め方法であって、
椎骨ＣＴ画像データを前処理するステップと、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得るステップと、
前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰するステップと、
前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を含み、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得る前記ステップは、
前記前処理した椎骨ＣＴ画像データを高解像度ニューラルネットワークモデルに入力するステップであって、前記高解像度ニューラルネットワークモデルが並列に処理された異なる解像度の特徴マップを含むステップと、
前記異なる解像度の特徴マップによって前記前処理した椎骨ＣＴ画像データに対してインタラクション処理を行い、且つ２５個の３Ｄヒートマップをネットワークタグとし、脊柱に対応する２５個のキーポイントヒートマップ回帰結果を得るステップと、を含む、
ＣＴ画像の椎骨位置決め方法。 - 前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰する前記ステップは、
Ｕ型畳み込みニューラルネットワークと空間情報抽出ネットワークとを組み合わせる方式を採用して、前記前処理した椎骨ＣＴ画像データを入力とし、椎骨重心キーポイント位置をタグとし、前記２５個のキーポイントヒートマップ回帰結果から６個の目標位置に対応する３Ｄヒートマップを決定するステップを含み、
ここで、前記６個の目標位置に対応する３Ｄヒートマップは第１頚椎、第７頚椎、第１腰椎、第５腰椎、第１胸椎、第１２胸椎を含み、それぞれキーポイント位置に対応する３Ｄヒートマップに対応する、
請求項１に記載の方法。 - 椎骨キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了する前記ステップは、
前記６個の目標位置に対応する３Ｄヒートマップに対応するキーポイント位置を決定するステップと、
椎骨間の予め設定された間隔範囲を規定することにより、前記椎骨キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を含む、
請求項２に記載の方法。 - 前記６個の目標位置に対応する３Ｄヒートマップに対応するキーポイント位置を決定する前記ステップは、
前記６個の目標位置に対応する３Ｄヒートマップのそれぞれに対応する最大値を、キーポイント位置とするステップを含む、
請求項３に記載の方法。 - 椎骨ＣＴ画像データを前処理する前記ステップは、
ＳｉｍｐｌｅＩＴＫツールキットを採用して前記椎骨ＣＴ画像データに対してデータ増強操作処理を行い、トレーニングサンプル多様性の椎骨ＣＴ画像データを得るステップを含む、
請求項１に記載の方法。 - 前記３Ｄヒートマップの構築式は、
であり、
ここで、はハイパーパラメータであり、は学習可能パラメータであり、はヒートマップにおけるｉ番目の特徴点に対応するチャネルの画素値を示し、ｘは画素位置を示し、ｘ’はキーポイント位置を示し、ｄはヒートマップ次元を示す、
請求項１に記載の方法。 - コンピュータ機器であって、メモリと、プロセッサと、を含み、
前記メモリは、コンピュータプログラムを記憶するために用いられ、
前記プロセッサは、前記コンピュータプログラムを実行し、且つ前記コンピュータプログラムを実行するときに、
椎骨ＣＴ画像データを前処理するステップと、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得るステップと、
前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰するステップと、
前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を実現するために用いられ、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得る前記ステップは、
前記前処理した椎骨ＣＴ画像データを高解像度ニューラルネットワークモデルに入力するステップであって、前記高解像度ニューラルネットワークモデルが並列に処理された異なる解像度の特徴マップを含むステップと、
前記異なる解像度の特徴マップによって前記前処理した椎骨ＣＴ画像データに対してインタラクション処理を行い、且つ２５個の３Ｄヒートマップをネットワークタグとし、脊柱に対応する２５個のキーポイントヒートマップ回帰結果を得るステップと、を含む、
コンピュータ機器。 - 前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰する前記ステップは、
Ｕ型畳み込みニューラルネットワークと空間情報抽出ネットワークとを組み合わせる方式を採用して、前記前処理した椎骨ＣＴ画像データを入力とし、椎骨重心キーポイント位置をタグとし、前記２５個のキーポイントヒートマップ回帰結果から６個の目標位置に対応する３Ｄヒートマップを決定するステップを含み、
ここで、前記６個の目標位置に対応する３Ｄヒートマップは第１頚椎、第７頚椎、第１腰椎、第５腰椎、第１胸椎、第１２胸椎を含み、それぞれキーポイント位置に対応する３Ｄヒートマップに対応する、
請求項７に記載のコンピュータ機器。 - 椎骨キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了する前記ステップは、
前記６個の目標位置に対応する３Ｄヒートマップに対応するキーポイント位置を決定するステップと、
椎骨間の予め設定された間隔範囲を規定することにより、前記椎骨キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を含む、
請求項８に記載のコンピュータ機器。 - 前記６個の目標位置に対応する３Ｄヒートマップに対応するキーポイント位置を決定する前記ステップは、
前記６個の目標位置に対応する３Ｄヒートマップのそれぞれに対応する最大値を、キーポイント位置とするステップを含む、
請求項８に記載のコンピュータ機器。 - 椎骨ＣＴ画像データを前処理する前記ステップは、
ＳｉｍｐｌｅＩＴＫツールキットを採用して前記椎骨ＣＴ画像データに対してデータ増強操作処理を行い、トレーニングサンプル多様性の椎骨ＣＴ画像データを得るステップを含む、
請求項７に記載のコンピュータ機器。 - 前記３Ｄヒートマップの構築式は、
であり、
ここで、はハイパーパラメータであり、は学習可能パラメータであり、はヒートマップにおけるｉ番目の特徴点に対応するチャネルの画素値を示し、ｘは画素位置を示し、ｘ’はキーポイント位置を示し、ｄはヒートマップ次元を示す、
請求項７に記載のコンピュータ機器。 - コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムは、プロセッサによって実行されるときに、
椎骨ＣＴ画像データを前処理するステップと、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得るステップと、
前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰するステップと、
前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を前記プロセッサに実現させ、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得る前記ステップは、
前記前処理した椎骨ＣＴ画像データを高解像度ニューラルネットワークモデルに入力するステップであって、前記高解像度ニューラルネットワークモデルが並列に処理された異なる解像度の特徴マップを含むステップと、
前記異なる解像度の特徴マップによって前記前処理した椎骨ＣＴ画像データに対してインタラクション処理を行い、且つ２５個の３Ｄヒートマップをネットワークタグとし、脊柱に対応する２５個のキーポイントヒートマップ回帰結果を得るステップと、を含む、
コンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010998423.2 | 2020-09-22 | ||
| CN202010998423.2A CN111932533B (zh) | 2020-09-22 | 2020-09-22 | Ct图像椎骨定位方法、装置、设备及介质 |
| PCT/CN2020/125002 WO2021189843A1 (zh) | 2020-09-22 | 2020-10-30 | Ct图像椎骨定位方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022533686A JP2022533686A (ja) | 2022-07-25 |
| JP7221421B2 true JP7221421B2 (ja) | 2023-02-13 |
Family
ID=73333987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021568943A Active JP7221421B2 (ja) | 2020-09-22 | 2020-10-30 | Ｃｔ画像の椎骨位置決め方法、装置、機器及び媒体 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11928782B2 (ja) |
| JP (1) | JP7221421B2 (ja) |
| CN (1) | CN111932533B (ja) |
| WO (1) | WO2021189843A1 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11704798B2 (en) * | 2020-12-02 | 2023-07-18 | Ping An Technology (Shenzhen) Co., Ltd. | Method and device for vertebra localization and identification |
| CN112686878A (zh) * | 2021-01-05 | 2021-04-20 | 北京大学口腔医学院 | 颞下颌关节cbct图像关键点的定位方法和装置 |
| CN113240696B (zh) * | 2021-05-20 | 2022-02-08 | 推想医疗科技股份有限公司 | 图像处理方法及装置，模型的训练方法及装置，电子设备 |
| CN113240661B (zh) * | 2021-05-31 | 2023-09-26 | 平安科技（深圳）有限公司 | 基于深度学习的腰椎骨分析方法、装置、设备及存储介质 |
| CN113327235B (zh) * | 2021-06-04 | 2022-07-01 | 杭州健培科技有限公司 | 基于ct影像肌少症评估的图像处理方法和装置 |
| KR102672531B1 (ko) * | 2021-11-09 | 2024-06-07 | 주식회사 피앤씨솔루션 | 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치 |
| CN114511561B (zh) * | 2022-04-18 | 2022-06-17 | 博志生物科技(深圳)有限公司 | 脊柱矢状位形态预测方法、装置、设备及存储介质 |
| CN114998301B (zh) * | 2022-06-28 | 2022-11-29 | 北京大学第三医院（北京大学第三临床医学院） | 一种椎体亚区域分割方法、装置及存储介质 |
| CN115330753B (zh) * | 2022-10-10 | 2022-12-20 | 博志生物科技(深圳)有限公司 | 椎骨识别方法、装置、设备及存储介质 |
| CN115880319B (zh) * | 2023-02-16 | 2023-07-21 | 博志生物科技(深圳)有限公司 | 一种椎体终板及邻近松质骨自动分割方法及装置 |
| CN116492052B (zh) * | 2023-04-24 | 2024-04-23 | 中科智博(珠海)科技有限公司 | 一种基于混合现实脊柱三维可视化手术导航系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108320288B (zh) * | 2017-12-08 | 2023-05-30 | 李书纲 | 一种特发性脊柱侧凸影像的数据处理方法 |
| US11302008B2 (en) * | 2018-03-30 | 2022-04-12 | Perkinelmer Health Sciences, Inc. | Systems and methods for automated detection and segmentation of vertebral centrum(s) in 3D images |
| JP2021534859A (ja) * | 2018-08-21 | 2021-12-16 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 機械学習モデルによる特徴評価の顕在視覚的説明 |
| CN109859233B (zh) * | 2018-12-28 | 2020-12-11 | 上海联影智能医疗科技有限公司 | 图像处理、图像处理模型的训练方法及系统 |
| CN111210467A (zh) * | 2018-12-27 | 2020-05-29 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| US11790524B2 (en) * | 2019-06-20 | 2023-10-17 | Ohio State Innovation Foundation | System and method for quantitative volumetric assessment and modeling of tumor lesions |
| CN110705555B (zh) * | 2019-09-17 | 2022-06-14 | 中山大学 | 基于fcn的腹部多器官核磁共振图像分割方法、系统及介质 |
| CN110852991B (zh) * | 2019-10-10 | 2022-08-09 | 浙江大学 | 一种基于3d结合2d的脊椎骨检测方法 |
-
2020
- 2020-09-22 CN CN202010998423.2A patent/CN111932533B/zh active Active
- 2020-10-30 JP JP2021568943A patent/JP7221421B2/ja active Active
- 2020-10-30 WO PCT/CN2020/125002 patent/WO2021189843A1/zh active Application Filing
- 2020-10-30 US US17/613,487 patent/US11928782B2/en active Active
Non-Patent Citations (2)
| Title |
|---|
| Christian Payer et al.，Coarse to Fine Vertebrae Localization and Segmentation with SpatialConfiguration-Net and U-Net，In Proceedings of the 15th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications，2020年，124-133，https://pdfs.semanticscholar.org/6a14/659f5452030099760a64ddbabe6ebe855be6.pdf |
| Christian Payer et al.，Vertebrae Localization and Segmentation with SpatialConfiguraion-Net and U-Net，2019年，1-4，https://cpb-ap-se2.wpmucdn.com/blogs.auckland.ac.nz/dist/1/670/files/2019/11/verse2019ExtAbstract.pdf |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230186566A1 (en) | 2023-06-15 |
| WO2021189843A1 (zh) | 2021-09-30 |
| CN111932533A (zh) | 2020-11-13 |
| JP2022533686A (ja) | 2022-07-25 |
| US11928782B2 (en) | 2024-03-12 |
| CN111932533B (zh) | 2021-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7221421B2 (ja) | Ｃｔ画像の椎骨位置決め方法、装置、機器及び媒体 | |
| Zhang et al. | Context-guided fully convolutional networks for joint craniomaxillofacial bone segmentation and landmark digitization | |
| US11610308B2 (en) | Localization and classification of abnormalities in medical images | |
| CN111671454B (zh) | 脊柱弯曲角度测量方法、装置、计算机设备及存储介质 | |
| Abdel-Basset et al. | Feature and intensity based medical image registration using particle swarm optimization | |
| CN107220933B (zh) | 一种参考线确定方法和系统 | |
| US20210133978A1 (en) | Method for precisely and automatically positioning reference line for integrated images | |
| US9561004B2 (en) | Automated 3-D orthopedic assessments | |
| EP3355273B1 (en) | Coarse orientation detection in image data | |
| US8861891B2 (en) | Hierarchical atlas-based segmentation | |
| US8958614B2 (en) | Image-based detection using hierarchical learning | |
| US20110058720A1 (en) | Systems and Methods for Automatic Vertebra Edge Detection, Segmentation and Identification in 3D Imaging | |
| WO2007054907A1 (en) | Adaptive point-based elastic image registration | |
| EP4156096A1 (en) | Method, device and system for automated processing of medical images to output alerts for detected dissimilarities | |
| Chen et al. | Structure-aware long short-term memory network for 3D cephalometric landmark detection | |
| CN115063397A (zh) | 计算机辅助影像分析方法、计算机设备和存储介质 | |
| Bukas et al. | Patient-specific virtual spine straightening and vertebra inpainting: an automatic framework for osteoplasty planning | |
| CN113240681B (zh) | 图像处理的方法及装置 | |
| Zhong et al. | PMFSNet: Polarized Multi-scale Feature Self-attention Network For Lightweight Medical Image Segmentation | |
| Kim et al. | Morphology-aware interactive keypoint estimation | |
| Andronache | Multi-modal non-rigid registration of volumetric medical images | |
| CN116728420B (zh) | 一种脊柱外科手术用机械臂调控方法及系统 | |
| Yang et al. | Research on Segmentation Algorithm for Vertebral CT Images Based on Spatial Configuration-Net and U-Net Deep Learning Model | |
| EP3889881A1 (en) | Method, device and system for generating a denoised medical image | |
| Lin et al. | ARF-NET: Method of spinal segmentation in deformed spine radiographs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211118 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220809 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221024 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221027 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230131 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230201 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7221421 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |