JP7181963B2 - 深層学習を用いたアトラスベースセグメンテーション - Google Patents
深層学習を用いたアトラスベースセグメンテーション Download PDFInfo
- Publication number
- JP7181963B2 JP7181963B2 JP2021073090A JP2021073090A JP7181963B2 JP 7181963 B2 JP7181963 B2 JP 7181963B2 JP 2021073090 A JP2021073090 A JP 2021073090A JP 2021073090 A JP2021073090 A JP 2021073090A JP 7181963 B2 JP7181963 B2 JP 7181963B2
- Authority
- JP
- Japan
- Prior art keywords
- atlas
- target image
- image
- learning model
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims description 233
- 238000013135 deep learning Methods 0.000 title description 81
- 238000000034 method Methods 0.000 claims description 119
- 238000013136 deep learning model Methods 0.000 claims description 100
- 238000013527 convolutional neural network Methods 0.000 claims description 97
- 238000010801 machine learning Methods 0.000 claims description 80
- 238000012549 training Methods 0.000 claims description 69
- 230000008569 process Effects 0.000 claims description 49
- 210000003484 anatomy Anatomy 0.000 claims description 43
- 230000004927 fusion Effects 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 92
- 238000011282 treatment Methods 0.000 description 64
- 238000001959 radiotherapy Methods 0.000 description 51
- 230000005855 radiation Effects 0.000 description 39
- 238000002372 labelling Methods 0.000 description 35
- 238000003709 image segmentation Methods 0.000 description 28
- 230000015654 memory Effects 0.000 description 28
- 238000002595 magnetic resonance imaging Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 24
- 206010028980 Neoplasm Diseases 0.000 description 21
- 238000013459 approach Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 17
- 238000011176 pooling Methods 0.000 description 17
- 238000002591 computed tomography Methods 0.000 description 15
- 210000000056 organ Anatomy 0.000 description 15
- 230000004913 activation Effects 0.000 description 13
- 238000001994 activation Methods 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000013439 planning Methods 0.000 description 10
- 238000002560 therapeutic procedure Methods 0.000 description 10
- 230000009021 linear effect Effects 0.000 description 9
- 238000013507 mapping Methods 0.000 description 9
- 238000002604 ultrasonography Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 210000002307 prostate Anatomy 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000007637 random forest analysis Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000001225 therapeutic effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 3
- 238000002786 image-guided radiation therapy Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000012384 transportation and delivery Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 210000000133 brain stem Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000002594 fluoroscopy Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000664 rectum Anatomy 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000011269 treatment regimen Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241001326189 Gyrodactylus prostae Species 0.000 description 1
- 108091071257 Phi family Proteins 0.000 description 1
- 235000013929 Psidium pyriferum Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000003708 ampul Substances 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007408 cone-beam computed tomography Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 210000000695 crystalline len Anatomy 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 231100000673 dose–response relationship Toxicity 0.000 description 1
- 238000013535 dynamic contrast enhanced MRI Methods 0.000 description 1
- 210000003027 ear inner Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000004977 neurovascular bundle Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 238000011369 optimal treatment Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 210000003681 parotid gland Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000002673 radiosurgery Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035936 sexual power Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20128—Atlas-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30081—Prostate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Description
[0001]
本出願は、2018年2月14日に出願された米国出願第15/896,895号の優先権の利益を主張し、その全体が参照により本明細書に組み込まれる。
[0002]
本開示の実施形態は、一般に、医用画像(medical image)および人工知能処理技術(artificial intelligence processing techniques)に関する。特に、本開示は、画像セグメンテーション(image segmentation)および構造ラベリング(structure labeling)ワークフローにおける深層学習(ディープラーニング:deep learning)モデルの使用に関する。
放射線治療または放射線手術では、治療計画は、通常、患者の医用画像に基づいて実行され、医用画像中の標的容積(target volumes)および正常な重要臓器の境界線を必要とする。このように、医用画像における様々な患者の解剖学的構造のセグメンテーションや輪郭形成は、放射線治療計画のための必須かつ重要なステップであり、輪郭形成とセグメンテーションは、手作業で行う場合には、最も面倒で時間のかかるステップの1つである。
正確で自動化されたコンピュータベースの解剖学的構造のセグメンテーションまたは輪郭形成は、最適な治療計画の設計および/または適応を大いに支援することができる。しかし、医用画像の正確な自動セグメンテーションは、患者ごとに標的容積や重要臓器の形状、サイズ、位置などの変形やばらつきがあるため、現在、困難な課題となっている。アトラスベースの自動セグメンテーション(atlas-based auto-segmentation)(例えば、スウェーデンのストックホルムのエレクタAB社によって製造されたABAB(登録商標)で実装されている)は、このタスクに対処するために使用されてきた1つのアプローチであり、これは、アトラスベースのセグメンテーションは、関心のある構造がすでに識別されラベル付けされたアトラスデータセットに事前のセグメンテーションを適用するからである。
アトラスベースの自動セグメンテーション(atlas-based auto-segmentation)は、登録ベース(レジストレーションベース)の自動セグメンテーション(registration-based auto-segmentation)とも呼ばれ、対象(被験者)の画像に対してアトラスレジストレーション(atlas-registration)を行うことで画像のセグメンテーションを行い、その後にラベル融合(label fusion)またはラベル精製(label refinement)を行います。アトラスベースの自動セグメンテーションによるセグメンテーション結果の精度は、通常、適用される特定のアトラスレジストレーション方法に依存するが、複数のアトラスからのセグメンテーション結果を組み合わせたラベル融合法により、アトラスベースの自動セグメンテーションの精度も向上している。さらに、これまでのいくつかのアプローチでは、機械学習ベースのセグメンテーション手法との統合を通じて、アトラスベースの自動セグメンテーションの精度を向上させることが試みられてきた。例えば、出願人の先行特許出願、ハンシャオ(Xiao Han)に対す る特許第9,122,950号として発行され、「Method and apparatus for learning-enhanced atlas-based auto-segmentation」と題された特許出願は、機械学習アルゴリズムを用いて訓練された自動構造分類器を用いてアトラスベースのセグメンテーションの精度を向上させるための技術に言及している。
新しい研究では、深層学習(deep learning)アプローチを用いてセグメンテーションを行い、医用画像から様々な状態を識別することが示唆されている。深い畳み込みニューラルネットワーク(CNN)に基づく深層学習は、医用画像のセグメンテーション問題に別の強力なアプローチをもたらす。既存のアトラスベースの自動セグメンテーション技術と比較して、深層学習は、はるかに大規模な訓練データセットを使用して、構造のセグメンテーションモデルを訓練し、操作することができる。しかし、深層学習にはいくつかの重大な欠点があり、それがその普及を妨げている。深層学習モデルの訓練には通常非常に時間がかかり、数日かかることもあり、通常はオフラインで実行される。しかし、一度深層学習モデルが訓練されると、新しい画像にモデルを適用するのは非常に速く、多くの場合、数分から数秒のオーダーで行うことができる。さらに、深層学習モデルは、一般的に、数百または数千の画像のような大量の学習データを使用して学習された場合、より効果的に動作する。このような訓練データの利用可能性は限られているかもしれないが、深層学習モデルが大量の訓練データに容易に対応できることは、深層学習手法の主な利点となる。その結果、深層学習CNNを用いて画像のセグメンテーション演算を行うことを議論する様々なアプローチが登場している。
画像のセグメンテーションを行うための主要な方法として深層学習を導入することができなかった他の現実的な制限がある。第1に、特定のセグメンテーション特徴に対して正確で有用な深層学習モデルを構築するために一般的に必要とされる大規模な訓練データのセットは、蓄積したり管理したりするのが容易ではない。第2に、異なる医療施設では、セグメンテーション内で異なる画像処理プロトコルおよび/または異なる輪郭処理プロトコルを使用している可能性があり、その結果、ある医療施設のデータと手動での境界線を使用して訓練されたモデルは、異なる医療施設のデータではうまく機能しないことがあり、セグメンテーションの結果に偏りが生じることがある。第3に、深層学習モデルを訓練することは、典型的には深い技術的専門知識を必要とするため、個人の医療利用者が個人のデータセット上でモデルを再訓練したり、深層学習モデルを特定のニーズに適応させたりすることは困難である。例えば、ユーザは、事前に訓練されたモデルから利用可能なものよりも多くの構造物を画像内でセグメンテーションする必要がある。その結果、深層学習は、医用画像処理における解剖学的特徴の識別に有望と思われる様々な技術を提供してきたが、多くの現実環境ではまだ成功裏に採用されていない。
本開示は、改善された自動セグメンテーション精度および解剖学的構造と特徴の識別を達成するために、アトラスベースのセグメンテーション操作のワークフローに深層学習モデルおよびアプローチを統合するための手順を含む。本開示は、アトラスベースの自動セグメンテーションを組み込んだ放射線治療ワークフローに関連したセグメンテーションおよび深層学習操作の使用に関連したいくつかの例示的な実施例を含む。しかし、深層学習モデルの使用とセグメンテーションの改善は、様々な診断、評価、および解釈の設定で使用される他の医用画像ワークフローに組み込まれる可能性があることは明らかであろう。
一実施例において、深層学習を用いたアトラスベースセグメンテーションを実行するための一実施形態は、対象画像に深層学習モデルを適用するステップであって、深層学習モデルは、対象画像の解剖学的特徴を識別する深層学習セグメンテーションデータを生成するように訓練されるステップと、アトラス画像を対象画像にレジストレーションするステップであって、アトラス画像には、アトラス画像の解剖学的特徴を識別するアノテーションデータが関連付けられており、レジストレーションすることは、アトラス画像と対象画像との間のレジストレーション結果を改善するために深層学習セグメンテーションデータを使用するステップと、アトラス画像を対象画像にレジストレーションしてマッピングされたアトラスを生成するステップと、マッピングされたアトラスを用いて、対象画像の解剖学的特徴を識別するステップとを有する。
深層学習を用いたアトラスベースのセグメンテーションを実行する更なる一実施形態は、レジストレーションを実行して、深層学習セグメンテーションデータを適用することによりアトラス画像と対象画像との間のレジストレーション結果を改善して、対象画像で識別された解剖学的特徴に基づいて初期のレジストレーション推定値または制約値を決定するステップと、複数のアトラス画像を対象画像にレジストレーションして、複数のマッピングされたアトラスからの結果を組み合わせて、対象画像における解剖学的特徴のそれぞれの位置と境界を特定するステップと、複数のマッピングされたアトラスに基づいて、対象画像内の複数の解剖学的特徴の構造ラベリングを実行するステップと、複数の解剖学的特徴の構造ラベリングに基づいて、対象画像の構造ラベルマップを生成するステップと、深層学習モデルをアトラス画像に適用して、アトラス画像内の解剖学的特徴を識別する追加の深層学習セグメンテーションデータを生成し、アトラス画像と対象画像との間で識別された解剖学的特徴のレジストレーション結果を改善するステップとを有する。また、更なる一実施例において、深層学習モデルは、セグメンテーションラベルマップ内の解剖学的特徴のそれぞれのボクセルを分類する複数の医用画像に基づいて訓練され、深層学習モデルを訓練するために使用される複数の医療画像は、それぞれの医療施設からの画像を含み、それぞれの医療施設は、撮像および輪郭形成プロトコルのバリエーションを利用して、複数の医用画像における解剖学的特徴を識別する。
また、一実施例において、深層学習を用いたアトラスベースセグメンテーションプロセスにおいて、訓練された機械学習分類器ラベリングを定義して操作するための方法の一実施形態は、アトラス画像に深層学習モデルを適用するステップであって、深層学習モデルは、アトラス画像内の複数の解剖学的構造の分析からデータを生成するために適合されているステップと、深層学習モデルを適用して生成されたデータを使用して機械学習モデル分類器を訓練するステップであって、機械学習モデル分類器は、アトラス画像内の解剖学的構造を分類するために訓練されているステップと、訓練された機械学習モデル分類器を対象画像に適用して、対象画像のそれぞれの領域の分類を生成するステップと、対象画像のそれぞれの領域の分類に基づいて、対象画像のそれぞれの領域の構造ラベルを推定するステップと、推定された構造ラベルを、対象画像のアトラスベースのセグメンテーションから生成された構造ラベルと組み合わせることにより、対象画像のそれぞれの領域の構造ラベルを定義するステップとを有する。
機械学習分類器の訓練および動作の更なる実施例は、畳み込みニューラルネットワークの中間畳み込み層において入力画像を分析して生成された特徴マップを構成する深層学習モデルを適用して生成されたデータを使用するステップと、対象画像に複数のアトラス画像をレジストレーションし、対象画像に複数のアトラス画像をレジストレーションしたことに基づいて、対象画像に複数のマッピングされたアトラスを生成し、複数のマッピングされたアトラスから対象画像の構造ラベルを生成するステップと、複数のマッピングされたアトラスから示された複数のラベルに対してラベル精製とラベル融合を行うステップと、複数のアトラス画像に深層学習モデルを適用して得られたセグメンテーション結果を使用して機械学習モデル分類器を訓練するステップと、複数のアトラス画像に深層学習モデルを適用して生成されセグメンテーション特徴データを使用して機械学習モデルの分類器を訓練するステップと、ラベルマップは対象画像のそれぞれのセグメントを識別し、対象画像のそれぞれの領域は、複数のボクセルに対応するそれぞれの構造ラベルを含むステップとを有する。
本明細書に記載された例は、様々な実施形態で実施することができる。例えば、一実施形態は、処理ハードウェア(例えば、プロセッサまたは他の処理回路)およびそこに具現化された命令を含むメモリハードウェア(例えば、記憶装置または揮発性メモリ)を含むコンピューティングデバイスを含み、そのような命令は、処理ハードウェアによって実行されると、コンピューティングデバイスに、これらの技術およびシステム構成のための電子的な操作を実装、実行、または調整することを引き起こす。本明細書で論じられる別の実施形態は、機械可読媒体または他の記憶装置によって具現化されるようなコンピュータプログラム製品を含み、それは、これらの技術およびシステム構成のための電子的操作を実施、実行、または調整するための命令を提供する。本明細書で論じられる別の実施形態は、これらの技術およびシステム構成のための電子的操作を実施、実行、または調整するために、コンピューティングデバイスの処理ハードウェア上で操作可能な方法を含む。
更なる実施形態において、上述した電子的操作の態様を実施する論理、命令、または命令は、デスクトップまたはノートブック型パーソナルコンピュータ、タブレット、ネットブック、スマートフォンのようなモバイルデバイス、クライアント端末、およびサーバーホストマシンインスタンスのようなコンピューティングシステム用の任意の数のフォームファクタを含む、分散型または集中型コンピューティングシステムで提供することができる。本明細書で議論される別の実施形態は、本明細書で議論される技術を、そのような技術の機能を実行するためのそれぞれの手段を有する装置を含む、プログラムされた論理、ハードウェア構成、または特殊なコンポーネントまたはモジュールの他の形態に組み込むことを含む。このような技術の機能を実装するために使用されるそれぞれのアルゴリズムは、上述した電子的操作の一部または全部のシーケンス、または添付の図面および以下の詳細な説明に描かれている他の側面を含むことができる。
以上の発明の概要は、本特許出願の主題の概要を提供することを目的としている。それは、本発明の排他的または網羅的な説明を提供することを意図したものではない。詳細な説明には、本特許出願についての更なる情報を提供することを含む。
必ずしも縮尺で描かれていない図面において、同様の数字は、いくつかの図面に通して実質的に類似した構成要素を示している。異なる文字の接尾辞を持つ数字は、実質的に類似した構成要素の異なる例を表す。図面は、例示の方法で、本明細書で論じられている様々な実施形態を一般的に示しているが、これに限定されるものではない。
以下の詳細な説明では、本発明の一部を形成する添付の図面を参照し、本発明が実施され得る特定の実施形態を図示している。本明細書で「実施例」とも呼ばれるこれらの実施形態は、当業者が本発明を実施することを可能にするのに十分に詳細に記載されており、実施形態を組み合わせてもよく、他の実施形態を利用してもよく、本発明の範囲から逸脱することなく構造的、論理的、電気的な変更を行ってもよいことが理解されよう。したがって、以下の詳細な説明は、限定的な意味で取られるものではなく、本発明の範囲は、添付の特許請求の範囲およびその等価物によって定義される。
本開示は、画像セグメンテーションプロセスの動作を改善するための様々な技術を含み、画像セグメンテーションに対する手動(例えば、人間による支援または人間による誘導)および従来のアトラスベースまたは人工知能ベースのアプローチよりも技術的な利点を提供する態様で含む。これらの技術的な利点には、出力を生成するための処理時間の短縮、画像解析および可視化操作の効率化、およびそれに伴う画像セグメンテーションのワークフロー活動を行うための処理、メモリおよびネットワークリソースの改善が含まれる。これらの改善された画像セグメンテーションワークフローアクティビティは、撮像ベースの医療治療および診断動作に使用される様々な医用画像処理活動、およびそれに付随して、そのような治療および診断動作を支援するためのデータを管理する情報システムおよび人工知能環境に適用することができる。
本明細書でさらに議論されるように、深層学習モデルの以下の用途および展開は、アトラスベースのセグメンテーションワークフローにおいて、アトラス画像を対象画像にレジストレーションすることから生成されるレジストレーション結果の精度および有用性の向上を可能にする。深層学習セグメンテーションデータは、アトラスレジストレーション内の1つまたはそれ以上の解剖学的特徴のマッピングを改善するために、元のアトラスおよび対象画像データを超えた追加情報を提供する。画像(強度)データのみに基づく画像レジストレーションは困難な問題であり、画像データの曖昧さやノイズのために局所的な準最適解が多く存在する。深層学習モデルから生成されたセグメンテーション結果は、レジストレーション計算と特徴識別の両方において、セグメンテーションワークフローを改善したソリューションに導くのに役立つ追加情報と制約を提供する。
図1は、画像のセグメンテーション処理を実行するように適応された例示的な放射線治療システムを示す。この画像セグメンテーション処理は、撮影された医用画像データの特定の側面に基づいて、放射線治療システムが患者に放射線治療を提供することを可能にするために実行される。放射線治療システムは、セグメンテーション処理ロジック120を提供する画像処理計算システム110を含む。画像処理計算システム110は、ネットワーク(図示せず)に接続することができ、そのようなネットワークは、インターネットに接続することができる。例えば、ネットワークは、画像処理計算システム110を、1つまたはそれ以上の医療情報源(例えば、放射線学情報システム(RIS)、医療記録システム(例えば、電子カルテ(EMR)/電子健康記録(EHR)システム)、腫瘍学情報システム(OIS))、1つそれ以上の画像データソース150、画像取得装置170、および治療装置180(例えば、放射線治療装置)と接続することができる。一実施例として、画像処理計算システム110は、治療装置180によって使用される放射線治療計画を生成し、カスタマイズするための操作の一部として、セグメンテーション処理ロジック120からの命令またはデータを実行することによって、画像セグメンテーション操作を実行するように構成することができる。
画像処理計算システム110は、処理回路112と、メモリ114と、記憶装置116と、ユーザインターフェース140と、通信インターフェースのような他のハードウェアおよびソフトウェア操作可能な機能を含むことができる。記憶装置116は、オペレーティングシステムや、放射線治療計画(例えば、元の治療計画、適応された治療計画など)、ソフトウェアプログラム(例えば、放射線治療計画ソフトウェア、深層学習モデル、機械学習モデル、ニューラルネットワークのような人工知能実装。など)、および処理回路112によって実行される他の任意のコンピュータ実行可能な命令を記憶することができる。
一実施例では、処理回路112は、マイクロプロセッサ、中央処理装置(CPU)、グラフィックス処理装置(GPU)、加速処理装置(APU)のような1つまたはそれ以上の汎用処理装置のような処理装置を含むことができる。より具体的には、処理回路112は、複雑命令セットコンピューティング(CISC)マイクロプロセッサ、縮小命令セットコンピューティング(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサであってもよい。また、処理回路112は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、システムオンチップ(SoC)などの1つまたはそれ以上の特定用途処理装置(special-purpose processing device)により実装されてもよい。当業者には理
解されるであろうが、いくつかの例では、処理回路112は、汎用プロセッサではなく、特殊用途プロセッサであってもよい。処理回路112は、Intel(登録商標)によって製造されたPentium(登録商標)、Core(登録商標)、Xeon(登録商標)、またはItanium(登録商標)ファミリー、AMD(登録商標)によって製造されたTurion(登録商標)、Athlon(登録商標)、Sempron(登録商標)、Opteron(登録商標)、FX(登録商標)、Phenon(登録商標)ファミリー、Sun Microsystemsによって製造された様々なプロセッサのいずれかのような1つまたはそれ以上の既知の処理装置を含むことができる。また、処理回路112は、Nvidia(登録商標)によって製造されたGeForce(登録商標)、Quadro(登録商標)、Tesla(登録商標)ファミリー、Intel(登録商標)によって製造されたGMA、Iris(登録商標)ファミリー、またはAMD(登録商標)によって製造されたRadeon(登録商標)ファミリーのような、グラフィック処理ユニットを含むことができる。また、処理回路112は、Intel(登録商標)によって製造されたXeon Phi(登録商標)ファミリーのような、加速処理ユニットを含むことができる。開示された実施形態は、本明細書に開示された方法を実行するために、大量のデータを特定し、分析し、維持し、生成し、および/または提供し、またはそのようなデータを操作するというコンピューティング要求を満たすように構成された任意のタイプのプロセッサ(複数可)に限定されるものではない。さらに、「プロセッサ」という用語は、1つまたはそれ以上のプロセッサ、例えば、マルチコア設計または複数のプロセッサのそれぞれがマルチコア設計を有するプロセッサを含むことができる。処理回路112は、メモリ114に記憶され、記憶装置116からアクセスされるコンピュータプログラム命令のシーケンスを実行して、以下でより詳細に説明する様々な操作、プロセス、方法を実行することができる。
メモリ114は、読み取り専用メモリ(ROM)、相変化ランダムアクセスメモリ(PRAM)、スタティックランダムアクセスメモリ(SRAM)、フラッシュメモリ、ランダムアクセスメモリ(RAM)、シンクロナスDRAM(SDRAM)のようなダイナミックランダムアクセスメモリ(DRAM)、電気的に消去可能なプログラム可能な読み取り専用メモリ(EEPROM)、スタティックメモリ(例えば、フラッシュメモリ、フラッシュディスク、スタティックランダムアクセスメモリ)、および、キャッシュ、レジスタ、コンパクトディスク読み取り専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)、またはその他の光学式ストレージ、カセットテープ、その他の磁気記憶装置のようなその他のタイプのランダムアクセスメモリ、のような非一時的なコンピュータ可読媒体、または、画像、データ、または、処理回路112または他の任意のタイプのコンピューティング装置によりアクセスすることができるコンピュータ実行可能命令(例えば、任意の形式で格納されている)を含む情報を格納するために使用できる他の任意の非一時的媒体を含むことができる。例えば、コンピュータプログラム命令は、処理回路112によってアクセスされ、ROM、または他の任意の適切なメモリロケーションから読み出され、処理回路112によって実行されるようにRAMにロードされ得る。
記憶装置116は、本明細書に記載された方法論または機能(様々な例では、セグメンテーション処理ロジック120およびユーザインターフェース140を含む)のうちの任意の1つまたはそれ以上の方法論または機能を具現化または利用する命令およびデータ構造(例えば、ソフトウェア)の1つまたはそれ以上のセットが記憶されている機械読み取り可能媒体を含む駆動装置を構成することができる。命令は、また、画像処理計算システム110による実行中に、メモリ114内および/または処理回路112内に、完全にまたは少なくとも部分的に存在してもよく、メモリ114および処理回路112は、また、機械読み取り可能な媒体を構成してもよい。
メモリ装置114および記憶装置116は、非一時的コンピュータ可読媒体を構成してもよい。例えば、メモリ装置114および記憶装置116は、コンピュータ可読媒体に1つまたはそれ以上のソフトウェアアプリケーションのための命令を格納またはロードすることができる。メモリ装置114および記憶装置116に記憶またはロードされたソフトウェアアプリケーションは、例えば、一般的なコンピュータシステム用のオペレーティングシステムおよびソフトウェア制御装置用のオペレーティングシステムを含み得る。また、画像処理計算システム110は、セグメンテーション処理ロジック120およびユーザインターフェース140を実装するためのソフトウェアコードからなる様々なソフトウェアプログラムを動作させることができる。さらに、メモリ装置114および記憶装置116は、処理回路112によって実行可能なソフトウェアアプリケーション全体、ソフトウェアアプリケーションの一部、またはソフトウェアアプリケーションに関連付けられたコードまたはデータを記憶またはロードすることができる。更なる実施例では、メモリ装置114および記憶装置116は、1つまたはそれ以上の放射線治療計画、撮像データ、セグメンテーションデータ、人工知能モデルデータ、ラベルおよびマッピングデータなどを記憶し、ロードし、操作することができる。ソフトウェアプログラムは、記憶装置116およびメモリ114だけでなく、ハードドライブ、コンピュータディスク、CD-ROM、DVD、HD、ブルーレイDVD、USBフラッシュドライブ、SDカード、メモリスティック、または他の適切な媒体のような取り外し可能なコンピュータ媒体に格納することができ、また、そのようなソフトウェアプログラムは、ネットワークを介して通信または受信することができると考えられる。
図示されていないが、画像処理計算システム110は、通信インターフェース、ネットワークインターフェースカード、および通信回路を含むことができる。例示的な通信インターフェースは、例えば、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、USBコネクタ、パラレルコネクタ、高速データ伝送アダプタ(例えば、ファイバ、USB 3.0、サンダーボルトなど)、無線ネットワークアダプタ(例えば、IEEE 802.11/Wi-Fiアダプタなど)、通信アダプタ(例えば、3G、4G/LTE、5G、ネットワークなどと通信するためのもの)などを含むことができる。このような通信インターフェースは、機械がネットワークを介して、遠隔地に配置された構成要素のような他の機械および装置と通信することを可能にする、1つまたはそれ以上のデジタルおよび/またはアナログ通信装置を含むことができる。ネットワークは、ローカルエリアネットワーク(LAN)、無線ネットワーク、クラウドコンピューティング環境(例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャなど)、クライアントサーバー、広域ネットワーク(WAN)などの機能を提供することができる。例えば、ネットワークは、他のシステム(追加の画像処理計算システムまたは医用画像処理または放射線治療操作に関連する画像ベースのコンポーネントを含む)を含み得るLANまたはWANであってもよい。
一実施例では、画像処理計算システム110は、記憶装置116およびメモリ114上でホスティングするために、画像データソース150から画像データ160を取得することができる。一実施例では、画像処理計算システム110上で動作するソフトウェアプログラムは、擬似CT画像のような合成画像を生成することによって、あるフォーマット(例えば、MRI)の医用画像を別のフォーマット(例えば、CT)に変換することができる。別の実施例では、ソフトウェアプログラムは、対応する画像ボクセルおよび線量ボクセルが適切に関連付けられるように、患者の医用画像(例えば、CT画像またはMR画像)を、その患者の放射線治療の線量分布(例えば、画像としても表される)にレジストレーションまたは関連付けることができる。更に別の実施例では、ソフトウェアプログラムは、符号付き距離関数または画像情報のいくつかの側面を強調する画像の処理済みバージョンのような患者画像の機能を代替することができる。このような機能は、エッジやボクセルテクスチャの違い、または他の構造的な側面を強調する場合がある。別の実施例では、ソフトウェアプログラムは、医用画像内で、解剖学的特徴、セグメント化された特徴、または投与または治療情報の一部の側面を可視化、非可視化、強調、または非強調することができる。記憶装置116およびメモリ114は、画像データ160、患者データ、および放射線治療計画および関連するセグメンテーション操作を作成および実施するために必要な他のデータを含む、これらの目的を実行するためのデータを記憶し、ホストすることができる。
処理回路112は、メモリ114および記憶装置116に通信的に結合されることができ、処理回路112は、メモリ114または記憶装置116のいずれかから、そこに記憶されたコンピュータ実行可能命令を実行するように構成される。処理回路112は、画像データ160からの医用画像をメモリ114内で受信または取得し、セグメンテーション処理ロジック120を用いて処理するように命令を実行することができる。例えば、画像処理計算システム110は、通信インターフェースおよびネットワークを介して、画像取得装置170または画像データソース150から画像データ160を受信して、記憶装置116に格納またはキャッシュすることができる。また、処理回路112は、メモリ114または記憶装置116に記憶された医用画像を、別のデータベースまたはデータストア(例えば、医療施設データベース)に通信インターフェースを介して送信または更新することができる。いくつかの実施例では、1つまたはそれ以上のシステムは、本明細書に記載された実施形態を協調的に実行するためにネットワークを使用する分散コンピューティング/シミュレーション環境を形成することができる。また、このようなネットワークは、インターネットに接続して、インターネット上に遠隔地に存在するサーバーやクライアントと通信することができる。
更なる実施例では、処理回路112は、画像データ160および他の患者データとともにソフトウェアプログラム(例えば、治療計画ソフトウェア)を利用して、放射線治療計画を作成することができる。一実施例では、画像データ160は、アトラス情報、または患者の解剖学的領域、臓器、または関心のあるセグメンテーションデータの体積に関連するデータのような他の情報を含み得る。患者データは、(1)機能的臓器モデルデータ(例えば、直列対並列臓器、適切な線量反応モデルなど)、(2)放射線量データ(例えば、線量ボリュームヒストグラム(DVH)情報)、または(3)患者および治療経過に関する他の臨床情報(例えば、他の手術、化学療法、以前の放射線療法など)のような情報を含み得る。更なる実施例では、アトラスデータは、患者、患者のセット、手順または治療の種類、手順または治療のセット、画像取得装置、医療施設、またはそのようなものに固有の解剖学的特徴のセグメンテーションまたはラベリングを提供する。
さらに、処理回路112は、ソフトウェアプログラムを利用して、例えば、ニューラルネットワークモデル、機械学習モデル、アトラスセグメンテーションワークフロー、または画像データ160のセグメンテーションに関与する他の態様により使用される更新されたパラメータなどの中間データを生成することができる。更に、そのようなソフトウェアプログラムは、本明細書でさらに記述されている技術を用いて、セグメンテーション処理ロジック120を利用してセグメンテーションワークフロー130を実施することができる。処理回路112は、その後、実行可能な放射線治療計画を、通信インターフェースおよびネットワークを介して治療装置180に送信することができ、そこでは、放射線治療計画が、セグメンテーションワークフローの結果により、治療装置を介して患者を放射線で治療するために使用される。ソフトウェアプログラムおよびセグメンテーションワークフロー130の他の出力および使用は、画像処理計算システム110の使用と共に発生し得る。
本明細書(例えば、図3および図4を参照して議論されるディープラーニング処理、および図5乃至図9を参照して議論されるセグメンテーション処理を参照)で議論されるように、処理回路112は、画像のセグメンテーション、機械学習、ディープラーニング、ニューラルネットワーク、および自動処理および人工知能の他の態様を含む機能を実装するために、セグメンテーション処理ロジック120を呼び出すソフトウェアプログラムを実行することができる。例えば、処理回路112は、医用画像の特徴を訓練し、輪郭付けし、ラベル付けし、または分析するソフトウェアプログラムを実行することができ、そのようなソフトウェアは、実行されると、境界検出器を訓練する、または形状辞書を利用することができる。
一実施例では、画像データ160は、1つまたはそれ以上のMRI画像(例えば、2DMRI、3DMRI、2DストリーミングMRI、4DMRI、4DボリューメトリックMRI、4DシネMRIなど)、機能的MRI画像(例えば、fMRI、DCE-MRI、拡散MRI)、コンピュータ断層撮影(CT)画像(例えば、2DCT、コーンビームCT、3DCT、4DCT)、超音波画像(例えば、2D超音波、3D超音波、4D超音波)、陽電子放出断層撮影(PET)画像、X線画像、透視画像、放射線治療ポータル画像、シングルフォトエミッションコンピュータ断層撮影(SPECT)画像、コンピュータで生成された合成画像(例えば、疑似CT画像)などを含み得る。更に、画像データ160は、医用画像処理データ、例えば、トレーニング画像、およびグラウンドトゥルース画像、等高線画像、および線量画像を含むことができる、または関連付けられている。一実施例では、画像データ160は、画像取得装置170から受信され、1つまたはそれ以上の画像データソース150(例えば、PACS(Picture Archiving and Communication System)、VNA(Vendor Neutral Archive)、医療記録または情報システム、データウェアハウスなど)に格納することができる。したがって、画像取得装置170は、MRI撮像装置、CT撮像装置、PET撮像装置、超音波撮像装置、透視装置、SPECT撮像装置、リニアアクセラレータとMRI撮像装置を一体化したもののような、患者の医用画像を取得するための他の医用画像取得装置を含み得る。画像データ160は、画像取得装置170および画像処理計算システム110が、開示された実施形態による動作を実行するために使用することができる、任意のタイプのデータまたは任意のタイプのフォーマット(例えば、DICOM(Digital Imaging and Communications in Medicine)フォーマット)で受信され、格納することができる。
例示的な実施形態では、画像取得装置170は、単一の装置(例えば、リニア加速器と組み合わせたMRI装置、「MRI-Linac」とも呼ばれる)として治療装置180と一体化することができる。このようなMRI-Linacは、例えば、患者における標的臓器の位置または標的腫瘍の位置を決定するために使用することができ、これにより、放射線治療の治療計画に従って放射線治療を所定の標的に正確に指示することができる。例えば、放射線治療計画は、各患者に適用される特定の放射線量に関する情報を提供することができる。また、放射線治療計画には、他の放射線治療情報、例えば、ビーム角度、線量-ヒストグラム-ボリューム情報、治療中に使用する放射線ビームの数、ビーム当たりの線量などを含めることができる。
画像処理計算システム110は、ネットワークを介して外部データベースと通信して、画像処理および放射線治療操作に関連する複数の様々なタイプのデータを送受信することができる。例えば、外部データベースは、治療装置180、画像取得装置170、または放射線治療または医療処置に関連する他の機械に関連する情報である機械データを含み得る。機械データ情報は、放射線ビームサイズ、アーク配置、ビームのオンオフ時間、機械パラメータ、セグメント、マルチリーフコリメータ(MLC)構成、ガントリ速度、MRIパルスシーケンスなどを含み得る。外部データベースは、記憶装置であり得て、適切なデータベース管理ソフトウェアプログラムを備えることができる。更に、そのようなデータベースまたはデータソースは、中央または分散的に配置された複数のデバイスまたはシステムを含むことができる。
画像処理計算システム110は、処理回路112およびメモリ114に通信的に結合された1つまたはそれ以上の通信インターフェースを使用して、ネットワークを介して、データを収集し、取得し、他のシステムと通信することができる。例えば、通信インターフェースは、画像処理計算システム110と放射線治療システム構成要素との間の通信接続を提供することができる(例えば、外部装置とのデータ交換を可能にする)。例えば、通信インターフェースは、いくつかの実施例では、ユーザインターフェース140に接続するため、出力装置142または入力装置144からの適切なインターフェース回路を有することができ、これは、ユーザが放射線治療システムに情報を入力するハードウェアキーボード、キーパッド、またはタッチスクリーンであってもよい。
一実施例として、出力装置142は、ユーザインターフェース140の表現と、医用画像の1つまたはそれ以上の態様、可視化、または表現を出力するディスプレイ装置を含むことができる。出力装置142は、医用画像、インターフェース情報、治療計画パラメータ(例えば、輪郭、線量、ビーム角、ラベル、地図など)の治療計画、標的、標的の定位および/または標的の追跡、または任意の関連情報をユーザに表示する1つまたはそれ以上のディスプレイ画面を含むことができる。ユーザインターフェース140に接続された入力装置144は、ユーザが放射線治療システムに情報を入力することができる、キーボード、キーパッド、タッチスクリーン、または任意のタイプのデバイスであってもよい。または、出力装置142、入力装置144、およびユーザインターフェース140の機能は、スマートフォンまたはタブレットコンピュータ、例えば、アップル社製のiPad(登録商標)、Lenovo社製のThinkpad(登録商標)、サムソン社製のGalaxy(登録商標)のような単一のデバイスに組み込むことができる。
更に、放射線治療システムの任意のおよびすべての構成要素は、仮想マシンとして(例えば、VMWare、Hyper-Vなどの仮想化プラットフォームを介して)実装することができる。例えば、仮想マシンは、ハードウェアとして機能するソフトウェアであることができる。したがって、仮想マシンは、少なくとも1つまたはそれ以上の仮想プロセッサ、1つまたはそれ以上の仮想メモリ、およびハードウェアとして共に機能する1つまたはそれ以上の仮想通信インターフェースを含むことができる。例えば、画像処理計算システム110、画像データソース150、または同様の構成要素は、仮想マシンとして、またはクラウドベースの仮想化環境内で実装されてもよい。
セグメンテーション処理ロジック120または他のソフトウェアプログラムは、コンピューティングシステムが画像データソース150と通信して、メモリ114および記憶装置116に画像を読み込んだり、メモリ114または記憶装置116から画像データソース150に画像または関連データを格納したり、画像データソース150との間で画像データソース150と通信したりすることができる。例えば、画像データソース150は、画像取得装置170を介して1人またはそれ以上の患者から得られた画像データ160内の画像セットから、画像データソース150がホストする複数の画像(例えば、3DMRI、4DMRI、2DMRIスライス画像、CT画像、2D透視画像、X線画像、MRスキャンまたはCTスキャンからの生データ、DICOM(Digital Imaging and Communications in Medicine)メタデータなど)を格納して提供するように構成することができる。また、画像データソース150または他のデータベースは、セグメンテーション処理ロジック120がセグメンテーション演算を行うソフトウェアプログラムを実行する際、または放射線治療計画を作成する際に使用するデータを格納することができる。さらに、各種データベースは、訓練された深層学習ニューラルネットワーク、画像アトラス、または機械学習モデルによって生成されたデータであり、ネットワークによって学習されたモデルを構成するネットワークパラメータと、その結果得られる予測データとを含むデータを格納することができる。したがって、画像処理計算システム110は、治療または診断操作の一部として画像セグメンテーションを実行することに関連して、画像データソース150、画像取得装置170、治療装置180(例えば、MRI-Linac)、または他の情報システムから画像データ160(例えば、2DMRIスライス画像、CT画像、2D透視画像、X線画像、3DMRI画像、4DMRI画像など)を取得および/または受信することができる。
画像取得装置170は、関心領域(例えば、標的臓器、標的腫瘍、またはその両方)に対する患者の解剖学的構造の1つまたはそれ以上の画像を取得するように構成され得る。各画像、典型的には2D画像またはスライスは、1つまたはそれ以上のパラメータ(例えば、2次元スライスの厚さ、向き、および位置など)を含むことができる。一実施例では、画像取得装置170は、任意の向きの2次元スライスを取得することができる。例えば、2次元スライスの配向は、サジタル配向、コロナ配向、またはアキシャル配向を含むことができる。処理回路112は、標的臓器および/または標的腫瘍を含むように、2次元スライスの厚さおよび/または向きなどの1つまたはそれ以上のパラメータを調整することができる。一実施例では、2次元スライスは、3DMRIボリュームのような情報から決定することができる。このような2次元スライスは、患者が放射線治療を受けている間、例えば、治療装置180を使用しているときに、画像取得装置170によって「ほぼリアルタイム」で取得することができる(「ほぼリアルタイム」とは、少なくともミリ秒以下でデータを取得することを意味する)。
画像処理計算システム110におけるセグメンテーション処理ロジック120は、セグメンテーションおよび画像処理操作の様々な態様を有するセグメンテーションワークフロー130を実装するように設計されている。一実施例では、セグメンテーション処理ロジック120によって動作するセグメンテーションワークフロー130は、深層学習セグメンテーション機能132(例えば、図3および図4で図示されるような深層学習モデルを使用してセグメンテーション処理を実行する)と、アトラスレジストレーション134(例えば、図5および図6で図示されるような深層学習オペレーションにより強化されたアトラスベースの自動セグメンテーションを実行する)と、機械学習ラベリング136(例えば、図7から図9で図示されるようなディープラーニング操作によって強化されたセグメンテーションのための機械学習操作を実行する)と、ラベル融合および精製138(例えば、図5から図9に示すように、ディープラーニング操作によって強化されたラベリング出力を実行する)の使用と統合する。明示的に描かれていない他のセグメンテーションおよび画像処理機能は、セグメンテーションワークフロー130に組み込むことができる。
セグメンテーション処理ロジック120およびセグメンテーションワークフロー130は、放射線治療計画を生成する際に、スウェーデンのストックホルムにあるエレクタAB社によって製造されたMonaco(登録商標)のような治療計画ソフトウェアのようなソフトウェアプログラムの用途内で用いることができる。放射線治療計画を生成するために、画像処理計算システム110は、画像取得装置170(例えば、CT装置、MRI装置、PET装置、X線装置、超音波装置など)と通信して、患者の画像を取得してアクセスし、腫瘍のような標的の輪郭を描くことができる。いくつかの実施例では、腫瘍を取り囲む健康な組織または腫瘍に近接している健康な組織のような、1つまたはそれ以上のリスク臓器(OAR)の輪郭を定めることが必要とされる。したがって、OARが標的腫瘍に近接している場合には、OARのセグメンテーションが行われる。さらに、標的腫瘍がOARに近接している場合(例えば、膀胱や直腸に近接している前立腺)、腫瘍からOARをセグメンテーションすることにより、放射線治療システムは、標的内だけでなく、OAR内の線量分布を検討することができる。
また、OARから標的臓器や標的腫瘍の輪郭を定めるために、放射線治療を受けている患者のMRI画像、CT画像、PET画像、fMRI画像、X線画像、超音波画像、放射線治療ポータル画像、SPECT画像等の医用画像を画像取得装置170により非侵襲的に取得して、身体部位の内部構造を明らかにすることができる。医用画像からの情報に基づいて、該当する解剖学的構造部分の3次元構造を取得することができる。更に、治療計画プロセスの間に、標的腫瘍の効率的な治療(例えば、標的腫瘍が効果的な治療のために十分な放射線量を受けるような)と、OARへの低照射(例えば、OARが可能な限り低い放射線量を受ける)との間のバランスを達成するために、多くのパラメータが考慮される。考慮される他のパラメータには、標的臓器および標的腫瘍の位置、OARの位置、およびOARに対する標的の動きが含まれる。例えば、MRI画像またはCT画像の各2次元レイヤまたはスライス内に標的を輪郭付し、またはOARを輪郭付けし、各2次元レイヤまたはスライスの輪郭を組み合わせることにより、3次元構造を得ることができる。輪郭は、手動で(例えば、スウェーデンのストックホルムにあるエレクタAB社によって製造されたMonaco(登録商標)のようなプログラムを使用して、医師、線量測定士、または医療従事者によって)、または自動で(例えば、スウェーデンのストックホルムにあるエレクタAB社によって製造されたアトラスベースの自動セグメンテーションソフトウェアABAS(登録商標)を使用して)生成することができる。特定の実施例では、標的腫瘍またはOARの2次元または3次元構造は、セグメンテーション処理ロジック120を使用して、治療計画ソフトウェアによって自動的に生成することができる。
標的腫瘍およびOARの位置が特定され、境界が定められた後、線量測定者、医師または医療従事者は、標的腫瘍に適用される放射線の線量を、および腫瘍に近接したOAR(例えば、左右の耳下腺、視神経、目、水晶体、内耳、脊髄、脳幹など)が受け得る最大線量と共に決定することができる。各解剖学的構造(例えば、標的腫瘍、OAR)について放射線量が決定された後、所望の放射線量分布を達成するであろう1つまたはそれ以上の治療計画パラメータを決定するために、逆計画(inverse planning)として知られているプロセスを実行することができる。治療計画パラメータの例としては、ボリュームデリネレーションパラメータ(volume delineation parameter)(例えば、標的ボリュームを定める、敏感な構造を輪郭付けする、など)、標的腫瘍およびOARの周囲のマージン、ビーム角度の選択、コリメータの設定、ビームオン時間が含まれる。逆計画プロセス中、医師は、OARが受ける可能性のある放射線量の境界を設定する線量制約パラメータを定めること(例えば、腫瘍標的への全線量と任意のOARへのゼロ線量を定めること;脊髄、脳幹、および視覚構造が、それぞれ、45Gy以下の線量、55Gy以下の線量、および54Gyより低い線量を受けると定めること)ができる。逆計画の結果は、保存され得る放射線治療計画を構成することができる。これらの治療パラメータのいくつかは相関している可能性がある。例えば、治療計画を変更しようとして1つのパラメータ(例えば、標的腫瘍への投与量を増加させるなどの異なる目的のための重み)を調整すると、少なくとも1つの他のパラメータに影響を与え、その結果、異なる治療計画を開発される可能性がある。このように、画像処理計算システム110は、治療装置180が患者に適切な放射線治療を提供するために、これらのパラメータを有する調整された放射線治療計画を生成することができる。
図2は、X線源または線形加速器などの放射線源、カウチ216、撮像検出器214、および放射線治療出力204を含む、例示的な画像誘導の放射線治療装置202を示す。放射線治療装置202は、患者に治療を提供するために放射線ビーム208を放出するように構成されている。放射線治療出力204は、マルチリーフコリメータ(MLC)などの1つまたはそれ以上の減衰器またはコリメータを含むことができる。
一実施例として、患者は、治療カウチ216によって支持された領域212に位置決めされ、放射線治療計画(例えば、図1の放射線治療システムによって生成された治療計画)に従って放射線治療線量を受けることができる。放射線治療出力204は、ガントリ206または他の機械的支持体に載せられまたは取り付けられることができる。1つまたはそれ以上のシャーシモータ(図示せず)は、カウチ216が治療領域に挿入されたときに、ガントリ206および放射線治療出力204をカウチ216の周りで回転させることができる。一実施例では、ガントリ206は、カウチ216が処置領域内に挿入されたときに、カウチ216の周りで連続的に回転可能とすることができる。別の実施例では、ガントリ206は、カウチ216が処置領域内に挿入されたときに、所定の位置まで回転することができる。例えば、ガントリ206は、治療出力204を軸(「A」)の周りに回転させるように構成することができる。カウチ216および放射線治療出力204の両方は、横方向(「T」)に移動可能、横方向(「L」)に移動可能、または、横軸(「R」と表示)を中心とした回転のように1つまたは複数の周りの回転のように、患者の周りの他の位置に独立して移動可能である。1つまたはそれ以上のアクチュエータ(図示せず)に通信的に接続されたコントローラは、放射線治療計画に従って患者を放射線ビーム208内または放射線ビーム208外に適切に位置決めするために、カウチ216の動きまたは回転を制御することができる。カウチ216とガントリ206の両方が互いに独立して複数の自由度で移動可能であるため、放射線ビーム208が正確に腫瘍を標的とすることができるように患者を位置決めすることができる。
図2に示す座標系(軸A、T、Lを含む)は、アイソセンタ210に位置する原点を有する。アイソセンタは、患者上または患者内の場所に所定の放射線量を送達するように、放射線治療ビーム208の中心軸が座標軸の原点と交差する位置として定義することができる。または、アイソセンタ210は、ガントリ206によって軸Aの周りに位置決めされた放射線治療出力204の様々な回転位置から放射線治療ビーム208の中心軸が患者と交差する位置として定義することができる。
また、ガントリ206は、取り付けられた撮像検出器214を有し得る。撮像検出器214は、好ましくは、放射線源(出力204)に対向して配置することができ、一実施例では、撮像検出器214は、治療ビーム208のフィールド内に配置することができる。
撮像検出器214は、治療ビーム208とのアライメントを維持するように、好ましくは放射線治療出力204に対向するガントリ206に取り付けられ得る。撮像検出器214は、ガントリ206の回転に伴って回転軸を中心に回転する。例示的な実施形態では、撮像検出器214は、フラットパネル検出器(例えば、直接検出器またはシンチレータ検出器)とすることができる。このように、撮像検出器214は、治療ビーム208を監視するために使用することができ、または、撮像検出器214は、ポータルイメージングのような患者の解剖学的な撮像のために使用することができる。放射線治療装置202の制御回路は、放射線治療システム内に統合されてもよいし、放射線治療システムとは別個であってもよい。
例示的な実施例では、カウチ216、治療出力204、またはガントリ206のうちの1つまたはそれ以上が自動的に位置決めされ、治療出力204は、特定の治療送達インスタンスのための指定された用量に従って治療ビーム208を確立することができる。ガントリ206、カウチ216、または治療出力204の1つまたはそれ以上の異なる向きまたは位置を使用するような、放射線治療計画に応じて、治療送達のシーケンスを指定することができる。治療の送達は、順次行うことができるが、アイソセンタ210のような患者上または患者内の所望の治療部位で交差することができる。所定の累積線量の放射線治療は、それによって治療部位に送達され得る一方で、治療部位の近くの組織への損傷を減少させるか、または回避することができる。
したがって、図2は、放射線治療出力が中心軸(例えば、軸「A」)を中心に回転可能な構成を有する、患者に放射線治療を提供するために操作可能な放射線治療装置202の例を具体的に示す。他の放射線治療の出力構成を使用することができる。例えば、放射線治療出力は、複数の自由度を有するロボットアームまたはマニピュレータに取り付けることができる。更に別の実施例では、治療出力は、患者から横方向に分離された領域に位置するように固定され、患者を支持するプラットフォームは、放射線治療アイソセンタを患者内の特定の標的軌跡に整列させるために使用され得る。別の実施例では、放射線治療装置は、線形加速器と画像取得装置との組み合わせとすることができる。いくつかの実施例では、画像取得装置は、当業者により認識されるように、MRI、X線、CT、CBCT、スパイラルCT、PET、SPECT、光断層撮影、蛍光撮影、超音波撮影、または放射線治療ポータル撮像装置などであってもよい。
図3は、深層畳み込みニューラルネットワーク(CNN)のような深層学習モデルを訓練し、セグメンテーション操作を実行するために使用することができる、深層学習オペレーションの例示的なフロー図である。例えば、図3の深層学習モデルは、図1の放射線治療システムにおけるセグメンテーション処理ロジック120の一部として提供される深層学習セグメンテーション機能132を含むことができる。
一実施例では、深層学習オペレーションのための入力304は、値の初期セットおよび訓練データを受信または取得した定義された深層学習モデルを含むことができる。訓練データは、例えば、グラウンドトゥルースセグメンテーションラベル、輪郭、およびセグメンテーション特徴の他の識別子を有する数百または数千の画像を含み得る。深層学習モデルは、後述の図4を参照して説明した深層CNNモデルのような人工ニューラルネットワークを含むように構成することができる。深層学習ネットワークは、オンラインまたはオフラインの訓練方法の一部として、特定のセグメンテーションおよび放射線治療のユースケースに統合された形として訓練することができる(そして、オペレーションパラメータまたはユースケースからの追加の訓練データで調整または再トレーニングすることができる)。例えば、一連の画像に対して訓練された場合、深層学習ネットワークは、新しい対象画像の分類、確率、または他の予測結果の形での指示を生成するために使用することができる。
深層学習モデルのトレーニング308の間、訓練データのバッチは、既存の画像データセットから選択されるか、または提供され得る。選択された訓練データは、患者画像のセットと、患者画像内の解剖学的構造、特徴、または特性を識別する対応するグラウンドトゥルースセグメンテーションラベルとを含むことができる。深層学習モデルにおける様々なアルゴリズムを、選択された訓練データに適用することができ、次に、期待される結果(例えば、セグメンテーションラベルに対応するグラウンドトゥルースセグメンテーション値)と比較して、訓練エラーの指標を提供する差を計算することができる。誤差は、バックプロパゲーションと呼ばれる手順の間に使用され、後続の試行の間にセグメンテーション値の推定値の誤差を減少させるか、または最小化するように、深層学習ネットワークのパラメータの誤差(例えば、レイヤノードの重みおよびバイアス)を修正することができる。誤差は、指定された訓練反復回数に対して持続的最小値に進むように、予め定められた基準と比較される。誤差が所定の基準を満たさない場合には、バックプロパゲーションを用いて深層学習モデルのモデルパラメータを更新し、深層学習モデル訓練の別の反復に対して期待される結果が分析されるように、訓練データセットから別のバッチの訓練データを選択することができる。誤差が所定の基準を満たす場合には、訓練は終了し、訓練されたモデルは、訓練データとは異なる対象画像のセグメンテーション結果を予測するために、(更なるテスト段階または推論段階を含む)深層学習予測段階312の間に展開することができる。このようにして、訓練されたモデルは、新しい画像データを受信して解析し、新しい画像データに対する予測結果(例えば、セグメンテーション分類、ラベル、マッピング、確率など)を提供するために利用することができる。
したがって、深層学習モデルのトレーニング308および予測312(展開)の間に、深層学習モデルのコンボリューション層(畳み込み層)内の多数のパラメータを変更し、モデル出力を期待される状態に最適化するために適用することができる。医用画像特徴認識の面では、実世界の様々な画像使用例を処理するためにモデルのパラメータをうまく訓練し、可能な限りグラウンドトゥルースに近い予測値を生成するためには、非常に多くの訓練データセットが必要である。しかし、異なる患者や画像ソースからの医用画像のばらつきが大きく、多くの異なるセグメンテーション経路や好みがあり、また、訓練データから深層学習モデルを訓練することの矛盾や難しさから、深層学習は医用画像のセグメンテーションにスタンドアローンのソリューションを提供できない可能性がある。したがって、以下の段落で議論されるように、深層学習データと予測を様々なアトラスベースの自動セグメンテーションプロセスに統合することは、既存のセグメンテーションアプローチに比べて大きな利点を持つ効果的なハイブリッドアプローチを提供することができる。
前述のように、放射線治療計画における解剖学的構造物の輪郭形成とラベリングを行うために、様々なアトラスベースの自動セグメンテーション手法が開発されてきた。アトラスベースの自動セグメンテーション手法は、参照画像、具体的にはアトラスにおいて予め定義された解剖学的構成に基づいて、新しい(対象)画像内の輪郭をマッピングする。いくつかのアトラスレジストレーション方法は非常に有効になってきているが、臓器によっては患者によって形状や大きさが異なったり、同じ患者でも段階によって大きく変形したりすることがある。これにより、レジストレーション精度が低下し、アトラスベースの自動セグメンテーション手法で実行される自動セグメンテーションに影響を与えたり、アトラスベースの手法の使用が完全にできなくなったりすることがある。
アトラスベースの自動セグメンテーション手法を含むセグメンテーションワークフローの態様に深層学習モデルからの情報を統合することで、アトラスの使用にのみ依存している従来の手法に比べて大幅に改善される可能性がある。また、セグメンテーションのワークフローの態様に深層学習モデルと人工ニューラルネットワーク操作を使用することは、画像のセグメンテーションに対する機械学習アプローチや深層学習の排他的な使用に依存してきたアプローチよりも利点がある。以下の実施例で説明するように、深層学習モデルから生成または予測されたセグメンテーションデータは、アトラスベースの自動セグメンテーション方法の様々な段階に統合されてもよく、深層学習とアトラスベースの画像レジストレーション(および、適用可能な場合には、機械学習による分類)の長所を強調するセグメンテーションのためのハイブリッドアプローチを提示する。
画像のセグメンテーションオペレーションのために生成される例示的な深層学習モデルは、畳み込みニューラルネットワーク(CNN)で構成される。CNNは、教師付き学習によって訓練できる機械学習アルゴリズムの一種である。教師付き学習は、訓練データのセットが与えられた予測モデルを推論する機械学習の一分野である。訓練データの個々のサンプルは、それぞれ、データセット(例えば、画像)および所望の出力値またはデータセットを含むペアである。教師付き学習アルゴリズムは、訓練データを分析して予測関数を生成する。予測関数は、一旦訓練によって導出されると、有効な入力に対する正しい出力値またはデータセットを合理的に予測または推定することができる。予測関数は、様々な機械学習モデル、アルゴリズム、および/またはプロセスに基づいて定式化することができる。
CNNモデルのアーキテクチャは、入力を出力に変換する別個のレイヤのスタックを含む。異なるレイヤの例は、1つまたはそれ以上のコンボリューション層、非線形演算子層(整流化線形単位(ReLu)関数、シグモイド関数、または双曲正接関数など)、プーリング層またはサブサンプリング層、完全接続層、および/または最終損失層を含むことができる。各層(レイヤ)は、1つの上流層と1つの下流層とを接続することができる。入力は入力層とみなし、出力は最終的な出力層とみなしてもよい。
CNNモデルの性能と学習能力を高めるために、異なる層の数を選択的に増やすことができる。入力層から出力層までの中間層の数が非常に多くなると,CNNモデルのアーキテクチャの複雑さが増す.中間層の数が多いCNNモデルをディープCNNモデルと呼ぶ。例えば、いくつかの深層CNNモデルは、20から30層以上の層(レイヤ)を含んでもよく、他の深層CNNモデルは、数百層以上の層(レイヤ)を含んでもよい。深層CNNモデルの例としては,AlexNet,VGGNet,GoogLeNet,ResNetなどがある。
本開示は、セグメンテーションおよび特徴ラベル付けワークフローに関連して、医用画像の解剖学的構造をセグメンテーションするために、CNNモデル、特に深層CNNモデルの強力な学習能力を採用する。開示された実施例によれば、医用画像のセグメンテーションは、入力3次元画像の各ボクセル、または入力2次元画像の各ピクセルを解剖学的構造でラベル付けまたは分類するために、訓練されたCNNモデルを使用して実行することができる。有利なことは、本開示の実施形態における画像セグメンテーションのためのCNNモデルの使用は、(従来の機械学習法でしばしば必要とされるような)手動での特徴抽出を必要とせずに、大規模な訓練実例のセットから解剖学的構造物の自動セグメンテーションを可能にする。更に、図5から図9を参照して説明されているように、CNNモデルからのデータの使用は、アトラスベースのセグメンテーションの画像レジストレーションおよびラベリングの態様の両方について、アトラスベースのセグメンテーションおよびラベリングオペレーションに大きな利点を提供することができる。
本明細書で使用されるように、開示されたセグメンテーション方法およびワークフローによって使用される深層学習モデルは、畳み込みニューラルネットワークのフレームワークに基づいて定式化され、適応され、または修正された任意のニューラルネットワークモデルを指し示すことができる。例えば、本開示の実施形態においてセグメンテーションに使用される深層学習モデルは、入力層と出力層との間の中間層、例えば、1つまたはそれ以上のデコンボリューション層、アップサンプリング層またはアッププーリング層、ピクセル単位の予測層、および/またはコピー層およびクロップ演算子層を選択的に含む。
図4は、画像セグメンテーションのためのCNNモデルに実装された深層学習モデルの簡略化された一実施例を示す。図4に示すように、画像セグメンテーションのためのCNNモデル410は、隣接する2次元画像のスタックを入力として受け取り、画像の1つ(例えば、スタックの中央にある画像)の予測された2次元ラベルマップを出力する。CNNモデルから生成された2次元ラベルマップは、特徴抽出およびラベリングに基づいて、スタック内の1枚、2枚またはそれ以上の画像の構造ラベルを提供する。
図4に示すように、CNNモデル410は、一般に、第1の特徴抽出部420と第2のピクセル単位ラベリング部430の2つの部分を含む。特徴抽出部420は、例えば、隣接する2次元画像の入力スタック422の1つまたはそれ以上の特徴を抽出する。以下の実施例では、3次元データの集合を構成する2次元画像のスタックから解剖学的特徴のセグメンテーションを行う。しかし、CNNモデル410の以下のセグメンテーションの実施例および設計は、個々の2次元画像または他のフォームの医用画像データのセグメンテーションまたは分類を実行するためにも適用することができる。
一実施例では、特徴抽出部420は、畳み込みニューラルネットワーク424を使用して、隣接する2次元画像の入力スタック422を受信し、入力スタックの特徴を表す少なくとも1つの特徴ベクトルまたは行列を出力する。ピクセル単位ラベリング部430は、特徴抽出部420の出力を用いて、隣接する2次元画像の入力スタック422の中間画像426の2次元ラベルマップ432を予測する。ピクセル単位ラベリング部430は、パッチベースのアプローチや完全にマッピングされたアプローチのような任意の適切なアプローチを使用して実行することができる。例えば、訓練のためとCNNモデル410の入力としての両方の依存構造情報(dependent structure information)を含む隣接する2次元画像のスタックを使用することにより、CNNモデル410による出力の2次元ラベルマップ432の予測の精度が向上する。これにより、3次元画像の各画像スライスに対して予測された2次元ラベルマップから構築された3次元画像の予測3次元ラベルマップの精度がさらに向上する。
一実施例では、2次元画像の解剖学的平面に直交する軸に沿った隣接する2次元画像のスタックに示された解剖学的構造の間の空間的に依存する関係に基づいてCNNにおける特徴を識別することができる。非限定的な実施例として、スタックの第1の画像の第1のセットのピクセルによって表される解剖学的構造の形状および種類は、第1の画像に隣接する第2の画像の第2のセットのピクセルによっても表すことができる。これは、解剖学的平面に直交する軸に沿った第1の画像および第2の画像の空間的隣接が、これらの画像に示された解剖学的構造の何らかの依存性または連続性をもたらすからである。したがって、ある画像における解剖学的構造の形状、大きさ、またはタイプは、同じ平面に沿った別の隣接する画像における解剖学的構造の形状、大きさ、またはタイプの情報を提供する。
別の非限定的な実施例として、隣接する2次元画像のスタックが3つの連続した画像、例えば、連続して積層された第1の画像スライスと第2の画像スライスと第3の画像スライスを含む場合、解剖学的構造が、スタックの第1の画像スライスの第1のセットのピクセルとスタックの第3の画像スライスの第3のセットのピクセルの両方には示されるが、第1の画像スライスと第3の画像スライスの間にある第2の画像スライスの対応する第2のセットのピクセル(例えば、第1のセットのピクセルおよび/または第3のセットのピクセルと同様の空間的位置を有するピクセル)には示されないことがある。そのような場合、第2の画像スライス内の対応するピクセルが誤ってラベル付けされる可能性がある。隣接する3つの2次元画像スライスのスタックにおける解剖学的構造のこのような非続性は、CNNモデル410を学習するための依存構造情報として使用することができる。
別の非限定的な実施例として、3つの隣接する2次元画像、例えば、順番に積層された第1の画像スライスと第2の画像スライスと第3の画像スライスのスタックにおいて、スタックの第1の画像スライスの第1のピクセルのセットと第3の画像スライスの第3のピクセルのセットの両方が背景を示すが、第1の画像スライスと第3の画像スライスの間で隣接する第2の画像スライスの対応する第2のピクセルのセットが解剖学的構造を示すことがある。第2の画像スライスの対応するピクセルが、偽陽性信号を発生させるノイズを受けることがある。また、このような隣接する3つの2次元画像スライスのスタックにおける背景の不連続性は、CNNモデル410を学習するための依存構造情報として用いることができる。
異なるタイプの依存構造情報は、スタック内の隣接する画像の数、セグメンテーションされる解剖学的構造のタイプ、形状、サイズ、位置、および/または数、および/または画像を取得するために使用される撮像モダリティのような様々な要因に基づいて選択的に使用される。このような、3次元画像から得られる隣接する2次元画像のスタックの依存構造情報を用いることで、3次元画像をセグメンテーションしたり、3次元ラベルマップを生成したりする際の精度を向上させることができる。
いくつかの実施例では、CNNモデル410の畳み込みニューラルネットワーク424は、入力層、例えば、隣接2次元画像のスタック422を含む。隣接2次元画像のスタックが入力として使用されるので、入力層は、2次元画像の幅と高さによって空間的な寸法が決定され、スタック内の画像の数によって深さが決定されるボリュームを有する。本明細書に記載されているように、CNNモデル410の入力層の深さは、望ましくは、入力する隣接2次元画像のスタック422内の画像の数と一致するように調整される。
いくつかの実施形態では、CNNモデル410の畳み込みニューラルネットワーク424は、1つまたはそれ以上のコンボリューション層428を含む。各コンボリューション層428は、複数のパラメータ、例えば、上位入力層(例えば、コンボリューション層428の入力サイズ)によって決定される幅(「W」)および高さ(「H」)と、その層内のフィルタまたはカーネルの数(「N」)およびそれらのサイズとを有している。なお、フィルタの数は、コンボリューション層の深さを指す。したがって、各コンボリューション層428は、3次元ボリュームの観点から記述されている。各コンボリューション層428の入力は、その幅および高さにわたって1つのフィルタで畳み込まれ、そのフィルタに対応する2次元活性化マップまたは特徴マップを生成する。畳み込み(コンボリューション)は、各コンボリューション層のすべてのフィルタに対して実行され、結果として得られた活性化マップまたは特徴マップは、深度次元に沿って積層され、3次元出力を生成する。先行するコンボリューション層の出力は、次のコンボリューション層への入力として使用することができる。
いくつかの実施形態では、CNNモデル410の畳み込みニューラルネットワーク424は、1つまたはそれ以上のプーリング層(図示せず)を含む。CNNモデル410において、2つの連続するコンボリューション層428の間にプーリング層を追加することができる。プーリング層は、入力(例えば、前のコンボリューション層からの活性化マップまたは特徴マップ)の各深度スライス上で独立して動作し、非線形ダウンサンプリングの形式を実行することにより、その空間次元を縮小する。さらに、非隣接レイヤからの情報は、介在するレイヤを「スキップ」することができ、他の入力と共にプーリング層で集約することができる。一実施例では、プーリング層の機能は、ネットワーク内のパラメータおよび計算量を減らして、オーバーフィットを制御するために、抽出された活性化マップまたは特徴マップの空間次元を漸進的に減少させることを含む。プーリング層の数および配置は、畳み込みネットワークアーキテクチャの設計、入力のサイズ、コンボリューション層428のサイズ、またはCNNモデル410の適用などの様々な要因に基づいて決定される。
プーリング層の実装には、様々な非線形関数を用いることができる。例えば、最大プーリング(max pooling)を使用することができる。最大プーリングは、入力の画像スライ
スを、所定のストライドを有するオーバーラップまたは非オーバーラップのサブ領域のセットに分割してもよい。各サブ領域に対して、最大プーリングは、パーティション内の対応するサブ領域の中で最大値を出力する。これにより、奥行き寸法は変更されずに、幅と高さの両方に沿って入力の各スライスを効果的にダウンサンプリングする。平均プーリング(average pooling)、あるいはL2ノルムプーリング(L2-norm pooling)のようなプーリング層を実装するために他の適切な関数を使用することができる。
様々な実施形態では、CNNモデル410は、その畳み込みニューラルネットワーク424内に1つまたはそれ以上の追加の層を選択的に含むことができる。非限定的な実施例として、正規化線形ユニット層(Rectfied Linear Unit (ReLu) layer)(図示せず)またはパラメトリック正規化ユニット(Parametric ReLU (PReLU) (図示せず)は、が、中間活性化マップまたは特徴マップを生成するために、コンボリューション層の後に選択的に追加される可能性がある。例えば、ReLu層は、コンボリューション層428のそれぞれの寸法に影響を与えることなく、予測関数の非線形特性およびCNNモデル410の全体的な特性を増加させる可能性が。さらに、ReLu層は、バックプロパゲーションのトレーニングプロセス中に飽和を減少させるか、または回避してもよい。
他の非限定的な実施例として、1つまたはそれ以上の完全接続層429が、コンボリューション層および/またはプーリング層の後に追加することができる。完全接続層は、前の層のすべての活性化マップまたは特徴マップとの完全接続を有する。例えば、完全接続層は、最後のコンボリューション層または最後のプーリング層の出力をベクトル形式で入力として受け取り、高水準決定(high-level determination)を行い、深度次元に沿って配置された特徴ベクトルを出力することができる。なお、出力ベクトルを出力層と呼んでもよい。ベクトルは、CNNモデル410の入力の画像のスタック422の解剖学的構造の情報を含むことができる。更に、2DCNNモデルまたは「2.5D」CNNモデルに従った2次元撮像スライスから抽出された出力層からの情報は、3次元撮像イメージングデータのサブ領域を特定するために使用することができる。CNNモデル410からのそのような出力データは、サブ領域に適用される3次元CNNと協調して使用することもできる。
CNNモデル410の第2の部分では、ピクセル単位のラベリングは、畳み込みニューラルネットワーク424によって抽出された1つまたはそれ以上の特徴を入力として使用して実行され、予測された2次元ラベルマップ432を生成する。2次元ラベルマップは、隣接する2次元画像のスタックの中間画像の構造ラベルを提供する。一実施例では、2次元ラベルマップは、第2の3次元CNNモデルが(例えば、カスケードまたはリンクされた方法で)適用される3次元撮像のサブ領域を自動的に決定するために使用される。隣接する2次元画像の入力スタック422の中間画像426の2次元ラベルマップ432を予測するために、パッチベースのアプローチを使用することができる。隣接する2次元画像のスタック内の各画像は、同様に、それぞれが中心ピクセルを有する、重なり合うまたは重なり合わない矩形パッチに分割される。これにより、隣接する2次元画像パッチのスタックが生成される。2次元画像パッチのスタックは、CNNモデル410の訓練データおよび入力の両方として使用することができる。パッチは、パッチの中心ピクセルが実質的に一緒に全体の2次元画像を構成するように設計することができる。CNNモデル410は、各スタックの中央パッチの中央ピクセルを分類してもよく、例えば、中央ピクセルによって表される解剖学的構造を予測してもよい。例えば、CNNモデル410は、スタック内の中央パッチの中央ピクセルの特徴ベクトルを予測してもよく、それによって中央ピクセルの解剖学的構造を分類することができる。このような分類は、隣接する2次元画像のすべてのスタックの中間パッチのすべての中央ピクセルが分類またはラベル付けされるまで繰り返し実行され、それにより、隣接する2次元画像のスタックの中間画像のセグメンテーションが行われる。例えば、パッチベースのアプローチでは、隣接する2次元画像の入力スタック422の中間画像426のピクセル単位のラベリングは、中間画像426全体を構成する全ての中央ピクセルが分類された場合に実行されてもよい。
上述したパッチベースのアプローチでは、隣接する2次元画像の入力スタック422の中間画像426のピクセル毎のラベリングは、中間画像426全体を構成する中央ピクセルが全て分類されたときに行われる。
別の実施例では、隣接する2次元画像の入力スタック422の中間画像426の2次元ラベルマップ432を予測するために、完全マッピングアプローチが使用される。そのような実施例では、中間画像426の2次元ラベルマップ432は、隣接する2次元画像の入力スタック422に基づいてCNNモデル410の出力として生成される。CNNモデル410における畳み込みニューラルネットワーク424は、活性化マップまたは特徴マップを出力として抽出するために使用され、これは、1つまたはそれ以上のオペレーション層を含むピクセル単位のラベリング構造によって受信され、2次元ラベルマップを予測する。そのような場合、畳み込みニューラルネットワーク424の最終層は、活性化マップまたは特徴マップを出力するコンボリューション層であり得る。
非限定的な実施例として、ピクセル単位のラベリングを実行するために、ピクセル単位の予測層(図示せず)をCNNモデル410に追加してもよい。ピクセル単位の予測層は、畳み込みニューラルネットワーク424の粗い出力特徴マップ(例えば、特徴ベクトル)を、隣接する2次元画像の入力スタック422の中間画像426の(例えば、各ピクセルのより多くの情報を提供する)密な予測されたピクセル単位の2次元ラベルマップ432に変換する。様々な関数を、後方へのアップサンプリングまたはアンプーリング(例えば、バイリニアまたはノンリニア補間)、および、後方へのコンボリューション(デコンボリューション)のように、ピクセル単位の予測層を実装するために使用することができる。
別の非限定的な実施例として、デコンボリューションネットワーク434をCNNモデル410の一部として使用して、ピクセル単位のラベリングを実行することができる。デコンボリューションネットワーク434は、CNNモデル410の畳み込みニューラルネットワーク424のミラーバージョンである。抽出された活性化マップまたは特徴マップの空間次元を漸進的に縮小する畳み込みニューラルネットワーク424とは対照的に、デコンボリューションネットワーク434は、デコンボリューション層436および/またはアンプール層(図示せず)の選択を使用して、中間的な活性化マップまたは特徴マップを拡大する。アンプール層(例えば、アップサンプリング層)は、特徴マップ内のピクセルをそれらの以前のプール位置または元のプール位置に戻すために使用することができ、それによって、拡大された、しかし疎な活性化マップまたは特徴マップを生成することができる。デコンボリューション層は、入力活性化マップまたは特徴マップの単一ピクセルを複数の出力ピクセルに関連付けるために使用することができ、それにより、活性化マップまたは特徴マップの密度を拡大し、増加させることができる。デコンボリューションネットワーク434は、畳み込みニューラルネットワーク424と共に訓練されて使用され、2次元ラベルマップを予測することができる。
更なる非限定的な実施例として、損失層(図示せず)がCNNモデル410に含ませることができる。損失層は、畳み込みニューラルネットワーク434またはCNNモデル410の最後の層となり得る。CNNモデル410の訓練中に、損失層が、ネットワーク訓練が、予測された2次元ラベルマップと2次元グラウンドトゥルースラベルマップとの間の偏差にどのようにペナルティを与えるかを決定する。損失層は、様々な好適な損失関数によって実装することができる。例えば、クロスエントロピー損失関数を、CNNモデル410の最終損失層として使用することができる。
本開示の実施形態によれば、上述のCNNモデルに基づく画像セグメンテーション方法、システム、装置、および/またはプロセスは、2つのステージ、すなわち、各ボクセルに対して異なる解剖学的構造をラベル付けした画像を含むトレーニングデータセットを使用してCNNモデルを「訓練」または「学習」する訓練ステージと、訓練されたCNNモデルを使用して、入力3D画像(または入力2D画像のピクセル)の各ボクセルの解剖学的構造を予測する、または入力3D医用画像(または入力2D画像のピクセル)の各ボクセルを解剖学的構造にラベル付けするためのセグメンテーションステージを含む。図4に示す畳み込みニューラルネットワークの一般的な構造は、2D画像のスタックよりはむしろ3D画像のグループが提供される3Dモデルにも適用可能である。これらのCNNモデルおよび他のタイプの深層学習モデルをアトラスベースのセグメンテーションワークフローに統合する画像セグメンテーション方法、システム、装置、および/またはプロセスを以下に詳細に説明する。深層学習モデルの種類に対する他のバリエーションや、他のニューラルネットワーク処理アプローチも、本技術を用いて実施することができる。
図5は、深層学習セグメンテーションデータと共に使用するのに適応したアトラスレジストレーションプロセスにおける例示的なデータフロー500を示す。データフローに示すように、アトラスレジストレーション処理は、複数のアトラス521、522、523(アトラス1、2、...N)および関連するアトラスメタデータとともに使用され、対象画像515上で自動セグメンテーション処理の態様を実施する。具体的には、データフロー500は、1からN個のマップ化されたアトラス(アトラス561、562、563)に基づいて、対象画像515の様々なピクセルまたはボクセルの構造ラベリングを生成し(操作570);そのような構造ラベリングは、対象画像の構造ラベリングマップに生成される(結果580)。後述するように、データフロー500は、深層学習モデルのデータ結果を統合するように修正されたアトラスベースの自動セグメンテーションプロセスと考えられる。
一実施例では、アトラスベースの自動セグメンテーション処理は、1つまたはそれ以上の既にセグメンテーションされた画像(例えば、以前に治療された患者からの画像)を使用して、対象画像のセグメンテーションを実行するために使用される。これらの既にセグメンテーションされた画像は、それらのアノテーション(例えば、構造ラベルマップ、構造表面、または他の境界を示すメタデータ)付きで、アトラスと呼ばれる。画像マッチングにより新しい対象画像をアトラス画像に合わせた後、画像レジストレーションと呼ばれる手順において、アトラス上に定義された構造ラベルが、計算された画像変換を用いて新しい対象画像にマッピングされ、それが対象画像の構造ラベルとセグメンテーション結果として生成されます。複数のアトラスを使用することで、アトラスベースの自動セグメンテーション処理の精度を向上させることができる。例えば、アトラスのセグメンテーションは、放射線治療が異なるセッションまたは時間に行われると、端数単位で更新されることが多く、これらの異なるセッションまたは時間から作成された複数のアトラスを組み合わせることで、特定の患者に対してアトラスの全体的なセットを非常に正確に作成することができる。さらに、新たな対象画像への複数のアトラスの適用および組み合わせは、非常に迅速に実行できるが、対象画像に大きなばらつきがある場合には、精度および精度を犠牲にして発生することが多い。
アトラスベースの自動セグメンテーション処理の精度は、アトラスのレジストレーション精度に大きく依存する。しかし、対象画像へのアトラスレジストレーションは、画像情報が類似または重複する強度分布を持つ異なる構造を示す曖昧な画像情報である場合があるため、画像データを考慮した場合には困難な問題となることがある。以下の実施例における深層学習の結果の統合は、アトラスレジストレーションにおけるアトラスの適用に精度と精度を向上させるための追加の方法を提供する。例えば、大規模な訓練データセットで訓練された深層学習モデルは、アトラスレジストレーション時に対処されるのと同じ構造のいくつかについて、非常に正確なセグメンテーション結果を提供することができる。このように、データフロー500において、セグメンテーションデータ544または深層学習モデルを適用した他の結果(操作534)は、構造拘束された非剛体レジストレーション(deformable registration)または同様のレジストレーション技術を介して、(画像レジストレーション操作551、552、553において)それぞれのアトラス画像への画像レジストレーションを導くために使用される。
図5のデータフローは、具体的には、複数のアトラス画像とメタデータアノテーション521、522、523と対象画像515に対応する対象画像とアトラスの受け取り(操作510)を示している。データフロー500の1つの分岐では、解剖学的構造または特徴を識別するために訓練された深層学習モデルを適用して(操作534)、セグメンテーションデータ(結果544)を生成することができる。一実施例では、深層学習モデルは、図3および図4に関して参照される深層学習アプローチを参照して議論されるように、2D医用画像または3D医用画像データのセグメンテーションを実行するために訓練されたモデルを構成することができる。
図示されているように、深層学習モデルのセグメンテーション結果(予測値または出力値)は、(操作551、552、553において)アトラス画像レジストレーションの態様に統合される。アトラス画像レジストレーションは、従来のアトラスワークフローと同様に、アトラス画像データと関連するアトラスメタデータに基づいて(例えば、アトラス521、522、523から)アトラス画像レジストレーションを実行するように構成されている。しかしながら、データフロー500では、対象画像上で使用された深層学習セグメンテーションモデルの結果(結果544)(および、いくつかの実施例では、アトラス画像上で深層学習モデルを使用した結果)が、(画像レジストレーション操作551、552、553において)アトラス画像のレジストレーションを支援するために使用される。
深層学習セグメンテーションモデルの適用は、対象画像515の解剖学的構造または特徴のサブセットを識別するセグメンテーションデータ544を生成することができる。このような識別された構造または特徴は、アトラス画像で実行されるレジストレーションを対象画像に「シード」または「ガイド」するために使用される。一実施例では、対象画像515に対して画像レジストレーションが行われ、深層学習で識別された特徴量は、1からN個のアトラスのそれぞれに対する画像レジストレーション操作の適用に影響を与える(操作551、552、553)。例えば、深層学習で識別された特徴は、特定のアトラス画像またはアトラスアノテーションの対象画像に対する初期レジストレーション位置、制約、またはマッピングを生成することができる。
更なる(任意の)実施例では、深層学習セグメンテーションデータは、各アトラス画像(データ521、522、523)から生成され、画像レジストレーションに先立って、ワークフローの別のブランチで分析するようにしてもよい。例えば、各アトラス画像の画像データ(データ521、522、523)を深層学習モデルのそれぞれの用途に適用して(操作531、532、533)、セグメンテーションデータ(結果541、542、543)を生成してもよい。このセグメンテーションデータは、画像レジストレーションおよび対象画像に対する構造物の分類またはマッピングをさらに支援するために使用されてもよい。
複数のアトラス画像および画像レジストレーションを使用することは、1からN個のアトラス間のマッピングのバリエーションを可能にすることによって、アトラスベースの自動セグメンテーションプロセスを支援することができる。このように、一実施例では、画像レジストレーション(操作551、552、553)から複数のマッピングされたアトラス(結果561、562、563)が生成される。マッピングされたアトラスからのデータは、画像のそれぞれの領域および部分に構造ラベリングを生成するために結合することができる(操作570)。その後、複数のマッピングされたアトラスから生成された構造ラベリングは、対象画像のための構造ラベリングマップに生成されることができる(結果580)。例えば、構造ラベルマップは、関心のある構造に分類されているか否かの様々な2Dピクセルまたは3Dボクセル領域の表示を提供することができる。他の実施例では、データフロー500は、単一のアトラスで使用するために変更されてもよいし、深層学習モデルを使用して複数の対象画像を評価するために変更されてもよい。
例示的なシナリオとして、深層学習のセグメンテーション結果は、初期レジストレーションソリューション(例えば、線形レジストレーション)を計算するために直接的に使用され、様々な解剖学的器官または構造のための最終的なアトラス-対象画像レジストレーションを計算するための改善された出発点を提供することができる。例えば、前立腺の輪郭を特定するために、大量のデータセット上で訓練された深層学習セグメンテーションモデルである場合のシナリオを考える。この深層学習セグメンテーションモデルは、アトラス画像と新しい対象画像の両方から前立腺を自動セグメンテーションするために使用される。例えば、深層学習モデルによる前立腺のセグメンテーション結果を用いて、アトラスの前立腺を被験者の前立腺に整列させる線形変換を計算することができる。このように、深層学習モデルは、非線形または変形可能なレジストレーションを有するアトラスの最終的な画像レジストレーション結果の精度を向上させるために使用される出発点を提供する。
このように、データフロー500において、(操作534において、または任意の操作531、532、533において適用される)深層学習モデルは、アトラスレジストレーションステップでの影響を介して、最終的なアトラスベースの自動セグメンテーション結果にのみ影響を与える。これは、最終的なセグメンテーション結果を得るために深層学習や他の機械学習モデルのみを使用する場合の2つの重大な制限に対応している。第1に、深層学習モデルは、新しい画像に必要なすべての構造を持っていない可能性があり、特に、深層学習モデルは、通常、大規模な訓練データのセットを使用して、以前の時点で事前に訓練されているためである。トレーニングデータは、構造物のサブセット、例えば、前立腺/膀胱/直腸についてモデルを事前に訓練するために利用可能であるかもしれないが、新規のユーザまたは医療施設では、神経血管束のような追加の構造物をセグメンテーションする必要があるかもしれない。本発明の技術では、特定の器官または器官のサブセットの非常に正確なセグメンテーションを提供するために深層学習モデルを使用してもよく、一方、残りの構造をセグメンテーションまたは推定するためにアトラスを使用してもよい。第2に、深層学習モデルは、輪郭形成プロトコルがセグメンテーションされるべき新しい画像データとは異なる別の診療所からのデータを用いて訓練されてもよい。本技術では、アトラスと新たな対象画像の両方について、モデル内の構造のセグメンテーションを行うために、深層学習モデルを適用して、これらの構造のセグメンテーション結果がアトラスと被写体の間で一貫していることを確認する。
したがって、深層学習によるセグメンテーション結果は、アトラスベースの自動セグメンテーションデータフロー500またはアトラスベースの他のバリエーションにおけるアトラスレジストレーションを改善するために使用することができる。しかし、対象画像内の構造物の最終的なセグメンテーション結果は、アトラスベースのセグメンテーションのために定義された従来のアトラス-構造ワープおよびラベル融合/精製手順を経て得られることに変わりはない。再度説明すると、深層学習支援の画像レジストレーションの結果は、新しい対象画像にアトラス構造を「ワープ」させたり、適応させたりすると考えることができる。アトラスベースの自動セグメンテーションデータフローにおけるこのようなアトラスは、典型的にはユーザまたは医療施設に固有のものであるため、所望の輪郭形成プロトコルおよびアトラスの他の固有の特性は、新しいセグメンテーションタスクとの整合性を保ちつつ、使用を継続することができる。
図6は、深層学習支援のアトラスベースのセグメンテーションを実行するための例示的な操作の処理フロー600を示す。処理フロー600は、アトラスベースの自動セグメンテーション手順に統合された深層学習の結果を使用してデータを受信して処理する画像処理システムの観点から図示されている。しかし、対応する動作は、他の装置またはシステムによって行われてもよい。
処理フロー600は、深層学習支援のアトラスベースセグメンテーションワークフローのためのオプショナルな前提条件を示しており、これは、別の実在物(entity)、ユーザ、または医療施設によって、または別の設定で、より早い時期に実行されてもよい。これらの前提条件は、訓練データセットを使用して、深層学習構造セグメンテーションモデルの選択および訓練(操作610)と、構造セグメンテーションのための1つまたはそれ以上のアトラスモデルの定義および選択(操作620)とを含むように示されている。例えば、深層学習構造セグメンテーションモデルは、図3および図4において上記で参照した深層学習およびCNNの態様に基づいて訓練されてもよいし、構造化されてもよい。アトラスモデルは、手動または自動でセグメンテーションされた画像およびそのようなセグメンテーション画像上のアノテーション(例えば、構造ラベルマップまたは構造表面)に基づいて設計または構造化されてもよく、いくつかの例では、アトラスモデルは、放射線治療の治療ワークフローに関連して作成されてもよい。
処理フロー600は、深層学習モデルの適用により、被験者の医用画像に対して実行されるセグメンテーション操作を継続する。これらの操作は、セグメンテーション処理のための対象画像を獲得すること(操作630)と、深層学習セグメンテーションモデルを用いて対象画像内の1つまたはそれ以上の構造を識別するためのセグメンテーションワークフローの分岐を実行すること(操作640)とを含む。例えば、深層学習セグメンテーションモデルは、ピクセルまたはボクセル、ピクセル領域またはボクセル領域、または画像部分のような分類、構造、特徴、または他の識別を生成することができる。
処理フロー600は、深層学習型の強化アトラスレジストレーション技術を用いて被験者の医用画像に対して実行されるセグメンテーション操作を継続する。これらの操作は、アトラス画像およびアトラスデータ(例えば、アノテーションまたは他のメタデータ)をアトラスモデルから獲得する(操作650)と、深層学習モデルから対象画像のセグメンテーションデータを適用して、アトラス画像-対象画像レジストレーションを実行または支援すること(操作670)とを含む。このようなアトラスレジストレーションは、対象に対してアトラス画像を適応させるかまたはワープさせるかして、対象画像上にセグメンテーション結果(例えば、構造ラベルマップまたは構造輪郭/曲面)を生成することを含み得る。更なる(任意の)例では、画像レジストレーションに使用される追加のセグメンテーションデータは、深層学習セグメンテーションモデルを使用してアトラス画像内の1つまたはそれ以上の構造または特徴を識別することから生成される(操作660)。処理フロー600内のいくつかの要素内には1つのアトラスのみが描かれているが、並列または逐次的な操作が、複数のアトラス上でセグメンテーションワークフローを実行すること(操作650、660、670が1つまたはそれ以上のアトラスに適用される)が可能であることが理解されるであろう。
処理フロー600は、対象画像にラベリング(ラベル融合および精製を含む)を行うための操作を継続する(操作680)。このラベリングは、複数のアトラスからのレジストレーション画像の取り込み、追加の人工知能(例えば、機械学習)アルゴリズムからのセグメンテーションおよびラベリング特徴の取り込み、などを含んでもよい。ラベル融合は、ワープされたアトラスセグメンテーション(構造ラベルマップまたは構造輪郭/表面)を組み合わせて、対象画像の構造セグメンテーションを生成してもよい。訓練された機械学習モデルによって生成されたデータを用いたラベルの融合および精製のさらなる実施例は、図7から図9を参照して以下で議論される。最後に、処理フロー600は、対象画像の分割結果を提供して終了する。この提供は、メタデータまたは画像データアノテーションの生成、グラフィカルユーザーインターフェースでの結果の出力、関心のある1つ以上の解剖学的構造物の分類の定義または関連付け、ラベルマップまたは構造物ラベル推定値の生成、各構造物のための輪郭または表面の生成、セグメンテーションの指示の保存または伝達、治療計画の修正、治療または治療からの除外領域の定義付け(OARの定義付けを含む)、などのような形態であってもよい。
更なる実施例では、アトラスベースの自動セグメンテーションのラベリング方法は、深層学習によって強化された機械学習方法の使用を含み得る。例えば、ランダムフォレスト(random forests:RF)、サポートベクターマシン( support vector machine:SV
M)、ブーステッドツリー(Boosted Tree:BT)、または同様の分類器モデルは、アトラスベースの自動セグメンテーションのセグメンテーション精度を向上させることができるピクセルまたはボクセルベースの構造分類器を訓練するために使用することができる。しかし、以前のアトラスベースの自動セグメンテーションのラベリング方法で機械学習法を使用する場合、多くの場合、各画像ピクセルまたはボクセルの構造ラベルを予測するための機械学習モデルへの入力として、手動で指定された画像特徴を使用する必要があります。以下の非限定的な実施例では、深層学習モデルの結果は、機械学習分類器の適用可能な画像特徴を訓練または精錬するための追加入力として提供することができる。このような深層学習モデルの結果は、深層学習セグメンテーション結果(例えば、深層学習モデルを適用した場合の最終結果)を含むことができるし、追加的に、深層学習モデルの操作から生成される中間結果を含むことができる。
一実施例では、CNNを利用した深層学習セグメンテーションモデルは、訓練画像から画像特徴の階層を自動的に学習する機能を有する。その結果、CNNモデルを新しい対象画像に適用してセグメンテーション結果を計算する場合、このモデルでは、まず画像の特徴を抽出し、その特徴をセグメンテーションマップまたはセグメンテーション確率に変換する必要がある。CNNモデルの各コンボリューション層の出力は、しばしば「特徴マップ」と呼ばれる。一実施例では、CNNまたは他の深層学習モデル内の層からのこれらの特徴マップまたは同様の出力は、画像のラベリングに使用される機械学習分類器を訓練するための特徴として抽出することができる。例えば、図4に示すように、深層学習モデルは、対象画像を解析する際に、CNNモデルの中間層から多くの即時出力(特徴マップ)を生成することができる。各特徴マップは、機械学習モデルを訓練するための追加入力として使用できるマルチチャンネル画像である。
したがって、例示的な実施形態では、深層学習モデルのセグメンテーション結果は、アトラスベースの自動セグメンテーションワークフロー(例えば、データフロー500または処理フロー600)を支援または補完するために、オンラインまたはオフラインの機械学習モデル(例えば、BT、RF、またはSVM、または他の機械学習分類器)への追加入力として使用することができる。例えば、深層学習セグメンテーションラベルマップは、元の画像データに関して追加のチャネルとして使用され、マルチチャネル画像のピクセルまたはボクセル分類モデル(例えば、BT、RF、またはSVM、または他の機械学習分類器)を訓練するために使用することができる。
更なる実施例では、深層学習セグメンテーションラベルマップの変換が計算され、機械学習分類器モデルのための特徴を抽出するための別の入力チャネルとして使用することができる。例えば、セグメンテーションマップの距離変換は、そのような特徴を使用して計算されてもよく、多くの設定では、特定の構造からの距離は、貴重な情報を提供することができる(例えば、前立腺領域からの距離は、ボクセルが膀胱に属するかどうかの判断に役立ち得る)。
図7は、深層学習セグメンテーション特徴データで使用するために適合された機械学習モデル訓練プロセスにおける例示的なデータフロー700を示す。データフロー700は、対象画像715および1からN個のアトラス721,722,723を受け取ること(操作710)と、およびマッピングされたアトラス761,762,763を生成するために1からN個のアトラス721,722,723上でアトラスレジストレーション(操作731,732,733)を実行することを含む、データフロー500で実行される操作の一部を簡略化した表現を提供する。しかしながら、アトラスレジストレーション操作は任意であり、機械学習モデルは、元のアトラスデータ721、722、723と、後述するように、深層学習モデルを各アトラス画像に適用した出力のみに基づいて学習することができる。更に、図示されていないが、アトラスレジストレーション(操作731、732、733)は、(例えば、図5に図示されているような)深層学習セグメンテーションモデルの適用によって支援することができる。
しかしながら、データフロー700は、より具体的には、アトラス画像データを用いて機械学習構造分類器を訓練し(操作780)、セグメンテーションラベリングおよび特徴表現において使用可能な訓練された機械学習モデル790を生成した結果を示す。(この訓練された機械学習モデルのセグメンテーションプロセスへの統合は、図8のデータフローにおいてより詳細に描かれている。)データフロー700では、機械学習モデル790は、アトラス画像を分析する深層学習モデルによって生成されたアトラス画像セグメンテーション結果750から訓練されるものとして示され、機械学習モデル790は、マッピングされたアトラス特徴データ765またはアトラス画像セグメンテーション特徴データ770から追加的に訓練されるものとして任意の実施例で示されている。
具体的には、各アトラス画像721,722,723は、深層学習モデル740によって解析され、深層学習モデルの各層から、アトラス画像のセグメンテーション特徴(データ770)のシーケンスに加えて、セグメンテーション結果(データ750)が抽出される。セグメンテーションデータ750,770は、機械学習モデル分類器への訓練入力として提供され、訓練フェーズ(操作780)で使用される。あらゆるオリジナルのアトラス画像について、アトラスデータ自体からグラウンドトゥルースを決定することができ、それにより、オリジナルのアトラス画像やマッピングされたアトラス画像の特徴情報は、分類を生成する機械学習分類器を訓練するために使用することができる。このように、機械学習分類器が勾配、ライン、テクスチャなどの手動の特徴の定義から訓練される従来の技術とは対照的に、深層学習モデルを適用した出力データは、分類すべき解剖学的構造に関連する特徴のセットを自動的に提供する。
機械学習訓練において(例えば、従前の機械学習支援アトラスベースのセグメンテーションプロセスにおいて)使用される訓練データの他の態様は、任意に統合されてもよいし、機械学習モデル分類器への訓練入力として使用されてもよい。例えば、対象画像715への画像レジストレーションから生成された様々なマッピングアトラス761,762,763から提供される特徴データ(データ765)は、学習フェーズ(操作780)で構造分類器を訓練する特徴と組み合わせたり、補完したり、置き換えたりすることができる。同様の方法では、オリジナルのアトラス721、722、723から提供されるメタデータまたは他の特徴データは、訓練フェーズ(操作780)で構造分類器を訓練する特徴と組み合わせたり、補足したり、置き換えたりすることができる。
図8は、深層学習セグメンテーション特徴データとの使用に適応した機械学習モデル分類プロセスにおける例示的なデータフロー800を示す。 データフロー800は、アト
ラスまたは深層学習セグメンテーション特徴データから訓練された機械学習モデル850の使用を具体的に示す。例えば、機械学習モデル850は、図7に図示されているように、機械学習モデル790と同様の方法で訓練することができる。
データフロー800は、また、データフロー500で実行される操作のいくつかを簡略化した表現を提供し、対象画像815と複数のアトラス820を受け取ることと、アトラスベースの構造ラベル840を生成するために、複数のアトラス820と対象画像815上でアトラスレジストレーションを実行すること(操作830)を含む。図示されていないが、アトラスレジストレーション(操作830)は、(例えば、図5に描かれているような)深層学習セグメンテーションモデルの適用によって支援され得る。
データフロー800は、対象画像815に対するアトラスベースのセグメンテーション操作から生成された構造ラベル(例えば、ラベル840)と、機械学習モデル850の対象画像815への適用から生成された構造ラベルとの統合(例えば、融合)をさらに例示する。具体的には、データフロー800の分岐は、訓練された構造分類器(操作860)を対象画像815に適用して、対象画像に対して分類器ベースの構造ラベル推定865を生成することを示す。任意の実施例では、分類器訓練された構造分類器を適用すること(操作860)は、また、アトラスベースのセグメンテーション操作またはアトラスベースの構造ラベルから生成されたラベルデータ845を利用することができる。
機械学習構造分類器から生成された分類器構造ラベルの推定865は、アトラスベースの構造ラベル840と結合され(操作870)、対象画像の構造ラベルマップ880を生成するために使用することができる。セグメンテーションラベルの結果を結合するために、任意の数のラベル融合または組み合わせ技術を使用することができる。したがって、図5のデータフロー500から生成された構造ラベルマップ580は、機械学習によって強化された構造ラベルマップ880に置き換えられてもよい。
図9は、機械学習分類器を使用して深層学習支援アトラスベースのセグメンテーションを実行するための例示的な操作の処理フロー900を示す。処理フロー900は、また、アトラスベースの自動セグメンテーション手順に統合されたような深層学習の結果を使用して、機械学習の構造分類器を訓練して利用する画像処理システムの観点から図示されている。しかし、対応する操作は、(アトラスベースのセグメンテーションワークフロー以外のオフラインのトレーニング設定での実行を含む)他のデバイスまたはシステムによって実行することができる。
処理フロー900は、深層学習セグメンテーションモデルを用いて、アトラス画像のセグメンテーション特徴データを生成する処理(操作910)を描写する。このようなセグメンテーション特徴データは、CNNモデル、および/またはCNNモデルから生成された最終的なCNNセグメンテーションマップまたはセグメンテーション確率を用いて抽出された画像特徴のシーケンスを含むことができる。このセグメンテーションデータは、深層学習セグメンテーション特徴データ(例えば、特徴マップ)に基づく訓練(操作920)や、深層学習セグメンテーション結果データに基づく訓練(操作930)のように、機械学習構造分類器を訓練するために用いられ、上述した機械学習分類器モデル(例えば、RF、SVM、BT)を生成する。
訓練された構造分類器は、対象画像に適用され(操作940)、構造分類器を用いて構造ラベルの推定値を生成する(操作950)ために使用される。機械学習モデルからの出力は、分類ラベル、確率、または、構造、特徴、または、対象画像(または、対象画像のセット)のそれぞれのピクセル、ボクセル、または領域の他の指示を示す、他の形態の分類データを含むことができる。機械学習モデルから生成される構造ラベル情報は、図5および図6を参照して議論されるような深層学習支援のアトラスベースの自動セグメンテーションプロセスを含むアトラスベースの自動セグメンテーションプロセス(操作960)からの構造ラベル情報と結合(例えば、融合、統合、結合)することができる。(他の実施例では、構造ラベル情報は、深層学習を伴わない従来のアトラスベースのセグメンテーションプロセスからの情報と組み合わせることができる。)最後に、処理の流れは、対象画像のラベルマップを生成して(操作970)終了する。ラベルマップの出力は、セグメンテーションされた結果の出力を参照して上述したように提供する(例えば、操作690で)ことができる。
先に述べたように、それぞれの電子計算システムまたは装置は、本明細書で論じたような方法または機能的操作のうちの1つまたはそれ以上を実装することができる。1つまたはそれ以上の実施形態では、画像処理計算システム110は、画像誘導された放射線治療装置202を制御または操作する、深層学習訓練または予測操作308、312を実行または実施する、CNNモデル410を操作する、データフロー500、700、800を実行または実施する、フローチャート600、900の操作を実行または実施する、または、本明細書で論じられている任意の1つまたはそれ以上の他の方法論を(例えば、セグメンテーション処理ロジック120およびセグメンテーションワークフロー130の一部として)実行するために、構成され、適合され、または使用され得る。様々な実施形態では、そのような電子計算システムまたは装置は、スタンドアロンデバイスとして動作するか、または他の機械に(例えば、ネットワーク化されて)接続されて動作することができる。例えば、そのような計算システムまたはデバイスは、サーバー-クライアントネットワーク環境におけるサーバーまたはクライアントマシンの能力で、または、ピアツーピア(または分散)ネットワーク環境ではピアマシンとして動作することができる。計算システムまたはデバイス110の特徴は、パーソナルコンピュータ(PC)、タブレットPC、パーソナルデジタルアシスタント(PDA)、携帯電話、ウェブアプライアンス、または、その機械によって実行されるべきアクションを指定する命令(シーケンシャルまたは他の方法)を実行することが可能な任意のマシンによって実現することができる。
また、上述したように、上述した機能は、命令、論理、または機械可読媒体上の他の情報の記憶によって実装することができる。機械可読媒体は、単一の媒体を用いて様々な実施例で説明されてきたが、用語「機械可読媒体」は、1つまたはそれ以上の命令またはデータ構造を格納する単一の媒体または複数の媒体(例えば、集中型または分散型のデータベース、および/または関連するキャッシュおよびサーバー)を含むことができる。用語「機械可読媒体」は、また、機械によって実行されるための命令を格納、符号化、または運搬することが可能であり、機械に本発明の方法論のいずれか1つまたはそれ以上を実行させる、または、そのような命令によって利用されるか、またはそのような命令に関連付けられたデータ構造を格納、符号化、または運搬することが可能である、任意の有形的媒体を含むものとみなされる。
[0124]
上記の詳細な説明は、詳細な説明の一部を形成する添付の図面への参照を含む。図面は、本発明を実施することができる特定の実施形態を、限定ではなく例示として示すものである。これらの実施形態は、本明細書では「実施例」とも呼ばれる。そのような実施例は、図示または記載されたものに追加した要素を含むことができる。しかし、本願発明者らは、また、図示または記載されている要素のみが提供されている実施例を考慮している。さらに、本願発明者らは、また、特定の実施例(またはその1つまたは複数の態様)に関して、あるいは他の実施例(またはその1つまたは複数の態様)に関して示された、または説明された要素の任意の組合せまたは置換を用いる実施例を考慮している。
本明細書で参照される、すべての出版物、特許、および特許文書は、個々が参照により組み込まれているが、参照によりその全体が本明細書に組み込まれる。本明細書と、参照により組み込まれた文書との間に一貫性のない用法がある場合、参照により組み込まれた文書での用法は、本明細書の用法を補足するものと見なされ、矛盾する用法については、本明細書の用法が支配する。
本明細書では、用語「a」、「an」、「the」、「said」は、特許文書で一般的であるように、本発明の態様の要素を導入するときに使用され、「少なくとも1つの」または「1つまたはそれ以上の」のいかなる他の例または使用法とは無関係に、1つまたはそれ以上の要素よりも1つまたはそれ以上を含む。本明細書では、用語「または(or)」は、「AまたはB(A or B」が、そうでないと示されない限り、「Aを含むがBを含まない(A but not B)」、「Bを含むがAを含まない(B but not A)」、「AおよびB(A and B)」を含むように、非排他的であることを指すために使用される。
添付の特許請求の範囲において、用語「including(含む)」および「in which(その中で)」は、それぞれの用語「comprising(含む)」および「wherein(ここで)」の平易な英語の等価物として使用される。また、以下の特許請求の範囲において、用語「含む(comprising)」、「含む(including)」、「含む(having)」、は、オープンエンドであることを意図し、請求項のそのような用語(例えば、「含む(comprising)」、「含む(including)」、「含む(having)」)の後に列挙されている要素に追加した要素を含むものが、依然としてその請求項の範囲内にあるとみなされる。さらに、以下の特許請求の範囲では、「第1の」、「第2の」、および「第3の」などの用語は、単なるラベルとして使用されており、それらの対象に数値要件を課すことを意図していない。
本発明はまた、本明細書の操作を実行するために適合され、構成され、または操作されるコンピューティングシステムに関する。このシステムは、必要な目的のために特別に構成することも、コンピュータに格納されたコンピュータプログラムによって選択的にアクティブ化または再構成された汎用コンピュータを含むこともできる。本明細書において図示および説明される本発明の実施形態における動作の実行または実行の順序は、特に指定されない限り、必須ではない。すなわち、特に明記しない限り、操作は任意の順序で実行でき、本発明の実施形態は、本明細書に開示されているものよりも多いまたは少ない操作を含むことができる。例えば、別の操作の前、同時、または後に特定の操作を実行または実行することは、本発明の態様の範囲内であると考えられる。
上記記載を考慮すれば、本発明のいくつかの目的が達成され、他の有利な結果が得られることが分かるであろう。本発明の態様を詳細に説明したが、添付の特許請求の範囲で定義される本発明の態様の範囲から逸脱することなく、修正および変更が可能であることは明らかであろう。本発明の態様の範囲から逸脱することなく、上記の構造、製品、および方法に様々な変更を加えることができるので、上記の説明に含まれ、添付の図面に示されるすべての事項は、例示として、かつ、限定的な意味ではないと、解釈されるべきである。
上記の説明は、例示を意図したものであり、限定を意図したものではない。例えば、上述の実施例(または1つまたはそれ以上の態様)は、互いに組み合わせて使用することができる。さらに、本発明の範囲から逸脱することなく、特定の状況または材料を本発明の教示に適合させるために、多くの修正を行うことができる。本明細書に記載された寸法、材料の種類、および例示的なパラメータ、機能、および実施形態は、本発明のパラメータを定義することを意図しているが、それらは決して限定的なものではなく、例示的な実施形態である。上記の説明を検討すれば、他の多くの実施形態が当業者には明らかであろう。したがって、本発明の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられる等価物の全範囲とともに決定されるべきである。
また、上記の詳細な説明では、開示を簡素化するために、さまざまな機能をグループ化することがある。これは、クレームされていない開示された機能がクレームに不可欠であることを意図するものとして解釈されるべきではない。むしろ、発明の主題は、特定の開示された実施形態のすべての特徴より少ない場合がある。したがって、以下の請求項は、これにより詳細な説明に組み込まれ、各請求項は別個の実施形態としてそれ自体で成立する。本発明の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられる均等物の全範囲とともに決定されるべきである。
Claims (18)
- アトラスベースセグメンテーションプロセスにおいて、訓練された機械学習モデル分類器を操作するためのコンピュータ実装方法であって、
前記方法は、
解剖学的構造の領域に対応するアトラス画像に、アトラス画像における複数の解剖学的構造の分析から複数のデータを生成するように適合された深層学習モデルを適用するステップと、
前記深層学習モデルにより生成された前記複数のデータを用いて、前記機械学習モデル分類器を訓練するステップであって、前記機械学習モデル分類器は、前記アトラス画像における前記複数の解剖学的構造を分類するように訓練されるステップと、
対象画像のそれぞれの領域の分類を生成するために、前記対象画像に前記訓練された機械学習モデル分類器を適用するステップと、
前記対象画像の前記それぞれの領域の前記分類に基づいて、前記対象画像の前記それぞれの領域の第1の構造ラベルを推定するステップと、
前記深層学習モデルを前記対象画像に適用することから生成されたセグメンテーションデータを用いて、前記対象画像に複数のアトラス画像をレジストレーションし、前記複数のアトラス画像を前記対象画像にレジストレーションすることに基づいて、前記対象画像に複数のマッピングされたアトラスを生成し、前記複数のマッピングされたアトラスから前記対象画像の第2の構造ラベルを生成する操作により、前記対象画像に前記アトラスベースセグメンテーションを実行するステップと、
前記推定された第1の構造ラベルと前記対象画像のアトラスベースセグメンテーションから生成された第2の構造ラベルとを結合することにより、前記対象画像の前記それぞれの領域の第3の構造ラベルを定義するステップと
を有することを特徴とするコンピュータ実装方法。 - 請求項1記載の方法において、
前記深層学習モデルは、入力画像のセグメンテーションを実行するために訓練された畳み込みニューラルネットワークを有し、
前記深層学習モデルを適用することから生成される前記複数のデータは、前記畳み込みニューラルネットワークの中間畳み込み層から生成された特徴マップを有する
ことを特徴とするコンピュータ実装方法。 - 請求項1記載の方法において、
前記複数のマッピングされたアトラスから前記対象画像の前記第2の構造ラベルを生成することは、前記複数のマッピングされたアトラスから指示された複数のラベルに対するラベル融合を実行することを含む
ことを特徴とするコンピュータ実装方法。 - 請求項1記載の方法において、
前記アトラス画像は、複数のアトラス画像のひとつであり、
前記機械学習モデル分類器を訓練するステップは、更に、前記深層学習モデルを前記複数のアトラス画像に適用することから生成されたセグメンテーション結果を用いて実行される
ことを特徴とするコンピュータ実装方法。 - 請求項1記載の方法において、
前記機械学習モデル分類器を訓練するステップは、前記深層学習モデルの畳み込みニューラルネットワークのひとつの層から獲得される特徴データを用いる
ことを特徴とするコンピュータ実装方法。 - 請求項1記載の方法において、
前記方法は、
前記対象画像の前記それぞれの領域の前記第3の構造ラベルから前記対象画像のそれぞれのセグメントを識別するラベルマップを生成するステップ
を更に有し、
前記対象画像の前記それぞれの領域は、複数のボクセルに対応するそれぞれの第3の構造ラベルを有する
ことを特徴とするコンピュータ実装方法。 - アトラスベースセグメンテーションプロセスにおいて、少なくとも1つのプロセッサにより実行されたときに、前記少なくとも1つのプロセッサに、訓練された機械学習モデル分類器を操作するための方法を実行させる命令を含むコンピュータ可読媒体であって、
前記方法は、
解剖学的構造の領域に対応するアトラス画像に、アトラス画像における複数の解剖学的構造の分析から複数のデータを生成するように適合された深層学習モデルを適用するステップと、
前記深層学習モデルにより生成された前記複数のデータを用いて、前記機械学習モデル分類器を訓練するステップであって、前記機械学習モデル分類器は、前記アトラス画像における前記複数の解剖学的構造を分類するように訓練されるステップと、
対象画像のそれぞれの領域の分類を生成するために、前記対象画像に前記訓練された機械学習モデル分類器を適用するステップと、
前記対象画像の前記それぞれの領域の前記分類に基づいて、前記対象画像の前記それぞれの領域の第1の構造ラベルを推定するステップと、
前記深層学習モデルを前記対象画像に適用することから生成されたセグメンテーションデータを用いて、前記対象画像に複数のアトラス画像をレジストレーションし、前記複数のアトラス画像を前記対象画像にレジストレーションすることに基づいて、前記対象画像に複数のマッピングされたアトラスを生成し、前記複数のマッピングされたアトラスから前記対象画像の第2の構造ラベルを生成する操作により、前記対象画像に前記アトラスベースセグメンテーションを実行するステップと、
前記推定された第1の構造ラベルと前記対象画像のアトラスベースセグメンテーションから生成された第2の構造ラベルとを結合することにより、前記対象画像の前記それぞれの領域の第3の構造ラベルを定義するステップと
を有する
ことを特徴とするコンピュータ可読媒体。 - 請求項7記載のコンピュータ可読媒体において、
前記深層学習モデルは、入力画像のセグメンテーションを実行するために訓練された畳み込みニューラルネットワークを有し、
前記深層学習モデルを適用することから生成される前記複数のデータは、前記畳み込みニューラルネットワークの中間畳み込み層から生成された特徴マップを有する
ことを特徴とするコンピュータ可読媒体。 - 請求項7記載のコンピュータ可読媒体において、
前記複数のマッピングされたアトラスから前記対象画像の前記第2の構造ラベルを生成することは、前記複数のマッピングされたアトラスから指示された複数のラベルに対するラベル融合を実行することを含む
ことを特徴とするコンピュータ可読媒体。 - 請求項7記載のコンピュータ可読媒体において、
前記アトラス画像は、複数のアトラス画像のひとつであり、
前記機械学習モデル分類器を訓練するステップは、更に、前記深層学習モデルを前記複数のアトラス画像に適用することから生成されたセグメンテーション結果を用いて実行される
ことを特徴とするコンピュータ可読媒体。 - 請求項7記載のコンピュータ可読媒体において、
前記機械学習モデル分類器を訓練するステップは、前記深層学習モデルの畳み込みニューラルネットワークのひとつの層から獲得される特徴データを用いる
ことを特徴とするコンピュータ可読媒体。 - 請求項7記載のコンピュータ可読媒体において、
前記方法は、
前記対象画像の前記それぞれの領域の前記第3の構造ラベルから前記対象画像のそれぞれのセグメントを識別するラベルマップを生成するステップ
を更に有し、
前記対象画像の前記それぞれの領域は、複数のボクセルに対応するそれぞれの第3の構造ラベルを有する
ことを特徴とするコンピュータ可読媒体。 - アトラスベースセグメンテーションプロセスにおいて、訓練された機械学習モデル分類器を操作するためのシステムであって、
前記システムは、
解剖学的構造の領域に対応するアトラス画像を受け取り、
アトラス画像における複数の解剖学的構造の分析から複数のデータを生成するように適合された深層学習モデルを受け取る
ように適合された入力インターフェースと、
前記アトラス画像と前記深層学習モデルとを格納するように構成された少なくとも1つの記憶装置と、
前記アトラス画像に前記深層学習モデルを適用するステップと、
前記深層学習モデルにより生成された前記複数のデータを用いて、前記機械学習モデル分類器を訓練するステップであって、前記機械学習モデル分類器は、前記アトラス画像における前記複数の解剖学的構造を分類するように訓練されるステップと、
対象画像のそれぞれの領域の分類を生成するために、前記対象画像に前記訓練された機械学習モデル分類器を適用するステップと、
前記対象画像の前記それぞれの領域の前記分類に基づいて、前記対象画像の前記それぞれの領域の第1の構造ラベルを推定するステップと、
前記深層学習モデルを前記対象画像に適用することから生成されたセグメンテーションデータを用いて、前記対象画像に複数のアトラス画像をレジストレーションし、前記複数のアトラス画像を前記対象画像にレジストレーションすることに基づいて、前記対象画像に複数のマッピングされたアトラスを生成し、前記複数のマッピングされたアトラスから前記対象画像の第2の構造ラベルを生成する操作により、前記対象画像に前記アトラスベースセグメンテーションを実行するステップと、
前記推定された第1の構造ラベルと前記対象画像のアトラスベースセグメンテーションから生成された第2の構造ラベルとを結合することにより、前記対象画像の前記それぞれの領域の第3の構造ラベルを定義するステップと
を実行するように構成された画像プロセッサと
を有する
ことを特徴とするシステム。 - 請求項13記載のシステムにおいて、
前記深層学習モデルは、入力画像のセグメンテーションを実行するために訓練された畳み込みニューラルネットワークを有し、
前記深層学習モデルを適用することから生成される前記複数のデータは、前記畳み込みニューラルネットワークの中間畳み込み層における前記入力画像を分析することから生成された特徴マップを有する
ことを特徴とするシステム。 - 請求項13記載のシステムにおいて、
前記複数のマッピングされたアトラスから前記対象画像の前記第2の構造ラベルを生成することは、前記複数のマッピングされたアトラスから指示された複数のラベルに対するラベル融合を実行することを含む
ことを特徴とするシステム。 - 請求項13記載のシステムにおいて、
前記アトラス画像は、複数のアトラス画像のひとつであり、
前記機械学習モデル分類器を訓練するステップは、更に、前記深層学習モデルを前記複数のアトラス画像に適用することから生成されたセグメンテーション結果を用いて実行される
ことを特徴とするシステム。 - 請求項13記載のシステムにおいて、
前記機械学習モデル分類器を訓練するステップは、前記深層学習モデルの畳み込みニューラルネットワークのひとつの層から獲得される特徴データを用いる
ことを特徴とするシステム。 - 請求項13記載のシステムにおいて、
前記画像プロセッサは、
前記対象画像の前記それぞれの領域の前記第3の構造ラベルから前記対象画像のそれぞれのセグメントを識別するラベルマップを生成するステップを
更に実行するように構成され、
前記対象画像の前記それぞれの領域は、複数のボクセルに対応するそれぞれの第3の構造ラベルを有する
ことを特徴とするシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/896,895 | 2018-02-14 | ||
US15/896,895 US10878576B2 (en) | 2018-02-14 | 2018-02-14 | Atlas-based segmentation using deep-learning |
JP2020543487A JP6876204B2 (ja) | 2018-02-14 | 2019-02-12 | 深層学習を用いたアトラスベースセグメンテーション |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020543487A Division JP6876204B2 (ja) | 2018-02-14 | 2019-02-12 | 深層学習を用いたアトラスベースセグメンテーション |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021131872A JP2021131872A (ja) | 2021-09-09 |
JP7181963B2 true JP7181963B2 (ja) | 2022-12-01 |
Family
ID=65686932
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020543487A Active JP6876204B2 (ja) | 2018-02-14 | 2019-02-12 | 深層学習を用いたアトラスベースセグメンテーション |
JP2021073090A Active JP7181963B2 (ja) | 2018-02-14 | 2021-04-23 | 深層学習を用いたアトラスベースセグメンテーション |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020543487A Active JP6876204B2 (ja) | 2018-02-14 | 2019-02-12 | 深層学習を用いたアトラスベースセグメンテーション |
Country Status (6)
Country | Link |
---|---|
US (2) | US10878576B2 (ja) |
EP (1) | EP3752981B1 (ja) |
JP (2) | JP6876204B2 (ja) |
CN (2) | CN111727458B (ja) |
AU (1) | AU2019222619B2 (ja) |
WO (1) | WO2019160850A1 (ja) |
Families Citing this family (73)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11138790B2 (en) | 2016-10-14 | 2021-10-05 | Axial Medical Printing Limited | Method for generating a 3D physical model of a patient specific anatomic feature from 2D medical images |
GB201617507D0 (en) | 2016-10-14 | 2016-11-30 | Axial3D Limited | Axial3D UK |
US10699412B2 (en) * | 2017-03-23 | 2020-06-30 | Petuum Inc. | Structure correcting adversarial network for chest X-rays organ segmentation |
CN107273357B (zh) * | 2017-06-14 | 2020-11-10 | 北京百度网讯科技有限公司 | 基于人工智能的分词模型的修正方法、装置、设备和介质 |
US10878576B2 (en) | 2018-02-14 | 2020-12-29 | Elekta, Inc. | Atlas-based segmentation using deep-learning |
US10910099B2 (en) * | 2018-02-20 | 2021-02-02 | Siemens Healthcare Gmbh | Segmentation, landmark detection and view classification using multi-task learning |
US10885630B2 (en) * | 2018-03-01 | 2021-01-05 | Intuitive Surgical Operations, Inc | Systems and methods for segmentation of anatomical structures for image-guided surgery |
US10706503B2 (en) * | 2018-03-13 | 2020-07-07 | Disney Enterprises, Inc. | Image processing using a convolutional neural network |
US10555779B2 (en) | 2018-04-27 | 2020-02-11 | Medtronic Navigation, Inc. | System and method for a tracked procedure |
US10736699B2 (en) * | 2018-04-27 | 2020-08-11 | Medtronic Navigation, Inc. | System and method for a tracked procedure |
US11972567B2 (en) * | 2018-05-29 | 2024-04-30 | The General Hospital Corporation | System and method for analyzing medical images to detect and classify a medical condition using machine-learning and a case pertinent radiology atlas |
CN108986891A (zh) * | 2018-07-24 | 2018-12-11 | 北京市商汤科技开发有限公司 | 医疗影像处理方法及装置、电子设备及存储介质 |
US11651584B2 (en) * | 2018-10-16 | 2023-05-16 | General Electric Company | System and method for memory augmented domain adaptation |
EP3648013A1 (en) * | 2018-11-02 | 2020-05-06 | Tata Consultancy Services Limited | Method and system for partitioning of deep convolution network for executing on computationally constraint devices |
EP3706128A4 (en) * | 2018-11-09 | 2021-05-12 | Lunit Inc. | ANNOTATION WORK MANAGEMENT PROCESS AND APPARATUS AND SYSTEM SUPPORTING IT |
US10929708B2 (en) | 2018-12-10 | 2021-02-23 | International Business Machines Corporation | Deep learning network for salient region identification in images |
US11995854B2 (en) * | 2018-12-19 | 2024-05-28 | Nvidia Corporation | Mesh reconstruction using data-driven priors |
GB201900437D0 (en) | 2019-01-11 | 2019-02-27 | Axial Medical Printing Ltd | Axial3d big book 2 |
US11062459B2 (en) * | 2019-02-07 | 2021-07-13 | Vysioneer INC. | Method and apparatus for automated target and tissue segmentation using multi-modal imaging and ensemble machine learning models |
CN111666960B (zh) * | 2019-03-06 | 2024-01-19 | 南京地平线机器人技术有限公司 | 图像识别方法、装置、电子设备及可读存储介质 |
JP2020170408A (ja) * | 2019-04-04 | 2020-10-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
US11410766B2 (en) * | 2019-06-06 | 2022-08-09 | Varian Medical Systems International Ag | Methods and systems for radiotherapy treatment planning based on continuous deep learning |
CN112288672B (zh) * | 2019-07-10 | 2023-12-08 | 富泰华工业(深圳)有限公司 | 肿瘤检测方法及肿瘤检测装置 |
WO2021021430A1 (en) * | 2019-07-31 | 2021-02-04 | The Joan and Irwin Jacobs Technion-Cornell Institute | System and method for region detection in tissue sections using image registration |
EP3807845B1 (en) * | 2019-08-04 | 2022-04-27 | Brainlab AG | Atlas-based location determination of an anatomical region of interest |
US10937158B1 (en) * | 2019-08-13 | 2021-03-02 | Hong Kong Applied Science and Technology Research Institute Company Limited | Medical image segmentation based on mixed context CNN model |
EP4390766A3 (en) * | 2019-09-20 | 2024-09-11 | Brainlab AG | Training a machine learning algorithm using digitally reconstructed radiographs |
CN110675488B (zh) * | 2019-09-24 | 2023-02-28 | 电子科技大学 | 基于深度学习的创意三维体素模型的建模系统的构建方法 |
WO2021060899A1 (ko) * | 2019-09-26 | 2021-04-01 | 주식회사 루닛 | 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치 |
CN110826560B (zh) * | 2019-11-06 | 2023-10-27 | 山东省计算中心(国家超级计算济南中心) | 一种食管癌病理图像标注方法 |
CN111191500A (zh) * | 2019-11-12 | 2020-05-22 | 广东融合通信股份有限公司 | 一种基于深度学习图像分割的光伏屋顶资源识别方法 |
CN112802028A (zh) * | 2019-11-13 | 2021-05-14 | 北京深睿博联科技有限责任公司 | 用于纵膈器官分割的图像处理方法及装置 |
CN110853043B (zh) * | 2019-11-21 | 2020-09-29 | 北京推想科技有限公司 | 影像分割方法、装置、可读存储介质及电子设备 |
US11842498B2 (en) | 2019-12-16 | 2023-12-12 | Siemens Healthineers International Ag | Systems and methods for automatic segmentation in medical imaging with multiple anatomical structure segmentation models |
EP4213106A1 (en) * | 2019-12-19 | 2023-07-19 | Brainlab AG | Medical image analysis using machine learning and an anatomical vector |
CN111091575B (zh) * | 2019-12-31 | 2022-10-18 | 电子科技大学 | 一种基于强化学习方法的医学图像分割方法 |
CN111402260A (zh) * | 2020-02-17 | 2020-07-10 | 北京深睿博联科技有限责任公司 | 一种基于深度学习的医学影像分割方法、系统、终端及存储介质 |
US20210255638A1 (en) * | 2020-02-19 | 2021-08-19 | Positec Power Tools (Suzhou) Co., Ltd. | Area Division and Path Forming Method and Apparatus for Self-Moving Device and Automatic Working System |
CN111369568B (zh) * | 2020-02-20 | 2022-12-23 | 苏州浪潮智能科技有限公司 | 一种图像分割的方法、系统、设备及可读存储介质 |
TWI783219B (zh) * | 2020-04-01 | 2022-11-11 | 緯創資通股份有限公司 | 醫學影像辨識方法及醫學影像辨識裝置 |
CN111524184B (zh) * | 2020-04-21 | 2024-01-16 | 湖南视普瑞智能科技有限公司 | 一种基于3d视觉的智能拆垛方法及拆垛系统 |
CN111652308B (zh) * | 2020-05-13 | 2024-02-23 | 三峡大学 | 基于超轻量级全卷积神经网络的花卉识别方法 |
EP3923293A1 (en) * | 2020-06-09 | 2021-12-15 | Koninklijke Philips N.V. | System and method for analysis of medical image data based on an interaction of quality metrics |
TWI733487B (zh) * | 2020-06-09 | 2021-07-11 | 廣達電腦股份有限公司 | 脊椎壓迫性骨折偵測方法與系統 |
CN111862255B (zh) | 2020-07-17 | 2024-07-26 | 上海联影医疗科技股份有限公司 | 正则化图像重建方法、系统、可读存储介质和设备 |
US10902291B1 (en) * | 2020-08-04 | 2021-01-26 | Superb Ai Co., Ltd. | Methods for training auto labeling device and performing auto labeling related to segmentation while performing automatic verification by using uncertainty scores and devices using the same |
US10885387B1 (en) * | 2020-08-04 | 2021-01-05 | SUPERB Al CO., LTD. | Methods for training auto-labeling device and performing auto-labeling by using hybrid classification and devices using the same |
US11651499B2 (en) * | 2020-09-17 | 2023-05-16 | International Business Machines Corporation | Reducing structural redundancy in automatic image segmentation |
US11302071B1 (en) | 2020-09-24 | 2022-04-12 | Eagle Technology, Llc | Artificial intelligence (AI) system using height seed initialization for extraction of digital elevation models (DEMs) and related methods |
US11747468B2 (en) | 2020-09-24 | 2023-09-05 | Eagle Technology, Llc | System using a priori terrain height data for interferometric synthetic aperture radar (IFSAR) phase disambiguation and related methods |
US11238307B1 (en) | 2020-09-24 | 2022-02-01 | Eagle Technology, Llc | System for performing change detection within a 3D geospatial model based upon semantic change detection using deep learning and related methods |
US11587249B2 (en) | 2020-09-24 | 2023-02-21 | Eagle Technology, Llc | Artificial intelligence (AI) system and methods for generating estimated height maps from electro-optic imagery |
EP3975037A1 (en) * | 2020-09-28 | 2022-03-30 | Siemens Healthcare GmbH | Providing a classification explanation and a generative function |
US12039007B2 (en) * | 2020-10-09 | 2024-07-16 | GE Precision Healthcare LLC | Systems and methods of automatic medical image labeling |
KR102667231B1 (ko) | 2020-12-21 | 2024-05-20 | 주식회사 인피니트헬스케어 | 딥 러닝 알고리듬과 해부학적 특성에 기반한 의료 영상 셋의 컨투어링 시스템 및 방법 |
WO2022140990A1 (zh) * | 2020-12-28 | 2022-07-07 | 西安大医集团股份有限公司 | 医学图像轮廓勾画方法、装置及系统 |
US11636649B2 (en) | 2021-01-06 | 2023-04-25 | Eagle Technology, Llc | Geospatial modeling system providing 3D geospatial model update based upon predictively registered image and related methods |
US11816793B2 (en) | 2021-01-06 | 2023-11-14 | Eagle Technology, Llc | Geospatial modeling system providing 3D geospatial model update based upon iterative predictive image registration and related methods |
US12008403B2 (en) | 2021-01-22 | 2024-06-11 | Bank Of America Corporation | System for electronic identification of attributes for performing maintenance, monitoring, and distribution of designated resources |
GB202101908D0 (en) | 2021-02-11 | 2021-03-31 | Axial Medical Printing Ltd | Axial3D pathology |
CN112598669B (zh) * | 2021-03-04 | 2021-06-01 | 之江实验室 | 一种基于数字人技术的肺叶分割方法 |
JP2022167159A (ja) * | 2021-04-22 | 2022-11-04 | キヤノンメディカルシステムズ株式会社 | 疑似データ生成装置、疑似データ生成方法および疑似データ生成プログラム |
US12020428B2 (en) * | 2021-06-11 | 2024-06-25 | GE Precision Healthcare LLC | System and methods for medical image quality assessment using deep neural networks |
CN113536373B (zh) * | 2021-07-07 | 2023-04-18 | 河南大学 | 一种脱敏气象数据的生成方法 |
US20230097224A1 (en) * | 2021-09-28 | 2023-03-30 | Varian Medical Systems, Inc. | Ai-based atlas mapping slice localizer for deep learning autosegmentation |
CN113963148B (zh) * | 2021-10-29 | 2023-08-08 | 北京百度网讯科技有限公司 | 对象检测方法、对象检测模型的训练方法及装置 |
WO2023152530A2 (en) * | 2021-12-10 | 2023-08-17 | Mofaip, Llp | Multidimensional anatomic mapping, descriptions, visualizations, and translations |
CN114240906A (zh) * | 2021-12-21 | 2022-03-25 | 浙江工业大学 | 一种基于图谱的颅底缺失解剖特征点的重建方法 |
CN114400099A (zh) * | 2021-12-31 | 2022-04-26 | 北京华彬立成科技有限公司 | 疾病信息挖掘和检索方法、装置、电子设备和存储介质 |
WO2023223904A1 (ja) * | 2022-05-17 | 2023-11-23 | 株式会社アナリティックウェア | データ収集装置、学習装置、およびデータ収集方法 |
WO2024089423A1 (en) * | 2022-10-25 | 2024-05-02 | Through Leaves Limited | System and method for three-dimensional imaging |
CN116052137B (zh) * | 2023-01-30 | 2024-01-30 | 北京化工大学 | 一种基于深度学习的古典家具文化属性识别方法及系统 |
CN117857762B (zh) * | 2024-03-08 | 2024-05-14 | 深圳市东陆科技有限公司 | 显示模组的图像处理方法、装置、芯片及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030228042A1 (en) | 2002-06-06 | 2003-12-11 | Usha Sinha | Method and system for preparation of customized imaging atlas and registration with patient images |
WO2012058217A2 (en) | 2010-10-29 | 2012-05-03 | The Johns Hopkins University | Image search engine |
WO2014133756A2 (en) | 2013-03-01 | 2014-09-04 | Impac Medical Systems, Inc. | Method and apparatus for learning-enhanced altas-based auto-segmentation |
CN107123137A (zh) | 2017-04-28 | 2017-09-01 | 上海联影医疗科技有限公司 | 医学图像处理方法及设备 |
WO2017191248A1 (en) | 2016-05-04 | 2017-11-09 | Koninklijke Philips N.V. | Medical atlas registration |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6708184B2 (en) | 1997-04-11 | 2004-03-16 | Medtronic/Surgical Navigation Technologies | Method and apparatus for producing and accessing composite data using a device having a distributed communication controller interface |
US6549646B1 (en) | 2000-02-15 | 2003-04-15 | Deus Technologies, Llc | Divide-and-conquer method and system for the detection of lung nodule in radiological images |
US8543519B2 (en) | 2000-08-07 | 2013-09-24 | Health Discovery Corporation | System and method for remote melanoma screening |
JP2002330951A (ja) | 2001-05-11 | 2002-11-19 | Canon Inc | 画像符号化装置及び復号装置及び方法及びコンピュータプログラム及び記憶媒体 |
US6901277B2 (en) | 2001-07-17 | 2005-05-31 | Accuimage Diagnostics Corp. | Methods for generating a lung report |
US7158692B2 (en) | 2001-10-15 | 2007-01-02 | Insightful Corporation | System and method for mining quantitive information from medical images |
WO2006114003A1 (en) | 2005-04-27 | 2006-11-02 | The Governors Of The University Of Alberta | A method and system for automatic detection and segmentation of tumors and associated edema (swelling) in magnetic resonance (mri) images |
JPWO2007029467A1 (ja) | 2005-09-05 | 2009-03-19 | コニカミノルタエムジー株式会社 | 画像処理方法及び画像処理装置 |
WO2008035276A2 (en) | 2006-09-22 | 2008-03-27 | Koninklijke Philips Electronics N.V. | Methods for feature selection using classifier ensemble based genetic algorithms |
CN101952856B (zh) | 2008-02-15 | 2013-03-27 | 皇家飞利浦电子股份有限公司 | 用于分割包括子对象的对象的设备 |
JP2011512999A (ja) | 2008-03-04 | 2011-04-28 | トモセラピー・インコーポレーテッド | 改良された画像セグメンテーションの方法およびシステム |
GB0811671D0 (en) | 2008-06-25 | 2008-07-30 | Imp Innovations Ltd | Morphological analysis |
US8953856B2 (en) | 2008-11-25 | 2015-02-10 | Algotec Systems Ltd. | Method and system for registering a medical image |
EP2194486A1 (en) | 2008-12-04 | 2010-06-09 | Koninklijke Philips Electronics N.V. | A method, apparatus, and computer program product for acquiring medical image data |
US8073220B2 (en) | 2009-04-20 | 2011-12-06 | Siemens Aktiengesellschaft | Methods and systems for fully automatic segmentation of medical images |
GB0917154D0 (en) | 2009-09-30 | 2009-11-11 | Imp Innovations Ltd | Method and apparatus for processing medical images |
US8160357B2 (en) | 2010-07-30 | 2012-04-17 | Kabushiki Kaisha Toshiba | Image segmentation |
US9087259B2 (en) | 2010-07-30 | 2015-07-21 | Koninklijke Philips N.V. | Organ-specific enhancement filter for robust segmentation of medical images |
WO2012021861A2 (en) | 2010-08-13 | 2012-02-16 | Mckinnon, Brian William | Detection of anatomical landmarks |
US9710730B2 (en) | 2011-02-11 | 2017-07-18 | Microsoft Technology Licensing, Llc | Image registration |
CN102737379A (zh) | 2012-06-07 | 2012-10-17 | 中山大学 | 一种基于自适应学习的ct图像分割方法 |
US9349186B2 (en) * | 2013-02-11 | 2016-05-24 | General Electric Company | Systems and methods for image segmentation using target image intensity |
WO2015003748A1 (en) * | 2013-07-11 | 2015-01-15 | Brainlab Ag | Generation of a patient-specific anatomical atlas |
US9235781B2 (en) | 2013-08-09 | 2016-01-12 | Kabushiki Kaisha Toshiba | Method of, and apparatus for, landmark location |
US9655563B2 (en) | 2013-09-25 | 2017-05-23 | Siemens Healthcare Gmbh | Early therapy response assessment of lesions |
US9406142B2 (en) * | 2013-10-08 | 2016-08-02 | The Trustees Of The University Of Pennsylvania | Fully automatic image segmentation of heart valves using multi-atlas label fusion and deformable medial modeling |
US9668699B2 (en) | 2013-10-17 | 2017-06-06 | Siemens Healthcare Gmbh | Method and system for anatomical object detection using marginal space deep neural networks |
EP2881916B1 (en) | 2013-12-06 | 2018-01-31 | Siemens Healthcare GmbH | Query-specific generation and retrieval of medical volume images |
CN106062782B (zh) | 2014-02-27 | 2020-03-06 | 皇家飞利浦有限公司 | 针对基于图集的配准的无监督的训练 |
US9092691B1 (en) | 2014-07-18 | 2015-07-28 | Median Technologies | System for computing quantitative biomarkers of texture features in tomographic images |
KR20160049897A (ko) | 2014-10-28 | 2016-05-10 | 삼성전자주식회사 | 연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치 및 방법 |
US9767380B2 (en) | 2015-04-13 | 2017-09-19 | Varian Medical Systems International Ag. | Image comparison tool tolerant to deformable image matching |
US10037603B2 (en) | 2015-05-04 | 2018-07-31 | Siemens Healthcare Gmbh | Method and system for whole body bone removal and vascular visualization in medical image data |
US9684967B2 (en) | 2015-10-23 | 2017-06-20 | International Business Machines Corporation | Imaging segmentation using multi-scale machine learning approach |
US10169871B2 (en) | 2016-01-21 | 2019-01-01 | Elekta, Inc. | Systems and methods for segmentation of intra-patient medical images |
US20170337682A1 (en) | 2016-05-18 | 2017-11-23 | Siemens Healthcare Gmbh | Method and System for Image Registration Using an Intelligent Artificial Agent |
US10695150B2 (en) | 2016-12-16 | 2020-06-30 | Align Technology, Inc. | Augmented reality enhancements for intraoral scanning |
US10878576B2 (en) | 2018-02-14 | 2020-12-29 | Elekta, Inc. | Atlas-based segmentation using deep-learning |
-
2018
- 2018-02-14 US US15/896,895 patent/US10878576B2/en active Active
-
2019
- 2019-02-12 CN CN201980013586.6A patent/CN111727458B/zh active Active
- 2019-02-12 CN CN202111210496.1A patent/CN114037726A/zh active Pending
- 2019-02-12 EP EP19709592.0A patent/EP3752981B1/en active Active
- 2019-02-12 WO PCT/US2019/017626 patent/WO2019160850A1/en unknown
- 2019-02-12 AU AU2019222619A patent/AU2019222619B2/en active Active
- 2019-02-12 JP JP2020543487A patent/JP6876204B2/ja active Active
-
2020
- 2020-11-19 US US16/949,886 patent/US11710241B2/en active Active
-
2021
- 2021-04-23 JP JP2021073090A patent/JP7181963B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030228042A1 (en) | 2002-06-06 | 2003-12-11 | Usha Sinha | Method and system for preparation of customized imaging atlas and registration with patient images |
WO2012058217A2 (en) | 2010-10-29 | 2012-05-03 | The Johns Hopkins University | Image search engine |
WO2014133756A2 (en) | 2013-03-01 | 2014-09-04 | Impac Medical Systems, Inc. | Method and apparatus for learning-enhanced altas-based auto-segmentation |
US9122950B2 (en) | 2013-03-01 | 2015-09-01 | Impac Medical Systems, Inc. | Method and apparatus for learning-enhanced atlas-based auto-segmentation |
WO2017191248A1 (en) | 2016-05-04 | 2017-11-09 | Koninklijke Philips N.V. | Medical atlas registration |
CN107123137A (zh) | 2017-04-28 | 2017-09-01 | 上海联影医疗科技有限公司 | 医学图像处理方法及设备 |
Non-Patent Citations (2)
Title |
---|
Ignacio Rocco et al.,"Convolutional neural network architecture for geometric matching",[online],2017年04月13日,[令和2年12月17日検索],arXiv:1703.05593v2,インターネット<URL:https://arxiv.org/pdf/1703.05593.pdf> |
Snehashis Roy et al.,"Subject-Specific Sparse Dictionary Learning for Atlas-Based Brain MRI Segmentation",IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS,VOL. 19, NO. 5,,2015年09月,pp.1598-1609 |
Also Published As
Publication number | Publication date |
---|---|
EP3752981A1 (en) | 2020-12-23 |
US20190251694A1 (en) | 2019-08-15 |
JP2021131872A (ja) | 2021-09-09 |
US20210090265A1 (en) | 2021-03-25 |
AU2019222619B2 (en) | 2020-11-19 |
CN111727458B (zh) | 2021-11-05 |
US11710241B2 (en) | 2023-07-25 |
JP2021508572A (ja) | 2021-03-11 |
JP6876204B2 (ja) | 2021-05-26 |
EP3752981B1 (en) | 2024-05-01 |
CN114037726A (zh) | 2022-02-11 |
CN111727458A (zh) | 2020-09-29 |
US10878576B2 (en) | 2020-12-29 |
AU2019222619A1 (en) | 2020-09-24 |
WO2019160850A1 (en) | 2019-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7181963B2 (ja) | 深層学習を用いたアトラスベースセグメンテーション | |
EP3787744B1 (en) | Radiotherapy treatment plan modeling using generative adversarial networks | |
CN112204620B (zh) | 使用生成式对抗网络的图像增强 | |
US11491348B2 (en) | Real-time patient motion monitoring using a magnetic resonance linear accelerator (MRLINAC) | |
US11547874B2 (en) | Machine learning approach to real-time patient motion monitoring | |
US11954761B2 (en) | Neural network for generating synthetic medical images | |
US10751548B2 (en) | Automated image segmentation using DCNN such as for radiation therapy | |
JP7245364B2 (ja) | 変形可能な層を有するCycleGANを用いたsCT画像生成 | |
US11996178B2 (en) | Parameter search in radiotherapy treatment plan optimization | |
US11605452B2 (en) | Radiotherapy treatment plan optimization using machine learning | |
JP2022542021A (ja) | 放射線治療計画の最適化問題の圧縮 | |
GB2627771A (en) | Machine learning approach to segmentation of an organ image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210426 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220715 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7181963 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |