JP7245364B2 - 変形可能な層を有するCycleGANを用いたsCT画像生成 - Google Patents
変形可能な層を有するCycleGANを用いたsCT画像生成 Download PDFInfo
- Publication number
- JP7245364B2 JP7245364B2 JP2021572324A JP2021572324A JP7245364B2 JP 7245364 B2 JP7245364 B2 JP 7245364B2 JP 2021572324 A JP2021572324 A JP 2021572324A JP 2021572324 A JP2021572324 A JP 2021572324A JP 7245364 B2 JP7245364 B2 JP 7245364B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- cbct
- images
- model
- pass
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title description 34
- 238000007408 cone-beam computed tomography Methods 0.000 claims description 355
- 238000002591 computed tomography Methods 0.000 claims description 237
- 238000012549 training Methods 0.000 claims description 165
- 238000000034 method Methods 0.000 claims description 109
- 238000012545 processing Methods 0.000 claims description 100
- 230000008569 process Effects 0.000 claims description 39
- 238000003860 storage Methods 0.000 claims description 27
- 238000013527 convolutional neural network Methods 0.000 claims description 20
- 239000002131 composite material Substances 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000001959 radiotherapy Methods 0.000 description 70
- 238000011282 treatment Methods 0.000 description 53
- 238000009826 distribution Methods 0.000 description 36
- 230000005855 radiation Effects 0.000 description 31
- 230000015654 memory Effects 0.000 description 30
- 210000003484 anatomy Anatomy 0.000 description 28
- 230000006870 function Effects 0.000 description 26
- 238000013459 approach Methods 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 21
- 230000000694 effects Effects 0.000 description 19
- 238000002595 magnetic resonance imaging Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 16
- 238000010801 machine learning Methods 0.000 description 16
- 238000013507 mapping Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 8
- 238000002560 therapeutic procedure Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000013439 planning Methods 0.000 description 6
- 230000001052 transient effect Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000002604 ultrasonography Methods 0.000 description 5
- 238000007476 Maximum Likelihood Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000002786 image-guided radiation therapy Methods 0.000 description 3
- 230000002688 persistence Effects 0.000 description 3
- 230000001337 psychedelic effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 239000003826 tablet Substances 0.000 description 3
- 238000012384 transportation and delivery Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013079 data visualisation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000012879 PET imaging Methods 0.000 description 1
- 108091071257 Phi family Proteins 0.000 description 1
- 239000011358 absorbing material Substances 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013502 data validation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000013535 dynamic contrast enhanced MRI Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 230000003400 hallucinatory effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010603 microCT Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000003094 perturbing effect Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 210000003240 portal vein Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 238000010791 quenching Methods 0.000 description 1
- 230000000171 quenching effect Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/424—Iterative
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Radiation-Therapy Devices (AREA)
Description
[0001]
本特許出願は、2019年6月6日に出願された米国仮出願第62/858,156号明細書の優先権の利益を主張するものであり、その全体が参照により本明細書に組み込まれる。
[0002]
本開示の実施形態は、一般に、コーンビームコンピュータ断層撮影(CBCT)撮像、コンピュータ断層撮影および人工知能処理技術に関する。特に、本開示は、CBCTおよびコンピュータ断層撮影画像およびシステム操作で使用するために適合された敵対的生成ネットワーク(GAN)におけるデータモデルの生成および使用に関する。
X線コーンビームコンピュータ断層(CBCT)撮影は、放射線治療において、患者のセットアップや適応的な再計画のために使用されている。状況によっては、歯科用画像診断やインプラントの計画などの診断目的にもCBCT撮影が採用されている。また、X線CBCT撮影は、マイクロコンピュータ断層撮影をはじめとする撮影関連の多くのアプリケーションに採用されている。しかし、CBCT画像の画質は、医学物理学者、医師、研究者が観察しているように、かなり低い。一般に、CBCT画像は、異なるタイプのアーチファクト(調査中の本物の物体(real object)には存在しない様々なタイプのノイズまたは再構成データ中の可視化された構造を含む)を含む可能性がある。
CBCT画像中のアーチファクトやノイズは、適応的治療の再計画を妨害したり、診断に影響を与えたり、(画像のセグメンテーションのような)他の多くの画像処理ステップを困難にしたり、不可能にしたりする可能性がある。それぞれのアーチファクトは、1つまたはそれ以上の異なる要因によって引き起こされ得るので、異なる方法を用いて異なるアーチファクトを抑制する。放射線治療および他の臨床用途では、一般に、(毎日取得され得る)CBCT画像の他に、1つまたはそれ以上の他のコンピュータ断層(CT)画像データセットが(例えば、計画CT画像と)一緒に利用可能であり得る。一般的にCT画像は、コントラストなどの情報がより正確で、アーチファクトが少ない画像品質の方がより高品質であるとされている。CBCT画像中のアーチファクトを低減するために、研究者は多くの研究を行い、いくつかの関連する手法を開発してきたが、現在のところ、一般的なアーチファクトのすべてまたは大部分を抑制することができる簡単で効率的な手法は存在していない。そのため、CBCT画像中のアーチファクトやノイズを抑制・除去するための、新規で効率的かつ簡便な手法の開発が求められている。
本開示には、入力されたCBCT画像に対応するか、それを代表する模擬のまたは合成のCT(sCT)画像を生成するために、人工知能(AI)処理技術を開発、訓練(トレーニング)、および利用する手順を含む。このようなAI処理技術は、敵対的生成ネットワーク(GAN)、サイクル敵対的生成ネットワーク(CycleGAN)、畳み込みニューラルネットワーク(CNN)、深層畳み込みニューラルネットワーク(DCNN)、変形可能な畳み込みネットワーク、変形可能なオフセット層、空間変換器ネットワーク、および他の形態の機械学習(ML)実装を含む。本開示は、具体的には、アーチファクトフリーまたは実質的にアーチファクトフリーのCBCT画像または実質的にアーチファクトの数が減少したCBCT画像を強化して生成するために、ペアのCBCT画像および本物のCT画像のモデルを学習するために、GANまたはCycleGAN内で動作する識別器モデルおよび生成器モデルの使用に関連したいくつかの例示的な例を含む。GANまたはCycleGAN(および他の開示されたAIおよびML技法)の一部としてのイメージングデータ(例えば、CBCT画像)の本明細書に記載された使用および分析は、様々な診断、評価、解釈、または治療の設定のために使用される他の医療ワークフローに組み込まれ得ることが明らかになるであろう。
いくつかの実施形態では、コーンビームコンピュータ断層撮影(CBCT)画像から合成のコンピュータ断層撮影(sCT)画像を生成するための方法、システム、および一過性または非一過性のコンピュータ可読媒体が提供され、前記方法は、被検体(subject:被験体;被験者)のCBCT画像を受け取るステップと、生成モデルを使用して、前記CBCT画像に対応するsCT画像を生成するステップであって、前記生成モデルは、敵対的生成ネットワーク(GAN)における1つまたはそれ以上の変形可能なオフセット層に基づいてトレーニングされ、前記CBCT画像を入力として処理し、前記sCT画像を出力として提供するステップと、前記被検体の医療分析のために、前記sCT画像の表示を生成するステップとを有する。
いくつかの実装では、前記敵対的生成ネットワークは、識別モデルを使用して前記生成モデルをトレーニングするように構成され、前記生成モデルおよび前記識別モデルによって適用される値が、前記識別モデルと前記生成モデルの間の敵対的トレーニングを使用して確立され、前記生成モデルと前記識別モデルは、それぞれ畳み込みニューラルネットワークを有する。
いくつかの実装では、前記敵対的トレーニングは、与えられたCBCT画像に前記1つまたはそれ以上の変形可能なオフセット層の第1のセットを適用することにより、前記与えられたCBCT画像から第1のsCT画像を生成するために、前記生成モデルをトレーニングするステップと、前記与えられたCBCT画像に前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットを適用することなく、前記与えられたCBCT画像から第2のsCT画像を生成するために、前記生成モデルをトレーニングするステップと、前記第1のsCT画像を合成のまたは本物のコンピュータ断層撮影(CT)画像として分類するために前記識別モデルをトレーニングするステップとを有し、前記生成モデルの出力は、前記識別モデルをトレーニングするために使用され、前記識別モデルの出力は、前記生成モデルをトレーニングするために使用される。
いくつかの実装では、前記GANは、前記生成モデルと前記識別モデルを有するサイクル敵対的生成ネットワーク(CycleGAN)を用いてトレーニングされ、前記生成モデルは、第1の生成モデルであり、前記識別モデルは、第1の識別モデルであり、前記CycleGANは、与えられたCT画像を入力として処理し、前記1つまたはそれ以上の変形可能なオフセット層の第2のセットを前記与えられたCT画像に適用することにより、第1の合成の(sCBCT)画像を出力として提供し、前記1つまたはそれ以上の変形可能なオフセット層の前記第2のセットを前記与えられたCT画像に適用することなく、第2の合成の(sCBCT)画像を出力として提供するようにトレーニングされた第2の生成モデルと、前記第1の合成のsCBCT画像を、合成のまたは本物のCBCT画像として分類するようにトレーニングされた第2の識別モデルとを有する。
いくつかの実装では、前記CycleGANは、第1の生成モデルをトレーニングするための第1の部分を有し、前記第1の生成モデルは、第1および第2の入力インターフェースと第1の共有生成器部を含み、前記第2の生成モデルは、第3および第4の入力インターフェースと第2の共有生成器部を含み、前記第1の部分は、本物のCT画像とペアになったトレーニングCBCT画像を取得し、前記トレーニングCBCT画像を、第1のパスおよび第2のパスを介して前記第1の生成モデルの入力に送信して、前記第1のsCT画像および前記第2のsCT画像をそれぞれ出力し、前記第1のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットと、1つまたはそれ以上の畳み込み層の第1のセットとを含む、前記第1の入力インターフェースを有し、前記第2のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットを含まず、前記1つまたはそれ以上の畳み込み層を含む、第2の入力インターフェースを有し、前記第1の識別モデルの入力で前記第1のsCT画像を受け取り、前記第1のsCT画像を前記合成のまたは本物のCT画像に分類し、前記第2の生成モデルの入力で第1のsCT画像および第2のsCT画像を第3のパスおよび第4のパスを介して受け取り、サイクル-コンシステンシー(cycle-consistency)損失を計算するために第1のサイクルCBCT画像および第2のサイクルCBCT画像をそれぞれ生成し、前記第3のパスは、前記1つまたはそれ以上の変形可能なオフセット層の第2のセットと、前記1つまたはそれ以上の畳み込み層の第2のセットとを含む前記第3の入力インターフェースを有し、前記第4のパスは、前記1つまたはそれ以上の変形可能なオフセット層の第2のセットを含まず、前記1つまたはそれ以上の畳み込み層の第2のセットを含む前記第4の入力インターフェースを有するようにトレーニングされている。
いくつかの実装では、前記CycleGANは、第2の部分を有し、前記第2の部分は、前記本物のCT画像を、第5のパスおよび第6のパスを介して前記第2の生成モデルの前記入力に送信して第1の合成のCBCT画像および第2の合成のCBCT画像をそれぞれ出力し、前記第5のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第2のセットと、前記1つまたはそれ以上の畳み込み層の前記第2のセットとを含む第3の入力インターフェースを有し、前記第6のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第2のセットを含まず、前記1つまたはそれ以上の畳み込み層の前記第2のセットを含む第4の入力インターフェースを有し、前記第2の識別モデルの前記入力で前記第1の合成のCBCT画像を受け取り、前記第1の合成のCBCT画像を合成のまたは本物のCBCT画像として分類し、前記第1の合成のCBCT画像および前記第2の合成のCBCT画像を、第7のパスおよび第8のパスを介して、前記第1の生成モデルの前記入力で受け取り、サイクル-コンシステンシー損失を計算するための第1のサイクルCT画像および第2のサイクルCT画像を生成し、前記第7のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットと、前記1つまたはそれ以上の畳み込み層の前記第1のセットとを含む前記第1の入力インターフェースを有し、前記第8のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットを含まず、前記1つまたはそれ以上の畳み込み層の前記第1のセットを含む前記第2の入力インターフェースを有するようにトレーニングされている。
いくつかの実装では、前記サイクル-コンシステンシー損失は、前記第1のサイクルCBCT画像および前記第2のサイクルCBCT画像と前記トレーニングCBCT画像との比較と、前記第1のサイクルCT画像および前記第2のサイクルCT画像と前記本物のCT画像との比較とに基づいて生成され、前記第1の生成モデルは、前記第2のsCT画像を用いて第1のピクセルベースの損失項を最小化または低減するようにトレーニングされ、前記第1のピクセルベースの損失項は、複数の合成のCT画像と、それぞれペアになった本物のCT画像との間の差の期待値を表し、前記第2の生成モデルは、前記第2の合成の(sCBCT)画像を用いて、第2のピクセルベースの損失項を最小化または低減するようにトレーニングされ、前記第2のピクセルベースの損失項は、複数の合成のCBCT画像と、それぞれペアになった本物のCBCT画像との間の差の期待値を表す。
いくつかの実装では、前記CycleGANは、前記第1ピクセルベースの損失項および第2のピクセルベースの損失項にメトリックを適用するようにトレーニングされ、前記メトリックは、CBCT画像と本物のCT画像のペアと同じサイズを有するマップに基づいて生成され、前記マップの各ピクセル値は、与えられたCBCT画像と、前記与えられたCBCT画像とペアになっている与えられた本物のCT画像との間の類似性レベルを表し、前記CycleGANは、前記メトリックに閾値を適用するようにトレーニングされ、前記類似性レベルが前記閾値を超えたときには、前記メトリックが前記第1のピクセルベースの損失項および第2のピクセルベースの損失項に適用され、そうでないときには、ゼロ値が前記第1のピクセルベースの損失項および第2のピクセルベースの損失項に適用される。
いくつかの実装では、前記CycleGANは、複数のメトリックのうちの1つを前記第1のピクセルベースの損失項および前記第2のピクセルベースの損失項に適用するようにトレーニングされ、前記メトリックは、異なる画像解像度またはビューレベルでの前記ペアのCBCT画像およびCT画像のローのパスフィルタリングおよびダウンサンプリングを用いて生成される。
いくつかの実装では、前記1つまたはそれ以上の変形可能なオフセット層は、前記敵対的トレーニングに基づいてトレーニングされ、前記ペアになったCBCT画像およびCT画像の間の変形した構造情報を保存または吸収するために、サンプリング量を変更し、座標オフセットを導入し、補間を用いて画像を再サンプリングする。
いくつかの実施形態では、コーンビームコンピュータ断層撮影(CBCT)画像から合成のコンピュータ断層撮影(sCT)画像を生成するために、モデルをトレーニングするための方法、システム、および一過性または非一過性のコンピュータ可読媒体が提供され、前記方法は、被検体のCBCT画像を生成モデルの入力として受け取るステップと、前記生成モデルを、第1および第2のパスを介して、生成的敵対ネットワーク(GAN)内でトレーニングし、前記CBCT画像を処理して、前記生成モデルの出力として、前記CBCT画像に対応する第1の合成のコンピュータ断層撮影(sCT)画像および第2の合成のコンピュータ断層撮影(sCT)画像を提供するステップであって、前記第1のパスは、1つまたはそれ以上の変形可能なオフセット層の第1のセットと、1つまたはそれ以上の畳み込み層の第1のセットを含み、前記第2のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットを含まず、前記1つまたはそれ以上の畳み込み層の前記第1のセットを含むステップとを有する。
いくつかの実装では、前記GANは、前記生成モデルと識別モデルを有するサイクル敵対的生成ネットワーク(CycleGAN)を用いてトレーニングされ、前記生成モデルは、第1の生成モデルであり、前記識別モデルは、第1の識別モデルであり、前記方法は、第2の生成モデルをトレーニングして、生成された第1のsCT画像および第2のsCT画像を入力として処理し、第3のパスおよび第4のパスを介して、第1のサイクルCBCT画像および第2のサイクルCBCT画像をそれぞれ出力として提供するステップであって、前記第3のパスは、前記1つまたはそれ以上の変形可能なオフセット層の第2のセットと、前記1つまたはそれ以上の畳み込み層の第2のセットとを含み、前記第4のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第2のセットを含まずに、前記1つまたはそれ以上の畳み込み層の第2のセットを含むステップと、前記第1のサイクルCBCT画像を合成のCBCT画像または本物のCBCT画像として分類するために第2の識別モデルをトレーニングするステップとを更に有する。
いくつかの実装では、前記CycleGANは、前記第1の生成モデルをトレーニングするための第1の部分および第2の部分を有し、前記方法は、本物のCT画像とペアになったトレーニングCBCT画像を獲得するステップと、前記トレーニングCBCT画像を、前記第1のパスおよび第2のパスを介して、前記第1の生成モデルの前記入力に送信し、前記第1の合成のCT画像および第2の合成のCT画像を出力するステップと、前記第1の識別モデルの前記入力で、前記第1の合成のCT画像を受け取るステップと、前記第1の識別モデルを用いて、前記第1の合成のCT画像を合成のCT画像または本物のCT画像として分類するステップと、前記第2の生成モデルの前記入力で、前記第3のパスおよび第4のパスを介して、前記第1の合成のCT画像および第2の合成のCT画像を受け取り、サイクル-コンシステンシー損失を計算するための前記第1のサイクルCBCT画像および第2のサイクルCBCT画像を生成するステップと、前記本物のCT画像を、第5のパスおよび第6のパスを介して、前記第2の生成モデルの前記入力に送信して、前記第1の合成のトレーニングCBCT画像および第2の合成のトレーニングCBCT画像を出力するステップであって、前記第5のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第2のセットと、前記1つまたはそれ以上の畳み込み層の前記第2のセットとを含み、前記第6のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第2のセットを含まずに、前記1つまたはそれ以上の畳み込み層の前記第2のセットを含むステップと、前記第2の識別モデルの前記入力に、前記第1の合成のトレーニングCBCT画像を受け取るステップと、前記第2の識別モデルを用いて、前記第1の合成のトレーニングCBCT画像を合成のCBCT画像または本物のCBCT画像として分類するステップと、前記第1の生成モデルの入力で、前記第1の合成のCBCT画像および第2の合成のCBCT画像を、第7のパスおよび第8のパスを介して受け取り、サイクル-コンシステンシー損失を計算するために第1のサイクルCT画像および第2のサイクルCT画像を生成するステップであって、前記第7のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットと、前記1つまたはそれ以上の畳み込み層の前記第1のセットとを含み、第8のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットを含まず、前記1つまたはそれ以上の畳み込み層の前記第1のセットを含むステップと、前記第2のsCT画像を用いて、第1のピクセルベースの損失項を最小化または低減するように前記第1の生成モデルをトレーニングするステップであって、前記第1のピクセルベースの損失項は、複数の合成のCT画像と、それぞれペアになった本物のCT画像との間の差の期待値を表すステップと、前記第2の合成の(sCBCT)画像を用いて、第2のピクセルベースの損失を最小化または低減するように、前記第2の生成モデルをトレーニングするステップであって、前記第2のピクセルベースの損失項は、複数の合成のCBCT画像と、それぞれペアになった本物のCBCT画像との間の差の期待値を表すステップとを更に有する。
上記の概要は、本特許出願の主題の概要を提供することを目的としている。本発明の主題の排他的または網羅的な説明を提供することを意図したものではない。発明の詳細な説明は、本特許出願に関する更なる情報を提供するために含まれる。
必ずしも縮尺で描かれていない図面において、同様の数字は、いくつかの図面全体にわたって実質的に類似した構成要素を表す。異なる文字の接尾辞を持つ数字のようなものは、実質的に類似した構成要素の異なる実例を表す。図面は、本明細書で論じられている様々な実施形態を一般的に例示しているが、これに限定されるものではない。
本開示は、sCT画像(受け取ったCBCT画像を表す合成または模擬(シミュレーション)のCT画像)を生成することによってCBCT画像を改善および強化するための様々な技術を含み、CBCT画像を改善するための手動(例えば、人間が指示した、人間にアシストされた、または人間にガイドされた)および従来のアプローチよりも技術的な利点を提供する方法を含む。これらの技術的利点には、強化されたCBCT画像またはsCT画像を生成するためのコンピューティング処理時間の短縮、CBCT画像中のアーチファクトの除去、および強化されたCBCT画像、更には、CBCT画像およびsCT画像の生成および強化に使用される処理、メモリ、およびネットワークリソースの改善が含まれる。これらの改善されたCBCT画像またはsCT画像は、このような改善されたCBCT画像またはsCT画像を支援するためにデータを管理するデータ管理、可視化および制御システムの改善に加えて、様々な医療および診断の設定およびそのような設定で使用される情報技術システムに適用することができる。したがって、本技術は、これらの技術的利点に加えて、多くの見かけ上の医療上の利点(放射線治療の治療精度の向上、意図しない放射線への被曝の低減などを含む)をもたらす可能性がある。
本明細書でさらに議論されるように、教師付き人工知能(AI)機械学習の一形態である敵対的生成ネットワーク(GAN)の以下の使用および展開は、学習モデルを介してsCT画像を生成することにより、CBCT画像の精度および有用性の向上を可能にする。一実施例では、本技術は、(例えば、人間の被検体の)入力されたCBCT画像に対応する合成の(synthetic)CT画像を出力し、本物の(real:本物の)、真実の(true:真の)、または現実の(actual)CT画像データと一致する、または匹敵する精度を有するピクセル値を含むことができる(そのようなCT画像は、全体を通して、本物の、真実の、または現実のCT画像と称されることがある)。また、本明細書で議論される学習モデルは、元の低画像品質のCBCT画像から優れた高画像品質の合成のCT画像(sCT)を生成することができる。このようなsCT画像は、元のCBCT画像内の解剖学的構造を保存し、正確で正しいHU値を有する高画質を得るために、全てまたは実質的に全ての散乱、ストリーキングアーテファクトおよび他のノイズアーチファクトを取り除く、または除去することができる。sCT画像は、リアルタイムにオンザフライで生成することができる(例えば、開示されたモデルは、CBCT画像を受け取ると、CBCT画像を生成し、増強することができる)。
一実施例において、学習されたモデルは、GANまたはCycleGAN、すなわち、トレーニングデータを記述する確率分布の推定値を生成する生成器(「生成モデル」とも呼ばれる)、および生成器のサンプルを生成器または学習データに属するものとして分類する識別器(「識別モデル」とも呼ばれる)で動作する一対の深層畳み込みニューラルネットワークを使用して生成される。生成器は、学習データのデータ分布を可能な限り完全にエミュレートし、それによって識別器を最大に混乱させることを目的としている。その結果、予測モデリングにおける回帰の結果を最大化するようにトレーニングされた(本質的には「調整された」)生成器が生成される。
一実施例では、GANは、CBCT画像と本物のCT画像とのペアのセットでトレーニングされ、CBCT画像が与えられたsCT画像を生成するためのモデルをトレーニングする。CBCT画像は、本物のCT画像と共に登録することができる。GANの2つのネットワーク(生成器と識別器)アーキテクチャを使用して、ニューラルネットワークおよびCycleGANにおける教師付きMLの従来のアプローチを含む、従来の実装よりも優れた、受け取られたCBCT画像に対応するsCT画像を生成するトレーニングされた生成モデルを生成することができる。このような、かつバラエティに富んだ技術的、機能的なメリットがあることは、次のセクションで明らかになるだろう。
特に、開示された技術は、第1の生成器モデルのトレニングのパスでCBCT画像またはCT画像に変形可能なオフセット層を適用することによりGANをトレーニングし、第2の生成器モデルのトレニングのパスで変形可能なオフセット層を適用せずにGANをトレーニングする。開示された技術の識別器は、変形可能なオフセット層が適用された生成器の出力でのみ動作するようにトレーニングされている。サイクル-コンシステンシー損失の項は、両方の生成器のパスで生成された画像に基づいて生成器モデルをトレーニングするために使用される。このようにして、ある程度の人工的な解剖学的構造または変形した解剖学的構造を導入する敵対的損失(adversarial lose:アドバーサリーロス)は、生成器の変形された画像出力にのみ適用される。これにより、生成器のトレーニングにおいて、人工的な解剖学的構造または変形した解剖学的構造の敵対的損失の影響が制限され、それは生成器により生成されるsCT画像を改善する。すなわち、敵対的損失により引き起こされる、不要な構造情報を学習する可能性があり、そして、幻の人工的な構造を生成する可能性があるという効果は、サイクル-コンシステンシー損失の項により引き起こされる、オリジナルな構造を保存するという効果とは切り離されている。「サイクル-コンシステンシー」損失の項を最小化することにより、オフセット層を持たない生成器により生成されるsCT画像は、オリジナルのCBCT画像に存在するすべての真の解剖学的構造を保持する。一方、変形可能なオフセット層に基づいて生成される画像にのみ「敵対的」な損失が課せられるため、そのようなオフセット層は、すべての望ましくない形状の変形または潜在的に生成される幻覚構造を収容する。
本明細書で議論されるアプローチは、CBCT画像および本物のCT画像の特性を発見して、CBCT画像が受け取られると同時にリアルタイムで新しいsCT画像を生成することを可能にする。これらのアプローチは、CBCT画像と本物のCT画像の間のリンクのより詳細なモデルを得るためにGANによって採用された一種の統計的学習を使用している。
あるアプローチでは、CBCT画像からsCT画像を生成するためにCycleGANを使用する。このようなアプローチは、共に出願中で、共に譲渡されたJiaofeng Xu等の米国特許出願第16/044,245号(2018年7月24日出願:タイトル「CONE-BEAM CT IMAGE ENHANCEMENT USING GENERATIVE ADVERSARIAL NETWORKS」事務所ドケット番号4186.042US1)で議論されており、その全体が参照により本明細書に組み込まれる。このアプローチでは、ペアのCBCT-CTデータに基づくCycleGAN加重L1-loss用語を組み合わせている。特に、このアプローチでは、sCT画像と実在のCT画像の間、合成のCBCT画像と実在のCBCT画像の間にL1損失項を加え、加重ピクセルベースの項を用いて不完全なマッチングを補正していた。このアプローチは、CBCT画像とCT画像の形状分布が似ている、または、劇的な違いがない場合にsCT画像を生成するのに適している。しかしながら、CT画像の形状分布やその他の特徴分布が元のCBCT画像と比較して大きな違いがある場合、「敵対的損失(adversarial losses:アドバーセリーアル ロス)」が、sCT画像に人工的な解剖学的構造や変形した解剖学的構造を導入し、生成されたsCT画像に予期しない結果を生じさせる可能性がある。これは、このアプローチでは、特定の領域に対して予想外の形状変形を学習するために、敵対的損失に基づいて生成器がトレーニングされるためである。
具体的には、従来のアプローチの根本的な問題点は、これらの損失項がすべて同じ生成器をトレーニングするために機能していることである。そのように、同じ生成器が複数の異なる目的を達成するようにトレーニングされるので、ある場合には、同じ生成器ではそのようなすべての目的を最適な方法で達成できないことがある。例えば、単一の生成器は、オリジナルのCBCT画像のアーチファクト(artefacts)を除去し、正しいCT番号に変換する方法でCBCT画像の外観をCT画像に変換するようにトレーニングされ、同時に、ある程度の構造変形に基づいてトレーニングされる。CT画像の領域における形状分布やその他の特徴分布が、オリジナルのCBCT画像領域と比較して大きな差異がある場合、この不要な構造変形や他の変形をなくすことに失敗し、その結果、生成されたsCT画像にそのような不要な構造変形やその他の人工的な構造が存在することになる可能性がある。
従来のシステムでは、CycleGANの動作と精度を向上させる方法として、敵対的損失による不要な構造情報の学習や幻の人工的な構造の生成の可能性と、サイクルコンシステンス損失項によるオリジナルの構造の保存の可能性を切り離す方法は検討されていなかった。特に、従来のシステムでは、複数のパスでsCT画像を生成する生成器を並列または同時にトレーニングし、変形可能なオフセット層が適用されたのパスのひとつで生成された画像にのみ敵対的な損失を適用する方法は検討されていなかった。
図1は、本明細書で議論される1つまたはそれ以上のアプローチを使用して放射線治療計画の処理操作を実行するように適合された例示的な放射線治療システム100を示す。これらの放射線治療計画の処理動作は、撮影された医用画像データの特定の側面と治療線量計算とに基づいて、放射線治療システム100が患者に放射線治療を提供することを可能にするために実行される。具体的には、画像処理ロジック120によって実行される画像生成ワークフロー130及び画像生成トレーニングワークフロー140の一部として、以下の処理動作を実行する。しかしながら、データ検証、可視化、および他の医学的評価および診断の設定を含む、以下のトレーニングされたモデルおよび画像処理ロジック120の多くのバリエーションおよび使用例が提供されてもよいことが理解されるであろう。放射線治療システム100は、受け取ったCBCT画像からsCT画像を生成するためにGANを使用することができる。sCT画像は、本物のCT画像に似たシャープなエッジを持つ改良されたCBCT画像を表している可能性がある。したがって、放射線治療システム100は、被検体の領域を撮影した低品質のCBCT画像を使用して、リアルタイムで医療分析のためのsCTタイプの画像を生成することができる。
放射線治療システム100は、画像処理ロジック120を主催する放射線治療処理計算システム110を含む。放射線治療処理計算システム110は、ネットワーク(図示せず)に接続することができ、そのようなネットワークは、インターネットに接続することができる。例えば、ネットワークは、放射線治療処理計算システム110を、1つまたはそれ以上の医療情報源(例えば、放射線学情報システム(RIS)、医療記録システム(例えば、電子カルテ(EMR)/電子健康記録(EHR)システム)、腫瘍学情報システム(OIS))、1つまたはそれ以上の画像データソース150、画像取得装置170(例えば、撮像モダリティ)、治療装置180(例えば、放射線治療装置)、および治療データソース160と接続することができる。一実施例として、放射線治療処理計算システム110は、治療装置180によって使用され、および/または装置146の出力のために使用される、改良されたCBCT画像を生成するための操作の一部として、画像処理ロジック120からの命令またはデータを実行することによって、被検体のCBCT画像を受け取り、CBCT画像に対応するsCT画像を生成するように構成することができる。
放射線治療処理計算システム110は、処理回路112と、メモリ114と、記憶装置116と、ユーザインターフェース142と、通信インタフェース(図示せず)などの他のハードウェアおよびソフトウェア操作可能な機能を含むことができる。記憶装置116は、オペレーティングシステム、放射線治療計画(例えば、トレーニングCBCT画像、本物のCT画像、トレーニング画像と本物のCT画像を関連付けるペアリング情報、生成されたsCT画像、適応または修正されたCBCT画像など)、ソフトウェアプログラム(例えば、画像処理ソフトウェア、画像または解剖学的可視化ソフトウェア、DLモデル、MLモデル、ニューラルネットワークなどによって提供されるようなAI実装およびアルゴリズムなど)、および処理回路112によって実行される他の任意のコンピュータ実行可能な命令を記憶することができる。
一実施例では、処理回路112は、マイクロプロセッサ、中央処理装置(CPU)、グラフィックス処理装置(GPU)、加速処理装置(APU)などの1つまたはそれ以上の汎用処理装置などの処理装置を含むことができる。より具体的には、処理回路112は、複雑命令セットコンピューティング(CISC)マイクロプロセッサ、縮小命令セットコンピューティング(RISC)マイクロプロセッサ、非常に長い命令ワード(VLIW)マイクロプロセッサ、他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサであってもよい。また、処理回路112は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、システムオンチップ(SoC)などの1つまたはそれ以上の特別目的処理装置によって実装されてもよい。当業者には理解されるであろうが、いくつかの例では、処理回路112は、汎用プロセッサではなく、特殊用途プロセッサであってもよい。処理回路112は、Intel(登録商標)によって製造されたPentium(登録商標)、Core(登録商標)、Xeon(登録商標)、またはItanium(登録商標)ファミリー、AMD(登録商標)によって製造されたTurion(登録商標)、Athlon(登録商標)、Sempron(登録商標)、Opteron(登録商標)、FX(登録商標)、Phenon(登録商標)ファミリー、Sun Microsystemsによって製造された様々なプロセッサのいずれかのような1つまたはそれ以上の既知の処理装置を含むことができる。処理回路112は、Nvidia(登録商標)によって製造されたGeForce(登録商標)、Quadro(登録商標)、Tesla(登録商標)ファミリー、Intel(登録商標)によって製造されたGMA、Iris(登録商標)ファミリー、またはAMD(登録商標)によって製造されたRadeon(登録商標)ファミリーのような、グラフィック処理ユニットを含むことができる。処理回路112は、Intel(登録商標)によって製造されたXeon Phi(登録商標)ファミリーのような、加速処理ユニットを含むことができる。開示された実施形態は、本明細書に開示された方法を実行するために、大量のデータを特定し、分析し、維持し、生成し、および/または提供し、またはそのようなデータを操作するというコンピューティング要求を満たすように構成された任意のタイプのプロセッサ(複数可)に限定されるものではない。さらに、「プロセッサ」という用語は、複数の物理的(回路ベースの)またはソフトウェアベースのプロセッサ、例えば、マルチコア設計または複数のプロセッサのそれぞれがマルチコア設計を有するプロセッサを含んでもよい。処理回路112は、メモリ114に記憶され、記憶装置116からアクセスされる、一過性または非一過性のコンピュータプログラム命令のシーケンスを実行して、以下でより詳細に説明する様々な操作、プロセス、方法を実行することができる。システム100内の任意のコンポーネントは、別個に実装され、独立した装置として動作してもよく、本開示に記載された技術を実行するために、システム100内の任意の他のコンポーネントに結合されてもよいことが理解されるべきである。
メモリ114は、読み出し専用メモリ(ROM)、相変化ランダムアクセスメモリ(PRAM)、スタティックランダムアクセスメモリ(SRAM)、フラッシュメモリ、ランダムアクセスメモリ(RAM)、同期DRAM(SDRAM)などのダイナミックランダムアクセスメモリ(DRAM)、電気的に消去可能なプログラム可能な読み出し専用メモリ(EEEPROM)、スタティックメモリ(例えば、フラッシュメモリ、フラッシュディスク、静的ランダムアクセスメモリ)、および他のタイプのランダムアクセスメモリ、キャッシュ、レジスタ、コンパクトディスク読み取り専用メモリ(CD-ROM)、デジタル多目的ディスク(DVD)または他の光ストレージ、カセットテープ、他の磁気記憶装置、または画像、データ、または処理回路112または他のタイプのコンピュータ装置によってアクセスされることが可能な一過性または非一過性のコンピュータ実行可能命令(例えば、任意の形式で格納されているもの)を含む情報を格納するために使用され得る他の非一過性の媒体を含み得る。例えば、コンピュータプログラム命令は、処理回路112によってアクセスされ、ROM、または他の任意の適切なメモリ位置から読み出され、処理回路112によって実行されるためにRAMにロードすることができる。
記憶装置116は、本明細書に記載された方法論または機能(様々な例では、画像処理ロジック120およびユーザインターフェース142を含む)のうちの任意の1つまたはそれ以上の方法論または機能を具現化または利用する1つまたはそれ以上の一組の、一過性または非一過性の機械読み取り可能な媒体を含む駆動装置を構成してもよい。命令は、また、放射線治療処理計算システム110による実行中に、メモリ114内および/または処理回路112内に、完全にまたは少なくとも部分的に存在してもよく、メモリ114および処理回路112は、また、一過性または非一過性の機械可読媒体を構成することができる。
メモリ114および記憶装置116は、非一過性のコンピュータ読み取り可能な媒体を構成することができる。例えば、メモリ114および記憶装置116は、コンピュータ読み取り可能な媒体上に、1つまたはそれ以上のソフトウェアアプリケーションのための一過性または非一過性の命令を記憶またはロードすることができる。メモリ114および記憶装置116に記憶またはロードされたソフトウェアアプリケーションは、例えば、一般的なコンピュータシステム用のオペレーティングシステムおよびソフトウェア制御装置用のオペレーティングシステムを含むことができる。また、放射線治療処理計算システム110は、画像処理ロジック120およびユーザインターフェース142を実装するためのソフトウェアコードからなる様々なソフトウェアプログラムを動作させることができる。さらに、メモリ114および記憶装置116は、処理回路112によって実行可能なソフトウェアアプリケーション全体、ソフトウェアアプリケーションの一部、またはソフトウェアアプリケーションに関連付けられたコードまたはデータを記憶またはロードすることができる。更なる実施例では、メモリ114および記憶装置116は、1つまたはそれ以上の放射線治療計画、画像データ、セグメンテーションデータ、治療可視化、ヒストグラムまたは測定値、AIモデルデータ(例えば、重みおよびパラメータ)、ラベルおよびマッピングデータなどを記憶し、ロードし、操作することができる。ソフトウェアプログラムは、記憶装置116およびメモリ114だけでなく、ハードドライブ、コンピュータディスク、CD-ROM、DVD、ブルーレイDVD、USBフラッシュドライブ、SDカード、メモリスティック、または任意の他の適切な媒体などの取り外し可能なコンピュータ媒体に格納することができ、そのようなソフトウェアプログラムは、ネットワークを介して通信または受信することができる。
図示されていないが、放射線治療処理計算システム110は、通信インターフェース、ネットワークインターフェースカード、および通信回路を含むことができる。例示的な通信インターフェースは、例えば、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、USBコネクタ、パラレルコネクタ、高速データ伝送アダプタ(例えば、ファイバ、USB 3.0、サンダーボルトなど)、無線ネットワークアダプタ(例えば、IEEE 802.11/Wi-Fiアダプタなど)、通信アダプタ(例えば、3G、4G/LTE、5G、ネットワークなどと通信するためのもの)などを含むことができる。このような通信インターフェースは、機械がネットワークを介して、遠隔地に配置された構成要素のような他の機械および装置と通信することを可能にする、1つまたはそれ以上のデジタルおよび/またはアナログ通信装置を含むことができる。ネットワークは、ローカルエリアネットワーク(LAN)、無線ネットワーク、クラウドコンピューティング環境(例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャなど)、クライアントサーバー、広域ネットワーク(WAN)などの機能を提供することができる。例えば、ネットワークは、他のシステム(追加の画像処理計算システムまたは医用画像処理または放射線治療操作に関連する画像ベースのコンポーネントを含む)を含むことができるLANまたはWANであってもよい。
一実施例では、放射線治療処理計算システム110は、記憶装置116およびメモリ114上でホスティングするために、画像データソース150(例えば、CBCT画像)から画像データ152を取得することができる。例示的な画像データソース150は、図2Bに関連して詳細に記載されている。一実施例では、放射線治療処理計算システム110上で動作するソフトウェアプログラムは、擬似CT画像またはsCT画像のような合成の画像を生成することによって、あるフォーマット(例えば、MRI)の医用画像を別のフォーマット(例えば、CT)に変換することができる。別の実施例では、ソフトウェアプログラムは、対応する画像が適切にペアリングされて関連付けられるように、患者の医用画像(例えば、CT画像またはMR画像)を、その後に作成または捕捉されたその患者のCBCT画像(例えば、画像としても表される)に登録または関連付けることができる。さらに別の実施例では、ソフトウェアプログラムは、符号付き距離関数または画像情報のいくつかの側面を強調する画像の処理済みバージョンのような患者画像の機能を代替することができる。
例示的な実施形態では、放射線治療処理計算システム110は、画像データソース150から、または画像データソース150にCBCT撮像データ152を取得するか、または通信することができる。このような撮像データは、GANまたはCycleGANモデリングを使用して撮像データを強化または改善してsCT画像を生成するために計算システム110に提供することができる。sCT画像は、治療データソース160または装置180によって、人間の被検体を治療するために使用することができる。さらなる実施例では、治療データソース160は、画像生成ワークフロー130によって生成されたsCT画像の結果として計画データを受信または更新し、画像データソース150はまた、画像生成トレーニングワークフロー140で使用するために撮像データ152を提供またはホストすることができる。
一実施例では、計算システム110は、画像データソース150を使用して、CBCT画像と本物のCT画像のペアを生成することができる。例えば、計算システム110は、被検体の標的領域(例えば、脳領域)の画像を取得するようにCBCT装置に指示することができる。計算システム110は、画像データを、CBCT画像によって捕捉された時間および目標領域の関連付けられた表示とともに記憶装置116に格納することができる。また、計算システム110は、CT撮影装置に対して、本物のCT画像と同じ対象領域(例えば、脳領域の同じ断面)の画像を取得するように指示することができる。計算システム110は、本物のCT画像を同じ領域の以前に得られたCBCT画像と関連付けることができ、それにより、トレーニングペアとして装置116に記憶するための本物のCT画像とCBCT画像のペアを形成することができる。計算システム110は、閾値数のペアが得られるまで、そのようなトレーニング画像のペアを生成し続けてもよい。いくつかの実施形態では、計算システム110は、どの標的領域を取得するか、およびどのCBCT画像を本物のCT画像とペアにするかについて、人間のオペレータによってガイドするようにしてもよい。
処理回路112は、メモリ114および記憶装置116に通信的に結合されてもよく、処理回路112は、メモリ114または記憶装置116のいずれかからそこに記憶されたコンピュータ実行可能命令を実行するように構成することができる。処理回路112は、画像データ152からの医用画像をメモリ114で受信または取得し、画像処理ロジック120を用いて処理するように命令を実行することができる。さらなる実施例では、処理回路112は、画像データ152および他の患者データとともにソフトウェアプログラム(例えば、画像処理ソフトウェア)を利用して、sCT画像を強化または生成することができる。
さらに、処理回路112は、例えば、ニューラルネットワークモデル、機械学習モデル、画像生成ワークフロー130、画像生成トレーニングワークフロー140、または本明細書で議論されるようなGANまたはCycleGANによるsCT画像の生成に関与する他の側面によって使用される更新されたパラメータのような中間データを生成するためのソフトウェアプログラムを利用することができる。さらに、そのようなソフトウェアプログラムは、本明細書でさらに議論される技術を使用して、治療データソース160への展開および/または出力装置146上での提示のための新しいまたは更新されたsCT画像を生成するための画像生成ワークフロー130を実施するために、画像処理ロジック120を利用することができる。処理回路112は、その後、通信インターフェースおよびネットワークを介して、新しい画像または更新された画像を治療装置180に送信してもよく、ここで、放射線治療計画は、ワークフロー140でトレーニングされたワークフロー130の結果と一致して、治療装置180を介して患者を放射線で治療するために使用される。ソフトウェアプログラムおよびワークフロー130、140の他の出力および使用は、放射線治療処理計算システム110の使用に伴って発生することができる。
本明細書の実施例では(例えば、図3および図4を参照して議論された敵対的生成ネットワーク処理を参照して実施例では)、処理回路112は、入力CBCT画像からのsCT画像生成のためのML、DL、ニューラルネットワーク、および人工知能の他の側面の機能を実装するために、画像処理ロジック120を呼び出すソフトウェアプログラムを実行することができる。例えば、処理回路112は、本明細書で議論されるように、受け取ったCBCT画像からトレーニング、分析、予測、評価、およびsCT画像を生成するソフトウェアプログラムを実行することができる。開示された実施形態によれば、sCT画像の生成器は、第1のパスが1つまたはそれ以上の変形可能なオフセット層と1つまたはそれ以上の畳み込み層を含み、第2のパスが1つまたはそれ以上の変形可能なオフセット層を含むことなく1つまたはそれ以上の畳み込み層を含むような、複数のパスを介してトレーニングされる。具体的には、生成器は、第1のプロセスが、第1のパスを介してトレーニングCBCT画像から第1のsCT画像を生成し、第2のプロセスが、第2のパスを介してトレーニングCBCT画像から第2のsCT画像を生成するような、2つの並列または逐次プロセスを実行することによりトレーニングされる。第1のsCT画像は、第1のsCT画像が本物のCT画像であるか、合成のCT画像であるかを判別するために第1の識別器をトレーニングするために提供される。次に、第1のsCT画像および第2のsCT画像は、CBCT画像を生成するために別の生成器に提供され、トレーニング用CBCT画像を用いるサイクル-コンシステンス損失項に基づいてトレーニングする第1のサイクルCBCT画像および第2のサイクルCBCT画像を提供する。このようにして、敵対的な損失項のトレーニングによる望ましくない構造の変形や、幻の構造の生成の可能性の影響が、サイクル-コンシステンス損失項によるオリジナルの構造を保存すること影響から切り離される。CycleGANの別の部分は、2つの別々のパス1つのパスは、変形可能なオフセット層と1つまたはそれ以上の畳み込み層を有し、他のパスは、変形可能なオフセット層を有さずに1つまたはそれ以上の畳み込み層を有する-を利用して使用されるトレーニングCBCT画像のペアのCT画像に基づいて、同様の方法で同じ生成器をトレーニングする。
一実施例では、画像データ152は、1つまたはそれ以上のMRI画像(例えば、2DMRI、3DMRI、2DストリーミングMRI、4DMRI、4DボリューメトリックMRI、4DシネMRIなど)、機能的MRI画像(例えば、fMRI、DCE-MRI、拡散MRI)、コンピュータ断層撮影(CT)画像(例えば、2DCT、コーンビームCT、3DCT、4DCT)、超音波画像(例えば、2D超音波、3D超音波、4D超音波)、陽電子放出断層撮影(PET)画像、X線画像、透視画像、放射線治療ポータル画像、シングルフォトエミッションコンピュータ断層撮影(SPECT)画像、コンピュータで生成された合成の画像(例えば、疑似CT画像)などを含み得る。さらに、画像データ152は、医用画像処理データ、例えば、トレーニング画像、グラウンドトゥルース画像、輪郭画像、および線量画像を含むか、または関連付けられていてもよい。他の実施例では、解剖学的領域の等価な表現は、非画像フォーマット(例えば、座標、マッピングなど)で表現することができる。
一実施例では、画像データ152は、画像取得装置170から受信され、画像データソース150の1つまたはそれ以上(例えば、PACS(Picture Archiving and Communication System)、VNA(Vendor Neutral Archive)、医療記録または情報システム、データウェアハウスなど)に格納することができる。したがって、画像取得装置170は、患者の医用画像を取得するためのMRI撮像装置、CT撮像装置、PET撮像装置、超音波撮像装置、透視装置、SPECT撮像装置、リニアアクセラレータとMRI撮像装置を一体化したもの、CBCT撮像装置、またはその他の医用画像を取得するための医用画像取得装置で構成されていてもよい。画像データ152は、画像取得装置170および放射線治療処理計算システム110が、開示された実施形態と一致する動作を実行するために使用することができる、任意のタイプのデータまたは任意のタイプのフォーマット(例えば、DICOM(Digital Imaging and Communications in Medicine)フォーマット)で受信および保存することができる。さらに、いくつかの実施例では、本明細書で議論されるモデルは、元の画像データフォーマットまたはその派生物を処理するようにトレーニングすることができる。
一実施例では、画像取得装置170は、単一の装置(例えば、リニア加速器と組み合わせたMRI装置、「MRI-Linac」とも呼ばれる)として治療装置180と一体化されていてもよい。このようなMRI-Linacは、例えば、放射線治療計画に従って放射線治療を所定の標的に正確に指示するために、患者の標的臓器または標的腫瘍の位置を決定するために使用することができる。例えば、放射線治療計画は、各患者に適用されるべき特定の放射線量に関する情報を提供することができる。また、放射線治療計画には、他の放射線治療情報、例えば、ビーム角度、線量-ヒストグラム-ボリューム情報、治療中に使用する放射線ビームの本数、ビーム当たりの線量などが含まれていてもよい。いくつかの実施例では、画像生成ワークフロー130におけるGANトレーニングされたモデルは、強化されたCBCT画像を生成するためにのみ使用され、他のワークフローまたはロジック(図示せず)は、この強化されたCBCT画像を、放射線治療を達成するために使用される特定のビーム角および放射線物理学に翻訳するために使用される。
放射線治療処理計算システム110は、ネットワークを介して外部データベースと通信し、画像処理および放射線治療操作に関連する複数の様々なタイプのデータを送受信することができる。例えば、外部データベースは、治療装置180、画像取得装置170、または放射線治療または医療処置に関連する他の機械に関連する情報を提供する機械データ(装置制約(device constraints)を含む)を含むことができる。機械データ情報は、放射線ビームサイズ、アーク配置、ビームのオンオフ時間、機械パラメータ、セグメント、マルチリーフコリメータ(MLC)構成、ガントリ速度、MRIパルスシーケンスなどを含むことができる。外部データベースは、記憶装置であってもよく、適切なデータベース管理ソフトウェアプログラムを備えていてもよい。さらに、そのようなデータベースまたはデータソースは、中央または分散的に配置された複数のデバイスまたはシステムを含むことができる。
放射線治療処理計算システム110は、処理回路112およびメモリ114に通信可能に結合された1つまたはそれ以上の通信インターフェースを使用して、ネットワークを介して、データを収集および取得し、他のシステムと通信することができる。例えば、通信インターフェースは、放射線治療処理計算システム110と放射線治療システム構成要素との間の通信接続を提供する(例えば、外部装置とのデータ交換を可能にする)ようにしてもよい。例えば、通信インターフェースは、いくつかの実施例では、ユーザが放射線治療システム100に情報を入力するためのハードウェアキーボード、キーパッド、またはタッチスクリーンであってもよいユーザインターフェース142に接続するための出力装置146または入力装置148からの適切なインターフェース回路を有することができる。
一実施例として、出力装置146は、ユーザインターフェース142の表現と、医用画像、治療計画、およびそのような計画のトレーニング、生成、検証、または実施の状況の1つまたはそれ以上の側面、可視化、または表現を出力する表示装置を含むことができる。出力装置146は、医用画像、インターフェース情報、治療計画パラメータ(例えば、輪郭、線量、ビーム角、ラベル、地図など)、治療計画、目標、目標の定位および/または目標の追跡、または任意の関連情報をユーザに表示する1つまたはそれ以上のディスプレイ画面を含むことができる。ユーザインターフェース142に接続された入力装置148は、キーボード、キーパッド、タッチスクリーン、またはユーザが放射線治療システム100に情報を入力することができる任意のタイプのデバイスであってもよい。代替的に、出力装置146、入力装置148、およびユーザインターフェース142の機能は、スマートフォンまたはタブレットコンピュータ(例えば、Apple iPad(登録商標)、Lenovo Thinkpad(登録商標)、Samsung Galaxy(登録商標)など)のような単一のデバイスに統合することができる。
さらに、放射線治療システム100の任意のおよびすべての構成要素は、仮想マシン(例えば、VMWare、Hyper-Vなどの仮想化プラットフォームを介して)または独立したデバイスとして実装することができる。例えば、仮想マシンは、ハードウェアとして機能するソフトウェアである可能性がある。したがって、仮想マシンは、少なくとも1つまたはそれ以上の仮想プロセッサ、1つまたはそれ以上の仮想メモリ、および一緒にハードウェアとして機能する1つまたはそれ以上の仮想通信インターフェースを含むことができる。例えば、放射線治療処理計算システム110、画像データソース150、または同様の構成要素は、仮想マシンとして、またはクラウドベースの仮想化環境内で実装することができる。
画像処理ロジック120または他のソフトウェアプログラムは、計算システムが画像データソース150と通信して、メモリ114および記憶装置116に画像を読み込んだり、メモリ114または記憶装置116から画像データソース150に画像または関連データを格納したり、画像データソース150との間で画像データソース150と通信するようにすることができる。例えば、画像データソース150は、モデルトレーニングまたは生成ユースケースにおいて、画像取得装置170を介して1人または複数の患者から取得された画像データ152内の画像セットから、画像データソース150がホストする複数の画像(例えば、3DMRI、4DMRI、2DMRIスライス画像、CT画像、2D透視画像、X線画像、MRスキャンまたはCTスキャンからの生データ、DICOM(Digital Imaging and Communications in Medicine)メタデータなど)を保存して提供するように構成してもよい。また、画像データソース150または他のデータベースは、受け取ったCBCT画像からsCT画像を作成、修正、または生成する画像処理動作を実行するソフトウェアプログラムを実行する際に、画像処理ロジック120によって使用されるデータを格納することができる。さらに、様々なデータベースは、敵対的生成ネットワークモデル138によって学習されたモデルを構成するネットワークパラメータと、その結果得られる予測データとを含む、学習されたモデルによって生成されたデータを格納することができる。したがって、放射線治療処理計算システム110は、放射線治療または診断操作の実行に関連して、画像データソース150、画像取得装置170、治療装置180(例えば、MRI-Linac)、または他の情報システムから、画像データ152(例えば、2DMRIスライス画像、CT画像、2D透視画像、X線画像、3DMRI画像、4DMRI画像など)を取得および/または受信することができる。
画像取得装置170は、関心領域(例えば、標的臓器、標的腫瘍、またはその両方)に対する患者の解剖学の1つまたはそれ以上の画像を取得するように構成され得る。一実施例では、各画像、典型的には2D画像またはスライスは、1つまたはそれ以上のパラメータ(例えば、2Dスライスの厚さ、向き、および位置など)を含むことができる。一実施例では、画像取得装置170は、任意の向きの2Dスライスを取得することができる。例えば、2Dスライスの方向は、矢状方向(sagittal orientation)、冠状方向(coronal orientation)または軸方向(axial orientation)を含むことができる。処理回路112は、標的臓器および/または標的腫瘍を含むように、2Dスライスの厚さおよび/または向きなどの1つまたはそれ以上のパラメータを調整することができる。一実施例では、2Dスライスは、3DCBCTまたは3DCT、またはMRIボリュームなどの情報から決定することができる。このような2Dスライスは、患者が放射線治療を受けている間、例えば治療装置180を使用しているときに、画像取得装置170によって「ほぼリアルタイム」で取得することができる(「ほぼリアルタイム」とは、少なくともミリ秒以下でデータを取得することを意味する)。
放射線治療処理計算システム110における画像処理ロジック120は、トレーニングされた(学習された)生成モデルの使用(例えば、図8を参照して以下に説明する方法を実装する)を含む画像生成ワークフロー130を実装するように描かれている。この生成モデルは、敵対的生成ネットワーク(GAN)モデル138の一部としてトレーニングされた生成器138Bによって提供することができる。一実施例では、画像処理ロジック120が動作する画像生成ワークフロー130は、本物のCT画像データ処理132とCBCT画像データ処理134とを統合して、トレーニングで使用したマッピングされた(ペアの)CT画像とCBCT画像とに基づいてsCT画像を生成し、その生成されたsCT画像に基づいてCBCT画像を生成する。
一実施例では、生成器138Bは、学習データのペアリング(例えば、CBCT画像および本物のCT画像のペアリング)を処理する画像生成トレーニングワークフロー140に関連して、GANモデル138内の識別器138Aおよび生成器138Bの使用を含むトレーニングの結果として学習された重みおよび値を含む。上述したように、このトレーニングワークフロー140は、データソース160、170、および関連する画像データ152から画像データを取得して利用することができる。
図2Aは、X線源または線形加速器などの放射線源、カウチ216、撮像検出器214、および放射線治療出力204を含む例示的な画像誘導放射線治療装置202を図示する。放射線治療装置202は、患者に治療を提供するために放射線治療ビーム208を放出するように構成されている。放射線治療出力204は、マルチリーフコリメータ(MLC)などの1つまたはそれ以上の減衰器またはコリメータを含む。理解されるように、放射線治療出力204は、画像生成ワークフロー130およびGANの生成器138Bからの画像生成の関連使用を実装する画像処理ロジック120と関連して提供することができる。
一例として、患者は、治療カウチ216によって支持された領域212内に配置され、放射線治療計画に従って放射線治療線量を受けることができる。放射線治療出力204は、ガントリ206または他の機械的支持体に搭載され、または取り付けられる。1つまたはそれ以上のシャーシモータ(図示せず)は、カウチ216が治療領域に挿入されたときに、ガントリ206および放射線治療出力204をカウチ216の周りで回転させることができる。一実施例では、ガントリ206は、カウチ216が処置領域内に挿入されたときに、カウチ216の周りで連続的に回転可能である。別の実施例では、ガントリ206は、カウチ216が処置領域内に挿入されたときに、所定の位置まで回転する。例えば、ガントリ206は、治療出力204を軸(「A」)の周りに回転させるように構成することができる。カウチ216および放射線治療出力204の両方は、横方向(「T」)に移動可能であるか、横方向(「L」)に移動可能であるか、または横軸(「R」と表示される)についての回転など、1つまたはそれ以上の他の軸についての回転として、患者の周囲の他の位置に独立して移動可能である。1つまたはそれ以上のアクチュエータ(図示せず)に通信的に接続されたコントローラは、放射線治療計画に従って患者を放射線治療ビーム208内または放射線治療ビーム208の外に適切に位置決めするために、カウチ216の動きまたは回転を制御することができる。カウチ216およびガントリ206の両方は、互いに独立して複数の自由度で移動可能であり、これにより、放射線治療ビーム208が腫瘍を正確に標的にすることができるように患者を位置決めすることができる。
図2Aに示す座標系(軸A、軸T、軸Lを含む)は、アイソセンタ210に位置する原点を有する。アイソセンタ210は、患者上または患者内の場所に所定の放射線量を送達するように、放射線治療ビーム208の中心軸が座標軸の原点と交差する位置として定義する。代替的に、アイソセンタ210は、ガントリ206によって軸Aの周りに位置決めされた放射線治療出力204の様々な回転位置のために、放射線治療ビーム208の中心軸が患者と交差する位置として定義することができる。
ガントリ206はまた付属の撮像検出器214を有していてもよい。撮像検出器214は、好ましくは、放射線源(出力204)に対向して配置され、一実施例では、撮像検出器214は、放射線治療ビーム208のフィールド内に配置され得る。撮像検出器214は、CBCT画像からsCT画像をリアルタイムで生成するために、画像処理ロジック120(FIG1)を実装することができる。撮像検出器214は、好ましくは、放射線治療ビーム208との整列を維持するように、放射線治療出力204に対向して、ガントリ206に取り付けられることができる。撮像検出器214は、ガントリ206の回転に伴って回転軸を中心に回転する。例示的な実施形態では、撮像検出器214は、フラットパネル検出器(例えば、直接検出器またはシンチレータ検出器)であってもよい。このように、撮像検出器214は、放射線治療ビーム208を監視するために使用することができ、または、撮像検出器214は、ポータルイメージングのような患者の解剖学的な撮像のために使用することができる。放射線治療装置202の制御回路は、放射線治療システム100内に統合されていてもよいし、放射線治療システム100から離れていてもよい。
例示的な一実施例では、カウチ216、治療出力204、またはガントリ206のうちの1つまたはそれ以上が自動的に位置決めされ、治療出力204は、特定の治療送達インスタンスのための指定された線量に従って放射線治療ビーム208を確立することができる。ガントリ206、カウチ216、または治療出力204の1つまたはそれ以上の異なる向きまたは位置を使用するなど、放射線治療計画に応じて、治療送達のシーケンスを指定することができる。治療の送達は、順次行われ得るが、アイソセンタ210のような患者上または患者内の所望の治療部位で交差させることができる。所定の累積線量の放射線治療は、それによって治療部位に送達され得る一方で、治療部位の近くの組織への損傷を減少させるか、または回避することができる。
したがって、図2Aは、放射線治療出力が中心軸(例えば、軸「A」)を中心に回転可能な構成で、患者に放射線治療を提供するために操作可能な放射線治療装置202の例を具体的に示している。他の放射線治療の出力構成を使用することができる。例えば、放射線治療出力は、複数の自由度を有するロボットアームまたはマニピュレータに取り付けることができる。さらなる別の実施例では、治療出力は、患者から横方向に分離された領域に位置するように固定され、患者を支持するプラットフォームは、放射線治療アイソセンタを患者内の特定の標的軌跡に整列させるために使用され得る。別の実施例では、放射線治療装置は、線形加速器と画像取得装置との組み合わせであってもよい。いくつかの実施例では、画像取得装置は、当業者が認識するであろう、MRI、X線、CT、CBCT、スパイラルCT、PET、SPECT、光断層撮影、蛍光撮影、超音波撮影、または放射線治療門脈撮影装置などであってもよい。
図2Bは、図2A及び図1の画像取得装置170の一例としてのX線コーンビームコンピュータ断層撮影スキャナ220の一例を示す。X線コーンビームコンピュータ断層撮影スキャナ220は、X線管224および検出器222を含むことができる。動作中、光子は、X線管224から放出され、検出器222に到達する前に、3次元物体(例えば、患者の解剖学の一部)を通って伝搬する。立体物は、放出された光子の一部を吸収することができる。検出器222は、受け取られた光子を対応する電子信号に変換することができる2D平面を含むことができる。電子信号は、2D投影空間画像を形成するためのように、特定のX線経路(直線経路)に沿った吸収強度を記録することができる。また、3D物体の3D構造情報を得るために、3D物体を回転軸について回転させたり、X線管224及び検出器222を軌道状に走査して、異なる視野角からの2D投影空間画像を得るようにすることができる。一実施例では、2D投影空間画像は、数百枚の2D投影空間画像に対応することができるなど、200度以上の範囲に渡って収集することができる。
画像再構成アルゴリズムは、X線コーンビームコンピュータ断層撮影スキャナ220によって収集された2D投影空間画像から3D物体の3D画像を形成するために採用することができる。再構成アルゴリズムは、解析的再構成アルゴリズムと反復的再構成アルゴリズムを含むことができる。一実施例では、解析アルゴリズム(例えば、FeldkampまたはFeldkamp-modifiedアルゴリズム)を使用して、スキャナ220によって収集された2D投影空間画像を処理して、3D再構成画像を得ることができる。一実施例では、解析アルゴリズムは、2D投影空間画像を数秒で処理することができる。しかし、3D再構成画像は、収集された2D投影空間画像と解析アルゴリズムに関連する数学的仮定との間の不一致によってもたらされるようなアーチファクトに悩まされる可能性がある。さらに、アーチファクトは、ノイズなどの他のソースから発生することがあり得る。一実施例では、スキャナ220によって収集された2D投影空間画像を処理して3D再構成画像を得るために、反復アルゴリズムを使用することができる。反復アルゴリズムは、分析アルゴリズムに関連するアーチファクトの一部を抑制することができるが、すべてのタイプではなく、分析アルゴリズムよりも高品質の画像を得ることができるけれど、反復アルゴリズムは、高度なGPU技術を使用しても、分析アルゴリズムよりもはるかに長い時間がかかる。解析的アルゴリズムも反復的アルゴリズムも、すべての種類のアーチファクトに対して有効ではない。画像中のアーチファクトは、ノイズ、散乱、消光アーチファクト、ビームハードニングアーチファクト、指数関数的エッジ勾配効果、エイリアシング効果、リングアーチファクト、モーションアーチファクト、位置ずれ効果のうちの任意の1つまたはそれ以上を含む。
ノイズアーチファクトには、ラウンドオフエラーや電気ノイズなどの付加的なノイズが含まれる。ノイズアーチファクトには、ポアソン分布に従うことができる光子数ノイズを含まれる。CBCT装置は、CT装置に比べて約1桁低いミリアンペアの電流で動作するため、CBCT画像のS/NをCT画像よりも低くすることができる。散乱アーチファクトは、直線経路に沿って移動から逸脱した物体によって散乱された光子によって引き起こされることがある。フォトンが直線経路を移動すると仮定できる特定の再構成アルゴリズムでは、散乱のためにアーチファクトが導入される可能性がある。散乱アーチファクトには、CBCT 2D/3D画像の不均一な暗化を含む。消光アーチファクトは、物体に強い吸収を持つ物質が含まれていて、光子が物体を透過できず、検出器上の信号が非常に弱いかゼロになってしまう場合がある。吸収情報は、検出器上の信号が非常に弱い場合やゼロの場合に失われることがある。2DCBCT投影空間画像における消光アーチファクトは、再構成されたCBCT2D/3D画像において、強いブライトストリーク様アーチファクトのようなアーチファクトを引き起こす可能性がある。2DCBCT投影空間画像を形成するために多色X線ビームが使用される場合、ビーム硬化アーチファクトが発生する可能性がある。多色X線ビームにおいて、低エネルギーX線は、高エネルギーX線と低エネルギーX線との比の相対的な増加をもたらすことができるように、患者の組織によって優先的に吸収され得る。比率の相対的な増加は、再構成されたCBCT2D/3D画像のアーチファクトにつながる可能性がある。指数的エッジ勾配効果(EEGE)は、隣接する構造物とのコントラストが高いシャープなエッジで発生する可能性がある。脳波は測定された強度を有限のビーム幅で平均化することで発生するが、再構成のためのアルゴリズムはゼロビーム幅を想定している。EEGEは、低減された計算された密度値を提供することができ、投影方向に長い直線エッジの接線にストリークを発生させることができる。画像のサンプリング周波数(単位面積あたりのピクセル)が、サンプリングされる空間周波数の値の2倍未満である場合に、エイリアシングアーチファクト(Aliasing artefacts)が発生する可能性がある。エイリアシングアーチファクトは、CBCT投影空間画像の収集に使用されるような発散コーンビームの結果としても発生する可能性がある。リングアーチファクト(Ring artefacts)は、欠陥や校正されていない検出器素子によって引き起こされることがある。リングアーチファクトは、回転軸を中心とした同心円状のリングとして現れることがある。モーションアーチファクト(Motion artefacts)や位置ズレの影響は、CBCT画像の収集中にソース、オブジェクト、検出器のいずれかの位置ズレによって引き起こされることがある。
これらのCBCT画像は、画像処理ロジック120(図1)を使用するような、本明細書で議論されるようなGANを含むディープラーニング(DL)/機械学習(ML)アプローチの使用によって改善され得る。AI、DL、MLのいずれも、ランダム変数の確率とその確率分布を数学的に解析したものである。通常、ランダム変数は、ペアX、Y、{xi,yi},i=1,Nとして観測され、ここで、それぞれの値xi∈Xに対して、我々は、それを、スカラーのカテゴリインデックスyi∈Y(分類)で表されるクラスやカテゴリに割り当てたい、または、関数yi=f(xi)(回帰)に従って数値を割り当てたいと考えている。すべての分類法や回帰法は、ランダム変数X、Yを記述するための確率分布の概念に依存する。ランダム変数X、p(x)(xは離散または連続のいずれか)に対する確率分布は、次の条件を満たさなければならない。(1)p(x)の領域は、xのすべての可能な値の集合である。(2)すべてのx∈Xに対して、p(x)≧0を満足する。(3)∫Xp(x)dx=1を満足する。分布p(x)から抽出されたサンプルxは、x~p(x)と表記される。X、Yの合同分布(joint distribution)はp(x,y)と表記され、限界分布をxとして、合同分布p(x,y)を与えられたp(x)は、p(x)=∫p(x,y)dyとなる。xの値を条件としてyを観測する確率は、p(y|x)=p(x,y)/p(x)となる。データxが与えられたときにyを観測する条件付き確率は、データ尤度と呼ばれる。ベイズの法則は、X,Yの条件付き尤度を、p(y|x)=p(x|y)p(y)/p(x)とする。
統計的学習の目的は、任意のyをxに関連付けるマッピングf:x→yを決定することである。その中でも特に重要な方法の一つが最尤推定である。トレーニングデータは、プロセスpdata(x,y)によって生成されたものとする。マッピングを見つけるには、マッピングがxに加えて依存するパラメータθを含むモデルプロセスpmodel(x;θ)を学習する必要がある。例えば、θは、ニューラルネットワーク層の重みやバイアスパラメータを含む。最尤推定は、xの最も可能性の高い値を与えるパラメータθLを次のように推定する。
ここで、Eは括弧付き引数の期待値である。確率分布の近似が困難であるので、また、目標は、pdata(x)分布とpmodel(x;θ)分布間の差を最小化することであるので、KLダイバージェンス(KL divergence)は、データに基づいた次の代替手段を提供する。
ここで、最尤度は、モデル分布とデータ分布の差を最小化することに等しい。log pdata(x)項はモデルに依存しないので、DKLを最小化するためには次式を最小化する必要がある。
これは、モデル式中に暗に含まれたθを有する式(1)と同じである。所望のマッピングは、f(θ):x~pmodel→yとなる。
マルチのパスアプローチ(変形可能なオフセット層を持つのパスと、変形可能なオフセット層を持たないのパス)を利用する、現在開示されたCT画像モデリングおよびsCT画像生成のためのシステムは、放射線治療の治療計画および画像生成をモデリングするための最新のニューラルネットワーク技術の有用な応用を提供する。ニューラルネットワーク(NNs)は、1960年代から、分類問題(観測データxを2つ以上のクラスyi,i=1,...,nのうちの1つに割り当てる)や、回帰問題(観測データxをそのデータに関連するパラメータの値yと関連付ける)の解決策として研究されてきた。CTおよびCBCT画像パラメータの生成は、GAN構成によって学習されたNN生成モデルの使用によって生成される回帰問題と考えてもよい。上記および以下の説明は、ひとつのパスが変形可能なオフセット層を有し、ひとつのパスが変形可能なオフセット層を有さないマルチのパスアプローチに関するものであるが、変形可能なオフセット層は、変形された構造情報を格納するために利用できる他の形態またはタイプ(例えば、空間変換層またはトランスフォーマー)を取ることができる。
シンプルNNは、入力層、中間層または隠れ層、および出力層から構成され、それぞれが計算ユニットまたはノードを含む。隠れ層ノードは、入力層のすべてのノードからの入力を持ち、出力層のすべてのノードに接続されている。このようなネットワークは「完全に接続されている(fully connected)」と呼ばれている。各ノードは、その入力の和の非線形関数に応じて、出力ノードに信号を伝達する。分類器の場合、入力層ノードの数は、通常、クラスに分類されるオブジェクトの集合のそれぞれの特徴量の数に等しく、出力層ノードの数はクラスの数に等しくなる。ネットワークは、既知のクラスのオブジェクトの特徴を提示し、バックプロパゲーションと呼ばれるアルゴリズムによって学習誤差を減らすためにノードの重みを調整することによってトレーニングされる。このようにして、トレーニングされたネットワークは、クラスが不明な新しいオブジェクトを分類することができる。
ニューラルネットワークは、データとクラスや回帰値の関係性を発見する能力を持ち、ある条件下では非線形関数を含むあらゆる関数y=f(x)をエミュレートすることができる。MLでは、学習データとテストデータは同じデータ生成プロセスPdataによって生成され、各サンプル(xi,yi)は同一かつ独立に分布していること(identically and independently distributed:i.i.d.)を前提としている。MLでは、学習誤差を最小化し、トレーニング誤差と試験誤差の差をできるだけ小さくすることを目標としている.トレーニング誤差が大きすぎるとアンダーフィッティングが発生し、トレーニングと試験の誤差のギャップが大きすぎるとオーバーフィットが発生する。どちらのタイプの性能不足もモデルの容量に関連しており、大容量であるとトレーニングデータに非常によくフィットするが、オーバーフィットにつながり得る。DNNは、膨大な容量を有するので、機械学習ではオーバーフィットがより一般的な問題となっている。
ディープラーニングとは、入力と出力が複雑に配置された多数の隠れ層を持つDNNを採用し、画像認識や音声認識などの作業において人間レベルの性能を発揮する機械学習手法である。本実施例では、観測データXと出力Yとの関係を決定するためにDNNをトレーニングすることができる。データX={X1,...Xn}はCBCT画像の集合体であり、出力YはsCT画像である。
DNNの動作は、次の関数f(・)によって象徴的に捕捉される。
ここで、Θ=(θ1,...θn)Tは、Y*が学習時に観測された真のYに最も近い近似値であるトレーニングされたNNに関連するパラメータのベクトルである。DNNは、トレーニング用CBCT画像Xと、既知の実在する対応するまたは登録されたCT画像Yのデータセット{X,Y}i,i=1,...,Nを用いてトレーニングされる。トレーニングは、次の並べ替えのコスト関数J(Θ)を最小化する。
ここでΘ*は、実際のXと推定値Yの間の平均二乗誤差を最小化するパラメータの集合である。深層学習では、コスト関数は、データ近似関数を問題変数の確率関数、またはXが与えられ、式P(Y、X;Θ)として表されるパラメータΘの値に従うYを観測する条件付き尤度として表すことがよくあり、この式に対して、尤度を最大化することにより、次式のような最適なパラメータΘMLが得られる。
[0088]
または、代わりに、次式もあり得る。
この式は、トレーニングデータを合計したものである。
実際のCTクラスに属するsCT画像を識別する結果となるDNN出力は、分類の一例である。この場合、DNNの出力は、CBCT画像マップ Y=(y1,...,yM)Tの実値要素yiとなり、ネットワーク計算が回帰の一実施例となることを意味する。
DNNは、基本的なNNの実装よりも多くの層(はるかに深い)を持っており、DNNは多くの場合、数十から数百の層を含み、各層は数千から数十万のノードで構成され、層は複雑な形状に配置されている。入力の加重和に加えて、いくつかの層では、畳み込みなどの前の層の出力に対して他の演算を計算する。畳み込みとそこから派生したフィルタは、画像のエッジやサウンドストリームの時間的/ピッチ的特徴を見つけ出し、後続の層はこれらのプリミティブ(primitives)で構成されたより大きな構造を見つけ出すことができる。このような畳み込み層の使用を伴うトレーニングされたDNNは、畳み込みニューラルネットワーク(CNN)と呼ばれている。
スキップ接続はCNNの重要な構築技術的(architectural)革新である。スキップ接続は、もともと精度を向上させ、トレーニングを短縮するために導入されたもので、ネットワークのあるレベルのノードのデータを別のレベルのノードのデータに接続する。重要な実施例として、医用画像のセグメンテーションのために開発されたU-Netアーキテクチャがある。後述するように、「U」の「左」の部分は、画像データを畳み込みフィルタ特徴量として符号化(encode)し、「U」の「右」の部分は、それらの特徴量を連続した高解像度表現に復号化(decode)する。同じネットワーク階層レベルで符号化された特徴と復号化された特徴を組み合わせることで、より正確な分類が可能になる。スキップ接続の他のバリエーションは,各CNNブロック内に実装されており,レイヤ出力を直接ではなく,レイヤ出力間の差分(残差)でトレーニングすることである。この「ResNet」アーキテクチャとその多くのバリエーションにより、NNの精度を向上させることができる。
図3Aは、本開示に従って合成のCT画像(sCT)を生成するために適合された例示的なCNNモデル300を示す。すなわち、モデル300は、入力トレーニングセット(例えば、ペアのCBCTおよびCT画像302、304)に基づいて出力データセット(出力sCT画像306)を生成するように設計された「U-Net」深層CNNの配置を描写する。名前は「U」の構成に由来しており、よく理解されているように、この形式のNNモデルは、ピクセル単位の分類または回帰結果を生成することができる。いくつかのケースでは、CNNモデル300につながる第1のパスは、1つまたはそれ以上の変形可能なオフセット層と1つまたはそれ以上の畳み込み層を含み、CNNモデル300につながる第2のパスは、変形可能なオフセット層を含まず、1つまたはそれ以上の畳み込み層を含む。モデル300は、出力データセットとして、第1のパスおよび第2のパスを介して、第1のsCT画像および第2のsCT画像306(第1のパスを介して生成されたものと、第2のパスを介して生成されたもの)を、並行してまたは順次に生成する。
モデル操作の左側(「符号化」操作312)は、右側(「復号化」操作314)が出力結果を再構成するために使用する特徴のセットを学習する。U-Netは、conv/BN/ReLU(畳み込み/バッチ正規化/修正線形単位)ブロック316からなるnレベルを有し、各ブロックは、残差学習を実施するためのスキップ接続を有する。ブロックサイズは、図3Aでは「S」および「F」の数で示され、入力画像のサイズはSxSであり、特徴層の数はFに等しい。各ブロックの出力は、画像と同じサイズの配列の特徴応答のパターンである。
符号化のパスを下に進むと、ブロックのサイズは各レベルで1/2または2-1で減少するが、慣習(convention)による特徴のサイズは2の要因で増加する。ネットワークのデコード側はS/2nからスケールアップし、左側から特徴内容を同じレベルで追加していき、これはコピー/コンカテネート(copy/concatenate)データ通信である。図3Aに示す入力画像302、304は、出力画像が存在しないので、conv/BN/ReLU層のパラメータを評価するためのネットワークをトレーニングするために提供される。モデルを使用した推論、またはテストのために、入力はCBCT画像302の単一画像であり、出力はsCT画像306である。
図3Aのモデル300の表現は、このようにして、分類ではなく回帰を実行するように適合された生成モデルのトレーニングおよび予測を例示する。図3Bは、本開示に従って合成のCT画像(sCT)を識別するために適合した例示的なCNNモデルを示す。図3Bに示す識別器ネットワークは、ストライド2畳み込み層(stride-2 convolutional layers)、バッチ正規化層(batch normalization layers)およびReLu層(ReLu layers)で構成された複数のレベルのブロック、および分離されたプーリング層を含むことができる。ネットワークの最後には、識別目的のための2Dパッチを形成するために、1層または数層の完全接続層が存在することになる。図3Bに示された識別器は、入力sCT画像(例えば、変形可能なオフセット層を含む図3Aに示された生成器から第1のパスから生成されたもの)を受け取り、画像を本物(real)または偽物(fake)として分類し、その分類を出力350として提供するように構成されたパッチベースの識別器であり得る。
本開示の実施形態によれば、このようなモデルに基づく治療モデリング方法、システム、装置、および/またはプロセスは、2つの段階、すなわち、GANにおける識別器/生成器のペアを使用した生成モデルのトレーニングと、GANでトレーニングされた生成器を使用した生成モデルを使用した予測とを含む。sCT画像生成のためのGANとCycleGANが関与する様々な実施例については、以下の実施例で詳細に説明する。深層学習モデルの種類および他のニューラルネットワーク処理アプローチの他のバリエーションおよび組み合わせもまた、本技術を用いて実施され得ることが理解されるであろう。さらに、以下の実施例は、画像および画像データを参照して論じているが、以下のネットワークおよびGANは、他の非画像データ表現およびフォーマットを使用して動作してもよいことが理解されるであろう。また、トレーニング時には第1のsCT画像および第2のsCT画像を生成するために2つのパスが使用されると説明されているが、実際には、CBCT画像からsCT画像を生成するように生成器がトレーニングされた後、1つのパス(変形可能なオフセット層を含まない第2のパス)のみが使用される。
ディープCNNトレーニングでは,学習モデルはトレーニング中に決定された層ノードパラメータθ(ノード重みと層バイアス)の値である。トレーニングは、トレーニングデータとモデル分布の間の最尤度またはクロスエントロピー(cross entropy)を使用する。この関係を表すコスト関数は次式となる。
特定の問題に対するコスト関数の正確な形式は、使用されるモデルの性質に依存する。ガウスモデルpmodel(y|x)=N(y:f(x;θ))は、次のようなコスト関数を意味する。
この式は、θに依存しない定数項を含む。したがって、J(θ)を最小化すると、トレーニングデータの分布を近似するマッピングf(x;θ)が生成される。
図4は、受け取ったCBCT画像から合成のCT画像を生成するために適合した敵対的生成ネットワークのトレーニングと使用のための例示的なデータフローを示す。例えば、トレーニングされた生成器モデル460を生成するためにトレーニングされた図4の生成器モデル432は、複数の並列なのパス(畳み込み層と1つまたはそれ以上の変形可能なオフセット層を含むものと、畳み込み層のみを含むもの)を介して、図1の放射線治療システム100における画像処理ロジック120の一部として提供される処理機能132,134を実装するためにトレーニングすることができる。従って、GANモデル使用(予測)450のデータフローは、トレーニングされた生成器モデル460への新しいデータ470(例えば、新しい患者からのCBCT入力画像)の提供、および生成結果(generation result)480(例えば、入力CBCT画像に対応するsCT画像)の予測または推定値を生成するためのトレーニングされた生成器モデル460を使用するものとして、図4に描かれている。
GANは、分類または回帰を実行するためにトレーニングされる生成ネットワーク(例えば、生成器モデル432)と、生成ネットワークの出力分布(例えば、シミュレーション出力436)をサンプリングし、そのサンプルが真のテスト分布と同じか異なるかを決定する識別ネットワーク(例えば、識別器モデル440)との2つのネットワークから構成される。このネットワークシステムの目標は、判別器ネットが50%の確率でしか生成器サンプルの正しい原点を決定できないように、生成器ネットを駆動して、生成器ネットとの均衡に達するように、可能な限り正確に基底真理モデルを学習させることである。識別器はグラウンドトゥルースにアクセスすることができるが、生成器は生成器の出力に対する検出器の応答を通してのみトレーニングデータにアクセスする。
図4のデータフローは、(CBCT患者画像データ、患者画像データに対応する本物のCT画像、および/または解剖学的領域424および425のマッピング、条件または制約426を含むようなトレーニング画像423と共に)モデルパラメータ412及びトレーニングデータ420の様々な値を含むトレーニング入力410の受け取りを示す。トレーニング入力410は、GANモデル使用法450で使用されるトレーニングされた生成器モデル460を生成するために、GANモデルトレーニング430に提供される。解剖学的領域424および425のマッピングは、2つの画像間の類似性(例えば、SSSIM重みを用いた)を比較するために使用されるメトリックを提供する。
GANモデルトレーニング430の一部として、生成器モデル432は、解剖学的領域424と本物のCT画像および本物のCBCT画像のペア422(これは、図3Aでは302、304として描かれている)のマッピングに基づいてトレーニングされ、CNN内のセグメントペアを生成し、マッピングする。このようにして、生成器モデル432は、複数のパスを介して、入力マップに基づいて第1および第2の模擬のまたは合成のCT画像表現436を生成するようにトレーニングされる。第1のsCT画像表現436は、生成器モデル432の第1の入力インターフェースにおいて、1つまたはそれ以上の変形可能なオフセット層および1つまたはそれ以上の畳み込み層を入力トレーニング画像に適用することによって、生成器モデル432によって生成される。第2のsCT画像表現436は、生成器モデル432の第2の入力インターフェースにおいて、1つまたはそれ以上の畳み込み層を適用し、変形可能なオフセット層を適用せずに、生成器モデル432によって生成される。生成器モデル432のレストコンポーネント(rest component:残りのコンポーネント)(例えば、情報を処理し、第1の入力インターフェースおよび第2の入力インターフェースを通ってsCT画像表現を生成するために使用されるコンポーネント)のすべては、複数のパスによって共有され、これは、生成器が両方のパスの出力に基づいてトレーニングされることを意味する。識別器モデル440は、シミュレーション表現436がトレーニングデータ(例えば、本物のCT画像)からのものであるか、または生成器(例えば、生成結果434および検出結果444で生成器モデル432と識別器モデル440との間で通信されるsCT)からのものであるかを決定する。識別器モデル440は、第1のsCT画像表現436(例えば、変形可能なオフセット層を用いて生成されたもの)に基づいてのみ動作し、トレーニングされる。このようにして、生成器モデル432は、変形可能なオフセット層を含む第1のパスを通る、生成された画像の識別器を利用して学習され、変形可能なオフセット層を含む第1のパスを通る、生成された画像と変形可能なオフセット層を含まない第2のパスの両方に基づいて生成されたサイクル-コンシステンシー損失情報に基づいてさらにトレーニングされる。このトレーニングプロセスは、生成器モデル432および識別器モデル440を改善するための重み調整438,442のバックプロパゲーションされる結果となる。
このように、本実施例では、GANモデルトレーニング430のためのデータ準備は、CBCT画像とペアになっているCT画像(これらをトレーニングCBCT/CT画像と呼ぶことがある)を必要とする。一実施例では、オリジナルデータは、解剖学に由来する画像のペアを生成するために、共通の座標フレームに登録され、再サンプリングされてもよいCBCT画像セットと対応するCT画像のペアを含む。
詳細には、GANモデルにおいて、生成器(例えば、生成器モデル432)は、分布pZ(z)を有するノイズ入力から始まるデータx,p(x)上の分布を、生成器がマッピングG(z;θG):p(z)→p(x)を学習するように学習する。ここで、Gは、層の重みとバイアスパラメータθGを有するニューラルネットワークを表す微分可能な関数である。識別器D(x;θG)(例えば、識別器モデル440)は、生成器出力を2値スカラー{真(true),偽(false)}にマッピングし、生成器出力が実際の(actual:現実の)データ分布Pdata(x)からのものであれば真(true)と決定し、生成器分布p(x)からのものであれば偽(false)と決定する。つまり、D(x)は、xが、pdata(x)から来た確率ではなく、pG(x)から来た確率である。
図5は、本明細書で議論される例示的な技術に従って、合成のCT画像モデルを生成するためのGANでのトレーニングを示す。図5は、具体的には、入力CBCT画像540の結果として、シミュレートされた(例えば、推定された、人工的な)出力sCT画像580を生成するように設計されたGAN生成器モデルG560の動作フロー550を示している。図5は、また、入力(例えば、本物のCT画像510または生成されたsCT画像580)に基づいて決定値530(例えば、本物(real)か偽物(fake)か、真(true)か偽(false)か)を生成するように設計されたGAN識別器モデルD520の操作フロー500を示す。特に、識別器モデルD520は、識別器モデルD520が生成されたsCT画像580が本物(real)であるか偽物(fake)であるかを判定するかを示す出力を生成するようにトレーニングされる。
GANのコンテキストでは、識別器D520は、両方の分布からのサンプルに正しいラベルを割り当てる確率を最大化するようにトレーニングされ、一方、生成器G560は、トレーニング中に適用された調整されたトレーニング重量570に基づいて、log(1-D(G(z)))を最小化するようにトレーニングされる。D,Gは、次式のような値関数を持つ2人用のミニマックスゲームをプレイしているとみなすことができる。
学習の初期、Gのパフォーマンスが悪いときには、log(1-D(G(x)))項がV(D,G)を支配し、早期に不正確な終了を引き起こす。log(1-D(G(x))を最小化するようにGをトレーニングする代わりに、log(1-D(G(x))を最大化するようにトレーニングすることで、トレーニングの早い段階でより情報量の多い勾配を生成することができる。さらに、学習が進むにつれて、分布pG(x)は真のデータ分布pdata(x)に収束する。
GANの有用な拡張は、図6A乃至図6Dに関連して以下に説明するCycleGANである。図6Aは、本開示のいくつかの実施例による、複数のパス(1つまたはそれ以上の変形可能なオフセット層および1つまたはそれ以上の畳み込み層/ブロックを含む特定のパスと、1つまたはそれ以上の変形可能なオフセット層を含まない1つまたはそれ以上の畳み込み層/ブロックを含む他の特定のパス)を介して受信したCBCT画像からsCT画像を生成するためのCycleGAN600のトレーニングおよび使用を示す。CycleGAN600は、1つまたはそれ以上の変形可能なオフセット層660A、660Bと、1つまたはそれ以上の畳み込みブロック661A、661Bと、生成器モデルの第1のレスト部(first rest part:第1の残り部)610と、生成器モデルの第2のレスト部(second rest part:第2の残り部)620と、第1の識別器モデル630と、第2の識別器モデル640を含む。第1および第2の入力インターフェース(例えば、変形可能なオフセット層660Aおよび畳み込みブロック661A)を含む生成器モデルの第1のレスト部610は、第1の生成器モデル606であり、第1および第2の入力インターフェース(例えば、変形可能なオフセット層660Bおよび畳み込みブロック661B)を含む生成器モデルの第2のレスト部620は、第2の生成器モデル608である。これらの2つのモデル606および608は、それぞれ、生成器モデル432(図4)(例えば、回帰型DCNNモデルとして)であり、第1の識別器モデル630および第2の識別器モデル640は、それぞれ、識別器モデル440(例えば、分類型DCNNモデルとして)の実装である。CycleGAN600は、第1の部分650と第2の部分652の2つの部分に分割することができる。
生成器モデルの第1のレスト部610は、第1の生成器モデルへの2つの別々の入力インターフェースによって共有される第1の生成器モデルの部分を表す。すなわち、生成器モデルの第1のレスト部610の第1の入力インターフェースは、変形可能なオフセット層660Aおよび畳み込みブロック661Aを通るのパスを含み、生成器モデルの第1のレスト部610の第2の入力インターフェースは、変形可能なオフセット層660Aを含まずに畳み込みブロック661Aのみを通るのパスを含む。第1の生成器モデルがトレーニングされた後、変形可能なオフセット層660Aのない畳み込みブロック661Aを含む入力インターフェースのみが使用される。生成器モデルの第2のレスト部620は、第2の生成器モデルへの2つの別々の入力インターフェースによって共有される第2の生成器モデルの部分を表す。すなわち、生成器モデルの第2のレスト部620の第1の入力インターフェースは、変形可能なオフセット層660Bおよび畳み込みブロック661Bを通るのパスを含み、生成器モデルの第2のレスト部620の第2の入力インターフェースは、変形可能なオフセット層660Bを含まない畳み込みブロック661Bのみを通るのパスを含む。第2の生成器モデルがトレーニングされた後、変形可能なオフセット層660Bのない畳み込みブロック661Bを含む入力インターフェースのみが使用される。畳み込みブロック661A、661Bは、生成器モデルや識別器モデルのトレーニングと一緒にトレーニングしてもよいし、別個にトレーニングしてもよい。具体的には、畳み込みブロック661A、661Bは、その機能を実行するための正しい重み付けを得るためにトレーニングされる。
変形可能なオフセット層660A、660Bは、それぞれ、オフセットを調整し、再サンプルし、補間を行うようにトレーニングされる。変形可能なオフセット層660A、660Bは、生成器モデルおよび識別器モデルのトレーニングと一緒にトレーニングされてもよいし、別個にトレーニングされてもよい。具体的には、変形可能なオフセット層660A、660Bは、その機能を実行するための正しい重み付けを得るようにトレーニングされる。これらのオフセット層の効果は、上位の畳み込みブロックから元の規則的なサンプリンググリッドを変更し、座標オフセットを導入し、補間を使用して画像を再サンプリングすることである。このようにして、変形可能なオフセット層660A、660Bは、構造体の変形情報を取り込むことができる。変形可能なオフセット層660A、660Bのうちの1つの例示的な実施形態を、図6Bに関連して示して説明する。変形可能なオフセット層660A、660Bは、代替的に、または追加的に、空間変換器、他のタイプの畳み込み層、および/または、画像の変形された構造情報を格納することができる任意の他のモジュールを使用して実装される。変形可能なオフセット層660A、660Bにおけるオフセット層の数は、画像サイズ、ダウンサンプリングの畳み込み層の数(例えば、1つまたはそれ以上の畳み込みブロック661A、661Bにおける畳み込みブロックの数)などに基づいて変化し得る。
図6Bに示すように、変形可能なオフセット層660A/660Bの1つは、入力特徴マップと、畳み込みブロックと、オフセットフィールドと、出力特徴マップを含む。図6Bは、具体的には3x3の変形可能な畳み込みを示しているが、他のサイズの変形可能な畳み込みも同様に提供することができる。2D畳み込みは、2つのステップ:1)入力特徴マップx上の規則的なグリッドRを用いたサンプリングことと;2)wで重み付けされたサンプリングされた値を総和することにより構成されている。グリッドRは、受け入れるフィールドのサイズと拡張を定義する。例えば、R={(-1,-1),(-1,0),...,(0,1),(1,1)}は、拡張度(dilation)1の3x3カーネルを定義する。出力特徴マップy上の各位置p0に対して、次式のような表現が可能である。
変形可能な畳み込みでは、規則的グリッドRが、オフセット{Δpn|n=1,...,N}、ただし、N=|R|とする)で拡張される。このような場合には、上記の表現は、次式のようになる。
図6Bに示すように、オフセットは、同じ入力特徴マップ上で畳み込み層をトレーニングすることによって得られる。畳み込みカーネルは、現在の畳み込み層のものと同じ空間分解能と拡張性を有する。出力されるオフセットフィールドは、入力特徴マップと同じ空間分解能を有する。チャネルディメンション2Nは、x方向とy方向それぞれにN個の2次元オフセットマップ(例えば、N+N=2N)(x方向にN個、y方向にN個)に対応している。トレーニング時には、出力特徴を生成するための畳み込みカーネルとオフセットの両方が同時に学習される。オフセットを学習するために、勾配を上式の双線形演算でバックプロパゲーションする。あるケースでは、図6Bの畳み込みカーネルは、畳み込みブロック661で実装または共有される。
図6Aに戻り、一実施例では、第1の部分650において、生成器モデルの第1のレスト部610は、第1のパスおよび第2のパスを介してCBCTトレーニング画像602(これは、画像対422の1つを含んでもよい)を受け取り、生成結果612および生成結果614として、それぞれの第1のsCT画像および第2のsCT画像を生成するようにトレーニングされる。具体的には、CBCTトレーニング画像602は、1つまたはそれ以上の変形可能なオフセット層660Aおよび1つまたはそれ以上の畳み込みブロック661Aによって第1のパスで処理され、生成結果612として第1のsCT画像を生成する。CBCTトレーニング画像602は、変形可能なオフセット層660Aによって処理されることなく、畳み込みブロック661Aによって第2のパスで処理されて、生成結果614として第2のsCT画像を生成する。変形可能なオフセット層660Aと畳み込みブロック661Aを備える第1の入力インターフェースを含み、第1のパスを介して第1の生成結果612を生成する第1の生成モデル610を、Goffset cbct2ctと呼び、畳み込みブロック661Aを備え、変形可能なオフセット層660Aを備えない第2の入力インターフェースを含み、第2のパスを介して第2の生成結果614を生成する第1の生成モデル610を、Gcbct2ctと呼ぶことにする。生成器Gcbct2ctは、生成器Goffset cbct2ctとすべてのネットワーク層および重みを共有し、それは生成器Goffset cbct2ctの一部であるが、それらのすべてのオフセット層660Aを備えていない。
第1のパスにおいて、CBCTトレーニング画像602は、変形可能なオフセット層660Aにおける第1の変形可能なオフセット層によって処理され、第1の変形可能なオフセット層の出力は、1つまたはそれ以上の畳み込みブロック661Aにおける第1の畳み込みブロックに提供される。そして、第1の畳み込みブロックの出力は、変形可能なオフセット層660Aにおける第2の変形可能なオフセット層によって処理されるように提供される。そして、第2の変形可能オフセット層の出力は、他の畳み込みブロック(存在する場合)に提供されるか、または生成器モデルの第1のレスト部610に直接提供される。特に、変形可能なオフセット層660Aは、畳み込みブロック661Aとインターリーブ(interleave)することができる。
第1のパスと並行して、CBCTトレーニング画像602は、変形可能なオフセット層660Aを通過することなく、1つまたはそれ以上の畳み込みブロック661Aのみによって第2のパスで処理される。CBCTトレーニング画像602が通過する畳み込みブロック661Aは、第1のパスと第2のパスで共有される。具体的には、CBCTトレーニング画像602は、第2のパスにおいて、1つまたはそれ以上の畳み込みブロック661Aの第1の畳み込みブロックおよび別の畳み込みブロック(存在する場合)を通過する。そして、第1の畳み込みブロックの出力は、生成器モデルの第1のレスト部610に提供される。生成器モデルの第1のレスト部610は、第1のパスと第2のパスで出力された画像を並列または逐次的に処理する。
第1の生成結果612は、第2の生成結果614ではなく、第1の識別器モデル630に提供される。第1の識別器モデル630は、sCT画像を本物のCTトレーニング画像または模擬のCTトレーニング画像として分類し、その分類を検出結果632として提供する。第1の生成結果612および検出結果632は、第1の生成器モデル606と第1の識別器モデル630にフィードバックされ、それらの変形可能なオフセット層660Aとそれらの畳み込み層661Aを含む第1の生成器モデル606と、第1の識別器モデル630とにより実装される重みを調整する。例えば、第1の生成結果612(例えば、第1のパスを介して第1の生成器モデル610により生成されたsCT画像)と検出結果632が用いられて、敵対的損失を算出する。
図6Cは、第1の部分650の第1のパスおよび第2のパスの例示的な実装例を示す。図示するように、本物のCBCT画像602が受取られ、第1のパスにおける複数の変形可能なオフセット層660Aに提供される。CBCT画像602は、畳み込みブロック661Aの畳み込みブロックとインターリーブされた状態で、変形可能なオフセット層660Aを通過する。4つの変形可能なオフセット層660Aが示されているが、より多くの、またはより少ない変形可能なオフセット層を利用してもよい。CBCT画像602は、第1のパスと並行して、変形可能なオフセット層660Aを通過することなく、畳み込みブロック661Aのみを通過する第2のパスを経由する。第1のパスおよび第2のパスの両方の画像出力は、(例えば、生成器モデルの第1のレスト部610の機能を実装する並列プロセスを実行することによって)並列に処理されるため、共有された生成器モデルの第1のレスト部610に提供され、第1の生成結果612および第2の生成結果614として、対応するsCT画像を出力する。具体的には、第1の生成結果612は、オフセット層を用いて生成されたsCT画像であり、第2の生成結果614は、オフセット層を用いずに生成されたsCT画像である。オフセット層で生成されたsCT画像を含む第1の生成結果612は、CTドメイン用の第1の識別器モデル630に提供される一方、第2の生成結果614は、第1の識別器モデル630に提供されない。
図6Aに戻り、第1の生成結果612(例えば、sCT画像)は、第2の生成結果614とともに、それぞれ第3のパスおよび第4のパスを介して、第2の生成器モデル608に同時に提供される。第2の生成器モデル608は、第1の生成結果612を受け取り、出力としてそれぞれの模擬のCBCT画像を生成する。シミュレーションされた模擬のCBCT画像は、サイクルCBCT画像622と呼ばれ、サイクル損失を計算するために使用され、第1の生成器モデル/第2の生成器モデル606/608の重みを調整する。なお、第3のパスを介して第1のサイクルCBCT画像622を生成する第2の生成器モデル608をGoffset cbct2ctと示し、第4のパスを介して第2のサイクルCBCT画像622を生成する第2の生成器モデル608をGcbct2ctと示すこととする。生成器Gct2cbctは、生成器Goffset ct2cbctとすべてのネットワーク層と重みを共有しており、生成器Goffset ct2cbctの一部であるが、それらすべてのオフセット層を有さない。
具体的には、第1の生成結果612は、第3のパスにおいて、1つまたはそれ以上の変形可能なオフセット層660Bおよび1つまたはそれ以上の畳み込みブロック661Bによって処理され、第1のサイクルCBCT画像622としての第1の模擬のCBCT画像を生成する。第2の生成結果614は、変形可能なオフセット層660Bによって処理されることなく、畳み込みブロック661Bによって第4のパスで処理され、第2の模擬のCBCT画像を第2のサイクルCBCT画像622として生成する。
第3のパスでは、第1の生成結果612は、変形可能なオフセット層660Bにおける第1の変形可能なオフセット層によって処理され、第1の変形可能なオフセット層の出力は、1つまたはそれ以上の畳み込みブロック661Bにおける第1の畳み込みブロックに提供される。次に、第1の畳み込みブロックの出力は、変形可能なオフセット層660Bの第2の変形可能なオフセット層によって処理されるために提供される。次に、第2の変形可能オフセット層の出力は、別の畳み込みブロック(存在する場合)に提供されるか、または生成器モデルの第2のレスト部620に直接提供される。第3のパスと並行して、第2の生成結果614は、変形可能なオフセット層660Bを通過せずに、1つまたはそれ以上の畳み込みブロック661のみによって第4のパスで処理される。第2の生成結果614が通過する畳み込みブロック661Bは、第3のパスと第4のパスで共有することができる。具体的には、第2の生成結果614は、1つまたはそれ以上の畳み込みブロック661Bの第1の畳み込みブロックと、別の畳み込みブロック(存在する場合)とを第4のパスで通過する。次に、第1の畳み込みブロックの出力は、生成器モデルの第2のレスト部620に提供される。生成器モデルの第2のレスト部620は、第3のパスと第4のパスが出力した画像を並列にまたは逐次的に処理する。
(第1のパスと第2のパスを含む順方向と、第3のパスと第4のパスを含む逆方向で)第1の部分650にオフセット層が追加されたことで、「敵対的」な損失項に起因する、望ましくない構造の変形を学習し、幻覚のような構造を生成する可能性があるという効果は、「周期的持続性」な損失項に起因する、オリジナルの構造を保存するという効果から切り離される。すなわち、第1の部分650の第1のパスおよび第3のパスにおける追加の変形可能なオフセット層660A、660Bは、CBCT画像領域とCT画像領域との間のそれらの形状分布の差または他の特徴分布の差を吸収または取り込む。一方、第2のパスと第4のパスは、すべての真の解剖学的構造を完全に保存するように制限されている。このように、第1のパスで生成されたsCT画像は、平面CT画像と同様の外観を持つが、変形した構造やその他の幻の構造を含む可能性があり、一方、第2のパスで生成されたsCT画像は、オフセット層がないため、他の変形した構造を含まず、元の真のCBCT解剖学的構造を厳密に保持する。また、第1のパス、第2のパス、第3のパス、第4のパスは、変形可能なオフセット層660A、660Bを除く全ての処理層を共有しているため、第2のパスで生成されるsCT画像は、正確なCT番号を持つ同様のプランCT画像(plan-CT image)の外観を有している。
図6Dは、第1の部分650の第3のパスおよび第4のパスの例示的な実施例を示す。図示されているように、(第1の生成結果612の)オフセット層で生成されたsCT画像は受け取られ、第3のパスで複数の変形可能なオフセット層660Bに提供される。(第1の生成結果612の)オフセット層で生成されたsCT画像は、変形可能なオフセット層660Bを、畳み込みブロック661Bで畳み込みブロックとインターリーブされた状態で通過する。4つの変形可能なオフセット層660Bのみが示されているが、より多く、またはより少ない変形可能なオフセット層を利用してもよい。第3のパスと並行して(第2の生成結果614の)オフセット層なしで生成されたsCT画像は、変形可能なオフセット層660Bを通過することなく、畳み込みブロック661Bのみを通過する第4のパスを経由する。第3のパスおよび第4のパスの両方の画像出力は、(例えば、生成器モデルの第2のレスト部620の機能を実装する並列プロセスを実行することにより)並列に処理されるために、共有された生成器モデルの第2のレスト部620に提供され、対応するサイクルCBCT画像628、629を出力する。具体的には、サイクルCBCT画像628はオフセット層を用いて作成され、サイクルCBCT画像629はオフセット層を用いずに作成される。オフセット層を用いて生成されたサイクルCBCT画像628は、CBCT領域の第2の識別器モデル640に提供され、サイクルCBCT画像629は、第2の識別器モデル640に提供されない。
図6Aに戻り、一実施例では、第2の部分652において、第2の生成器モデル608は、第5のパスおよび第6のパスを介して、(画像ペア422の1つを含む)本物のCTトレーニング画像604を受信し、第1の生成結果626および第2の生成結果627としてそれぞれの第1のsCBCT画像および第2のsCBCT画像(合成のまたは模擬のCBCT画像)を生成するようにトレーニングされる。具体的には、本物のCTトレーニング画像604は、1つまたはそれ以上の変形可能なオフセット層660Bおよび1つまたはそれ以上の畳み込みブロック661Bによって第5のパスで処理され、第1の生成結果626としての第1のsCBCT画像を生成する。本物のCTトレーニング画像604は、変形可能なオフセット層660Bによって処理されることなく、畳み込みブロック661Bによって第6のパスで処理され、第2の生成結果627として第2のsCBCT画像を生成する。第5のパスを介して畳み込みブロック661Bと変形可能なオフセット層660Bを含む第1の入力インターフェースを使用して第1の生成結果626を生成する第2の生成器モデル608は、第1の部分650で使用されたものと同じ生成器Goffset ct2cbctであり、第6のパスを介して変形可能なオフセット層660Bを含まない畳み込みブロック661Bを含む第2の入力インターフェースを使用して第2の生成結果627を生成する第2の生成器モデル608は、第1の部分650で使用されたものと同じ生成器Gct2cbctである。
第5のパスにおいて、本物のCTトレーニング画像604は、変形可能なオフセット層660Bにおける第1の変形可能なオフセット層によって処理され、第1の変形可能なオフセット層の出力は、1つまたはそれ以上の畳み込みブロック661Bにおける第1の畳み込みブロックに提供される。次に、第1の畳み込みブロックの出力は、変形可能なオフセット層660Bの第2の変形可能なオフセット層によって処理されるように提供される。次に、第2の変形可能オフセット層の出力は、別の畳み込みブロック(存在する場合)に提供されるか、または生成器モデルの第2のレスト部620に直接提供される。特に、変形可能なオフセット層660は、畳み込みブロック661Bとインターリーブされることができる。
なお、第5のパスと並行して、本物のCTトレーニング画像604は、第6のパスにおいて、変形可能なオフセット層660Bを通過することなく、1つまたはそれ以上の畳み込みブロック661Bのみによって処理される。本物のCTトレーニング画像604が通過する畳み込みブロック661Bは、第5のパスと第6のパスで共有することができる。具体的には、本物のCTトレーニング画像604は、第6のパスにおいて、1つまたはそれ以上の畳み込みブロック661Bの第1畳み込みブロックと、別の畳み込みブロック(存在する場合)とを通過する。次に、第1の畳み込みブロックの出力は、生成器モデルの第2のレスト部620に提供される。生成器モデルの第2のレスト部620は、第5のパスおよび第6のパスが出力する画像を並列にまたは順次に処理する。
第2の生成結果627ではなく、第1の生成結果626は、第2の識別器モデル640に提供される。第2の識別器モデル640は、sCBCT画像を、本物のCBCTトレーニング画像または模擬のCBCTトレーニング画像として分類し、その分類を検出結果642として提供する。第1の生成結果626および検出結果642は、第2の生成器モデル608および第2の識別器モデル640にフィードバックされ、第2の生成器モデル608および第2の識別器モデル640が実装する重みを調整する。例えば、第1の生成結果626(例えば、第2の生成器モデル620によって生成されたsCBCT画像)および検出結果642は、敵対的損失を計算するために使用される。
また、第1の生成結果626(例えば、sCBCT画像)は、第2の生成結果627とともに、それぞれ第7のパスおよび第8のパスを介して、第1の生成器モデル606に同時に提供される。第1の生成器モデル606は、第1の生成結果626を受け取り、出力としてそれぞれのサイクルCT画像624を生成する。サイクルCT画像624は、周期損失を計算するために使用され、第1の生成器モデル/第2生成器モデル606/608の重みを調整する。第7のパスを介してサイクルCT画像を生成する第1の生成器モデル606は、第1の部分650で使用されたものと同じ生成器Goffset ct2cbctであり、第8のパスを介してサイクルCT画像を生成する第1の生成器モデル608は、第1の部分650で使用されたものと同じ生成器Gct2cbctである。
いくつかの実施例では、「敵対的損失」は、第1の識別器モデル630および第2の識別器モデル640の分類損失を計算することができる。第1の識別器モデル630及び第2の識別器モデル640は、合成の画像が本物の画像と類似した分布を有するか否かを分類することができる。サイクル整合性損失については、本物のCBCT画像とサイクルCBCT画像の各ペア間、本物のCT画像とサイクルCT画像の各ペア間で、それぞれ損失を算出する。例えば、CBCTトレーニング画像602とサイクルCBCT画像622との間で第1の損失が計算することができ、本物のトレーニングCT画像604とサイクルCT画像624との間で第2の損失が計算することができる。サイクルCBCT画像622及びサイクルCT画像624は、いずれも前進及び後退のサイクルを行って得ることができる。本物のCBCT画像602とサイクルCBCT画像622の各ペアは、同一のCBCT画像領域内にあってもよく、本物のCT画像604とサイクルCT画像624の各ペアは、同一のCT画像領域内にあってもよい。CycleGAN600は、それに応じて、真のまたは実のCBCTトレーニング画像602の全体のプール(または複数のプール)と、実のトレーニングCT画像604の全体のプール(または複数のプール)に依存して、変形可能なオフセット層660Aが適用された(例えば、結果612)合成のCT画像(sCT画像)および変形可能なオフセット層が適用されていない(例えば、結果614)合成のCT画像(sCT画像)と、変形可能なオフセット層660Bが適用された(例えば、結果626)合成のCBCT画像(sCT画像)および変形可能なオフセット層が適用されていない(例えば、結果617)合成のCBCT画像(sCT画像)と、サイクルCBCT画像622と、サイクルCT画像624とを生成することができる。「敵対的損失」および「サイクル整合損失」に基づいて、CycleGAN600は、本物のCT画像と同様の画像解像度を有するシャープな合成のCT画像を生成することができる。これは、与えられたCBCT画像の画質を向上させるための以前のアプローチの1つに対する、少なくとも1つの技術的な改善である。
いくつかの実施例では、プロセッサ(例えば、システム100の)は、本物のCTトレーニング画像をトレーニングCBCT画像に登録するために画像登録を適用することができる。これにより、トレーニングデータ中のCBCT画像とCT画像との間に1対1の対応関係が形成される可能性がある。この関係は、ペアされた、または、CBCT画像とCT画像のペアと呼ばれる。一実施例では、CycleGAN600は、対応するCBCT画像と全く同じ解剖学的構造または実質的に同じ構造を保持し、かつ、ピクセル値の精度を含む本物のCT画像と同様の高い画像品質を有する1つまたはそれ以上のsCT画像を生成することができる。いくつかの実施形態では、これらの解剖学的構造は、2つの画像間の類似性を表すメトリックを提供する解剖学的領域424(図4)のマッピングから決定することができる。一実施例では、CBCT画像に対応するsCT画像のピクセル値精度を保持するために(例えば、CBCT画像が本物のCT画像として現れるために)、CycleGAN600に追加の制約条件を加えてもよい。これらの制約条件は、sCT画像と本物のCT画像との間、及びsCBCT画像と本物のCBCT画像との間の画素値損失を表す画素値損失を追加することを含むことができる。このような制約条件は、制約条件426(図4)の一部であってもよい。sCT画像と対応するCT画像とを直接リンクさせるこれらの制約条件は、次式の画素値損失項(画素ベース損失項:pixel based loss term)で表することができる。
sCBCT画像と対応するCBCT画像とを直接リンクさせるための制約条件として、別の画素値損失項が追加されてもよいが、これは次式の画素値損失項で表される。
これら2つの画素値損失項(L1ノルム項)は、sCT画像を、対応する本物のCT画像と比較し、sCBCT画像を、対応する本物のCBCT画像と比較する。この2つのL1ノルム項を最小化または低減することにより、合成の画像は、対象となる本物の/真実の(true/real)画像と画素値が一致する可能性が高くなる。より具体的には、例えば、sCT-CTのL1ノルム項を最小化または低減することにより、生成されたsCT画像は、強制的に、または対応するCT画像とのピクセルレベルの精度および類似性を有することを余儀なくされるか、または、有することを余儀なくされる可能性が高くなる。医用画像における画素の絶対値は、何らかの特定の物理的な測定値または量を表すことができるので、従来のシステムに比べて技術的な改善をもたらす可能性がある。例えば、CTの画素値には電子密度に関する情報が含まれており、放射線量の計算に有用である。別の実施例として、放射線治療システム100は、被検体の標的領域に向けて放射線治療または放射線をより正確に指示することができる。
別の実施例では、重みのようなメトリックが、(例えば、ペアリングされた画像が完全に整列していない状況を考慮するために)ピクセルベースの損失項に追加されてもよい。そのようなメトリックは、制約条件426から取得することができる。メトリックは、所定の割り当てられた重み、普遍的な品質指標(UQI)、局所的な相互相関、または2つの画像間の類似性または他の関係を測定する他の任意の技術を使用して生成することができる。本開示の目的のために、2つの画像間の関係を測定するために使用されるメトリックはSSIM重みであるが、他の任意のメトリックを使用することができる。例えば、SSIM重み付きL1ノルムアプローチは、ペアのCBCT-CT画像の不完全なマッチングを補正するために使用することができる。特に、sCT-CTのL1ノルム項を最小化または減少させることにより、CycleGAN600は、sCT画像が対象とする本物のCT画像とピクセル値が一致するという制約を強制することができる。ペアになったCBCT-CT画像のすべて、または実質的にすべてが完全に整列している場合、対象となる本物のCT画像は、CBCT画像と同じ解剖学的構造を有している可能性がある。このような状況では、生成されたsCT画像は、また、CBCT画像における同じ解剖学的構造を保存することができる。いくつかの実施例では、ペアされたCBCT画像とCT画像が完全に整列していないことがある(例えば、患者の解剖学的構造(特に、いくつかの臓器または軟部組織)が、CBCT画像と対応する本物のCT画像を撮影する間に変化しているため)。これらの場合、sCT-CTおよび/またはsCBCT-CBCTのL1損失項を最小化または減少させることは、(例えば、生成された合成のCT画像が、それらのずれた領域の対応するCT画像と一致するように強制することによって)トレーニングされた生成器および識別器モデルに、生成された画像に何らかの歪みを生じさせる誤差を導入させる可能性がある。潜在的な歪み効果を除去/抑制/低減する1つの方法は、sCT-CTおよびsCBCT-CBCTの画素ベースの損失項に対して、次式のような、SSIM重みを追加することである。
いくつかの実施形態では、重み(SSIM(x,y))は、ペアになったCBCT画像およびCT画像と同じサイズまたは実質的に同じサイズを有するマップ(例えば、解剖学的領域424)であってもよい。SSIM(x,y)の各画素値は、同じ画素位置にある元のCBCTと対応する本物のCT画像のペア間の類似度を表することができる。SSSIMの画素値の範囲は、0から1の範囲とすることができる(他の範囲であってもよい)。値1は、CBCTと、対応する本物のCT画像が画像位置で良好に整列していることを示す完全な構造類似度を表し、値0は、構造類似度が最も低いことを表すことができる。例えば、CBCT画像および本物のCT画像の各ペアに対して(例えば、記憶装置116に記憶されているCBCT画像および本物のCT画像の各ペアに対して)、SSIMマップ/画像を(例えば、システム100のプロセッサにより)計算することができる。SSIMマップは、所定のペアのトレーニング画像を形成する際に、または、トレーニング画像のしきい値番号が得られて記憶された後に、計算システム110によって計算することができる。計算システム110は、画像モデリングを使用して、CBCT画像と本物のCT画像のペアが整列している確率をピクセルごとに決定し、その確率を格納するか、または決定された確率でそのピクセルのSSIM値を更新することができる。いくつかの実施形態では、この確率値は、人間のオペレータによって入力されてもよいし、医師によってガイドすることができる。SSSIM重み付けsCT-CTピクセルベースの損失項は、CBCTと本物のCTの間のピクセルの組が強い類似性を有する高いSSSIM値(1に近い)を有する場合、SSSIM重み付けL1ノルム項を最小化することによって、CycleGAN600が、sCT画像が(例えば、CBCT画像とCT画像との間の類似性重みが大きいために)対象とするCT画像と一致することを意味する。一方、CBCTと本物のCTとの間のペアの画素が低いSSSIM値(0に近い)である場合、SSIM重み付けされたL1ノルム項を最小化または減少させることにより、CycleGAN600は、(例えば、重みが既に小さい(0に近い)ため)合成のCT画像が標的CTと一致することを回避することができる。特に、マップの重みがCT/CBCT画像のペアの間の類似度が低レベルであることを示す場合には、所定の画素位置において画素値損失項が最小化されるか、または低減される可能性が低減される。これにより、画素位置での2枚の画像の差分sCTへの影響を低減させることができる。また、マップの重みがペアのCT画像及びCBCT画像間の類似度が高いことを示している場合には、所定の画素位置において画素値損失項が最小化または減少する可能性が高くなる。これにより、画素位置における2枚の画像間の差分のSCTへの影響が大きくなる。SSSIM重みは、ピクセル単位で対象となる本物のCT画像と一致するように、sCT画像に異なるレベルの強度を強制するメカニズムを提供する。
[0119]
同様に、SSIM重み付けsCBCT-CBCTピクセルベースの損失項は、CBCTと本物のCTの間のピクセルの組が強い類似性を有する高いSSSIM値(1に近い)を有する場合、SSSIM重み付けL1ノルム項を最小化することにより、CycleGAN600は、(例えば、CBCT画像とCT画像の間の類似性重みが大きいため)sCBCT画像が標的CBCT画像と一致することを引き起こし得ることを意味する。一方、CBCTと本物のCTとの間の一対の画素が低いSSSIM値(0に近い)を有する場合、SSIM重み付けされたL1ノルム項を最小化または減少させることにより、CycleGAN600は、(例えば、重みが既に小さい(0に近い)ため)合成のCBCT画像が標的CBCTと一致することを回避することができる。特に、マップの重みがCT/CBCT画像の対の間の類似度の低レベルを示す場合に、所定の画素位置において画素値損失項が最小化されるか、または低減される可能性が低減される。これにより、画素位置における2つの画像間の差分のsCBCTへの影響を低減することができる。また、マップの重みがペアのCT画像及びCBCT画像間の類似度が高いことを示している場合には、所定の画素位置において画素値損失項が最小化または減少する可能性が高くなる。これにより、画素位置での2つの画像間の差のsCBCTへの影響が大きくなる。SSIM重みは、ピクセル単位のレベルで標的とされた本物のCBCT画像と一致するように、sCBCT画像に異なるレベルの強度を強制するメカニズムを提供する。
別の実施例では、閾値付きSSIM加重L1ノルムアプローチを用いることができる。この閾値は、制約条件426(図4)から取得することができる。特に、ペアのCBCT画像及び本物のCT画像の間の類似度の高い領域を選択し、類似度の低い領域を無視するために、SSSIMの重みに閾値を置くことができる。例えば、SSIM(x,y)の重み値が閾値α(ハイパーパラメータ)未満である場合、それらの重みは全てゼロに設定されてもよい(例えば、重みは無視されてもよく、それによって損失項が減少または最小化される可能性が減少する)。このような領域については、重みがゼロであるため、sCTはCT画像と強制的に一致させることができない(2枚の画像間の差の情報が得られない場合がある)。このように、重み=0なので、差分=0を乗算すると、その画素での2つの画像の差は影響を受けないことになる。その代わりに、プロセスは、それらの画素領域を回復するために、敵対的損失とサイクル整合性損失に依存している。重み値が閾値α(ハイパーパラメータ)以上である場合、重みは、画素ベースの損失値について上述したのと同様の効果を有する。この閾値付きSSIM重み付けL1ノルムは、次式のように表すことができる。
変形可能なオフセット層を有するパス(例えば、第1のパスおよび第3のパス)によって生成されたsCT画像には、変形した構造または潜在的な他の人工的構造が含まれる可能性があるので、SSIM加重L1ノルムは、CBCT画像内のすべての元の解剖学的構造を厳密に保存する変形可能なオフセット層を含まないパス(例えば、第2のパスおよび第4のパス)における生成器によって生成されたsCT画像のみに配置される。このように、閾値付きSSIM加重L1 sCT-CTピクセルベースの損失項(Thresholded SSIM-weighted L1 sCT-CT pixel based loss term)は、次式のように表すことができる。
閾値付きSSIM加重L1 sCBCT-CBCT項(Thresholded SSIM-weighted L1 sCBCT-CBCT term)は、次式のように表現できる。
ハイパーパラメータαの範囲は、0から1の間で設定することができる。いくつかの実施例では、ハイパーパラメータαの値を0.5または0.6に設定する。追加の閾値付きSSIM加重L1ノルム項(Thresholded SSIM weighted L1-norm term)は、オフセット層のない生成器(例えば、第2のパスと第4のパスの生成器)にのみ配置され、次式のように表される。
いくつかの実施形態では、CycleGAN600は、敵対的損失項、サイクル整合性損失項、およびピクセルベース損失項(L1ノルム項)を含む目的関数に従ってsCT画像を生成するように実装することができる。画素ベースの損失項は、重み付け(例えば、SSSIM重み付け)および/または閾値重み付けすることができる。敵対損失は、第1の生成器モデル610/第2の生成器モデル620および第1の識別器モデル630/第2の識別器モデル640を用いて決定され、次式のように表すことができる。
いくつかの実施形態では、2つの画像間(sCTと対応するCT画像との間)の構造の類似性を評価するために、シングルスケールのSSIMメトリクスが採用される。このような場合、開示された実施形態は、シングルスケールバージョンのSSIMメトリクスを使用する代わりに、マルチスケールバージョンのSSIMメトリクス(MS-SSIM)を採用して、2つの画像間の構造の類似性を評価することもできる。マルチスケールバージョンのSSIMメトリクスでは、ローパスフィルターとダウンサンプリングを使用して、異なる解像度またはビューレベルで複数のSSIMを取得する。
サイクル-コンシスタンス損失は、第1のパス、第2のパス、第3のパス、第4のパス、第5のパス、第6のパス、第7のパス、第8のパスにおいて、生成器Goffset cbct2ctと、生成器Goffset cbct2ctに適用される。このようなサイクル-コンシスタンス損失項は、画像622、624を用いて決定され、次式のように表される。
開示された実施形態は、生成器Goffset cbct2ctと、Goffset ctcb2ct(例えば、第1のパス、第3のパス、第5のパス、第7のパスの生成器)にのみ「敵対的(adversarial)」損失を適用し、すべての生成器(例えば、Goffset cbct2ct、Goffset ct2cbct、Gcbct2ct、Gct2cbct、)に「サイクル-コンシステンス」損失を適用する。「サイクル-コンシステンス」損失項を最小化する効果は、オリジナルの構造を維持し、不必要な構造の変形を避けることであり、「敵対的」損失項を最小化する効果は、あるドメインから相手のドメインへのマッピングまたは分布変換を学習することである。従来のシングル生成器のアプローチとは異なり、各方向に2つの異なる生成器(例えば、第1のパスおよび第2のパスのそれぞれに1つずつの2つの生成器と、第3のパスおよび第4のパスのそれぞれに1つずつの2つの生成器)が提供される。一方の生成器は、(第1のパスにおけるGoffset cbct2ctのような)オフセット層を備え、一方の生成器は、(第2のフローおけるGcbct2ctのような)オフセット層を備えていない。さらに、生成器は、ウェイトやその他のモジュールを他のすべてのレイヤー(オフセット層を除く)と共有している。これらの2つの損失項を別個の生成器で組み合わせることにより、損失項は切り離され、お互いに競合することはない。すなわち、「サイクル-コンシステンス」損失項を最小化することにより、第2のパスにおけるオフセット層のない生成器Gcbct2ctによって生成されるsCT画像は、オリジナルのCBCT画像に存在するすべての真の解剖学的構造を保持する。一方、「敵対的」な損失が、生成器Goffset cbct2ctに置かれているので、オフセット層は、すべての不要な形状変形や潜在的に生成される幻覚構造に対応するようにトレーニングされ、他のすべての層は、形状変形や他の潜在的な幻覚構造を導入しない。その代わり、生成器Gcbct2ctは、真のオリジナルの解剖学的構造を有するsCT画像を生成する。これは、他のすべての層は、生成器Goffset cbct2ctにより、生成器Gcbct2ctと共有されるため、それらは同時期に「サイクル-コンシスタンス」損失項により支配されるからである。このアプローチに基づき、開示された技術は、「敵対的(adversarial)」損失項および「周期的持続性」損失項によって引き起こされる2つの異なる効果をうまく切り離すことができる。したがって、CT画像の形状分布やその他の特徴分布が元のCBCT画像のものと大きく異なる場合でも、生成器Gcbct2ctによって生成されたsCT画像は、元のCBCT画像に存在する真のオリジナルの解剖学的構造を維持することができる。
したがって、トータルの目的関数は、次式のように表される。
CycleGAN600は、第1の生成器および第2の生成器610/620を、次式によりトレーニングする。
いくつかの実装では、CycleGAN600を用いてトレーニングされた後、変形可能なオフセット層660Aを含まず、畳み込みブロック661Aを有する入力インターフェースを含む第1の生成モデル606が、取得されたCBCT画像からsCT画像を生成するためにシステム100で使用される。CycleGAN600の他の構成要素は、システム100から除外することができる。
前述の実施例は、GANまたはCycleGANが、CT画像およびCBCTの画像のペアに基づいて、具体的には、複数の並列または逐次のパスの2D画像スライスにおける画像データから、いかにトレーニングされるかの実施例を提供する。GANまたはCycleGANは、他の形式の画像データ(例えば、3D、または他の多次元画像)を処理してもよいことが理解されるであろう。さらに、添付の図面では(白および黒を含む)グレースケール画像のみが描かれているが、以下の実施例で説明するように、カラー画像をGANで生成および/または処理してもよいことが理解されるであろう。
図7は、トレーニングおよびsCT画像モデルの生成に関連して使用されるCBCTおよび本物のCT入力画像のペアを示す。図7において、画像702は、本物のCT画像704とペアになっている入力CBCT画像を示す。画像706は、画像類似度メトリック(例えば、SSSIM重み)を提供するために解剖学的領域424のマップとして使用される画像を表し、画像708は、閾値付き類似度メトリック(例えば、閾値付きSSIM重み)を提供するために解剖学的領域424のマップとして使用される画像を表す。CycleGANの生成器がトレーニングされた後、新しいCBCT画像712を受け取ることができる。従来のCycleGANは、新しいCBCT画像712を処理して、sCT画像714を出力する。登録されたCT画像716と比較して、従来の生成されたsCT画像714は、画像714、716でボックス化された領域に示される構造に大きなミスマッチを含んでいる。CycleGANの出力するsCT画像の品質を向上させるために、開示された技術に従って複数のパス(例えば、第1のパス、第2のパス、第3のパス、第4のパス、第5のパス、第6のパス、第7のパス、第8のパス)を介してトレーニングされたCycleGANまたはGANモデルは、従来の生成されたsCT画像714によって誤って表現されていたCBCT画像712の微細構造を正しく保存する改良されたsCT画像718を生成する。
図8は、複数の並列または逐次のパスを介して、入力CBCT画像からsCT画像を出力するために適合された生成モデルをトレーニングするための例示的なオペレーションのプロセス800のフローチャートを示す。プロセス800は、先行する実施例で議論されたようなGANまたはCycleGANを使用して生成モデルをトレーニングして利用する放射線治療システム100の観点から図示されている。しかしながら、対応するオペレーションは、(特定の画像処理ワークフローまたは医療処置とは別のオフラインのトレーニングまたは検証設定におけるものを含む)他の装置またはシステムによって実行されてもよい。
図示されているように、フローチャートのワークフローの第1のフェーズは、トレーニングおよびモデルオペレーションのパラメータを確立するためのオペレーション(810、820)から始まる。プロセス800は、トレーニング画像データを受信(例えば、取得、抽出、識別)するためのオペレーション(オペレーション810)と、トレーニングのための制約または条件を設定するためのオペレーション(オペレーション820)から始まる。一実施例では、このトレーニング画像データは、特定の状態、解剖学的特徴、または解剖学的領域に関連する、複数の人間の被検体らの画像データから構成されてもよく、例えば、標的領域のCBCT画像および本物のCT画像のペアのようなものである。また、一実施例では、制約条件は、撮像装置、治療装置、患者、または医学的治療の考慮事項に関連している。一実施例では、これらの制約条件は、敵対的損失、サイクル整合性に基づく損失、およびピクセルに基づく値の損失項(すなわち、重み付けされたおよび/または閾値付けされた重み付けされたピクセルに基づく損失項)を含むことができる。
プロセス800の第2フェーズは、生成的逆問題ネットワークにおける生成モデルおよび識別モデルの敵対的(adversarial)トレーニングを含む、トレーニングオペレーションを継続する(オペレーション830)。一実施例では、敵対的トレーニングは、生成モデル(generative model)をトレーニングして、第1のパスおよび第2のパス(例えば、変形可能なオフセット層および畳み込みブロックを含む入力インターフェースを含む第1のパスと、第1のパスの同じ畳み込みブロックを含むが、それらのオフセット層を含まない入力インターフェースを含む第2のパスと)を介して入力CBCT画像を処理することにより、第1の模擬のCT画像および第2の模擬のCT画像を生成する。第1のパスを介して生成された第1の模擬のCT画像を識別モデル(discriminative model)に提供して、生成された模擬のCT画像を模擬のデータまたは本物のトレーニングデータとして分類するように識別モデルをトレーニングする(オペレーション844)。また、この敵対的トレーニングでは、生成モデルの出力が識別モデルのトレーニングに使用され、識別モデルの出力が生成モデルのトレーニングに使用される。第1の模擬のCT画像および第2の模擬のCT画像は、それぞれ第3のパスおよび第4のパスを介して第2の生成モデルに渡される。第3のパスは、変形可能なオフセット層と畳み込みブロックを含む入力インターフェースを含み、第4のパスは、第3のパスと同じ畳み込みブロックを含むが、それらのオフセット層を含まない。第3のパスと第4のパスは、第2の生成モデルの共有のレスト部を通過して、変形可能なオフセット層がある場合とない場合に、それぞれ処理された第1の模擬のCT顔像および第2の模擬のCT画像からサイクルCBCT画像を生成する。サイクルCBCT画像は、生成モデルのトレーニングのための損失項に使用される。
様々な実施例では、生成モデルおよび識別モデルは、(例えば、上述の図3Aおよび3Bを参照してそれぞれ論じたように)それぞれの畳み込みニューラルネットワークを構成する。更なる実施例では、敵対的生成ネットワークは、(例えば、上記の図6を参照して議論されるように)複数の生成モデルおよび敵対モデルが採用され、1つの生成モデルからの出力が第2の生成モデルへの入力として提供されるサイクル敵対的生成ネットワークである。
プロセス800は、生成モデルが被検体の入力CBCT画像に基づいてsCT画像を生成するように適合されているので、sCT画像の生成に使用するための生成モデルの出力(オペレーション850)を継続する。生成モデルは、CBCT画像を強化するため、または画像処理を実行するために、システム100内の任意のコンポーネントに採用することができる。いくつかの実施形態では、生成モデルは、外部ソース(例えば、サードパーティベンダー)からシステム100に追加することができる。
プロセス800は、被検体の入力CBCT画像に基づいてsCT画像を生成するためにトレーニングされた生成モデルを利用する(オペレーション860)ことを継続する。生成モデルは、CBCT画像を強化するため、または画像処理を実行するために、システム100の任意のコンポーネントで採用することができる。いくつかの実施形態では、生成モデルは、外部ソース(例えば、サードパーティのベンダー)からシステム100に追加することができる。
プロセス800は、追加のトレーニングデータに基づいて生成モデルを更新すること(オペレーション870)、および更新されたトレーニングされた生成モデルを出力すること(オペレーション880)を含む、生成モデルへの更新を実施するための最終段階で終了する。様々な実施例では、更新は、追加のトレーニング画像データおよび制約の受信に関連して(例えば、オペレーション810、820と同様の態様で)、または追加の敵対的トレーニングの実行に関連して(例えば、オペレーション830、842、844と同様の態様で)生成することができる。更なる実施例では、生成モデルは、sCT画像の承認、変更、または使用(例えば、医療専門家による画像データの修正、検証、または変更の結果)に基づいて具体的に更新することができる。フローチャートは、後続の放射線治療のための更新された生成モデルの使用において実行され得るような、更新されたトレーニングされた生成モデルの使用(オペレーション890)で終了する。
図6及び図8を参照して上述したように、敵対的生成ネットワークは、生成モデルと敵対モデルからなるサイクル敵対的生成ネットワークである。
前に議論したように、それぞれの電子計算システムまたは装置は、本明細書で議論された方法または機能的なオペレーションのうちの1つまたはそれ以上を実装することができる。1つまたはそれ以上の実施形態では、放射線治療処理計算システム110は、画像誘導放射線治療装置202を制御またはオペレーションするために、モデル300からのトレーニングまたは予測オペレーションを実行または実施するために、トレーニングされた生成器モデル460をオペレーションするために、データフロー500、550を実行または実施するために、プロセス800のオペレーションを実行または実施するために、または、本明細書で議論されている他の方法論のうちの任意の1つまたはそれ以上を(例えば、画像処理ロジック120およびワークフロー130、140の一部として)実行するために、構成され、適合され、または使用される。様々な実施形態では、そのような電子計算システムまたはデバイスは、スタンドアロンデバイスとして動作するか、または他のマシンに(例えば、ネットワーク化されて)接続されている。例えば、そのような計算システムまたはデバイスは、サーバクライアントネットワーク環境におけるサーバーまたはクライアントマシンの容量内で動作してもよいし、ピアツーピア(または分散)ネットワーク環境におけるピアマシンとして動作してもよい。計算システムまたは計算装置の機能は、パーソナルコンピュータ(PC)、タブレットPC、パーソナルデジタルアシスタント(PDA)、携帯電話、ウェブアプリ、または、そのマシンによって実行されるべきアクションを指定する命令を(シーケンシャルまたは他の方法で)実行することが可能な任意のマシンによって具現化することができる。
また、上述したように、上述した機能は、機械可読媒体上の命令、論理、または他の情報の記憶によって実装することができる。機械可読媒体は、単一の媒体であることを参照して様々な例で説明されてきたが、「機械可読媒体」という用語は、1つまたはそれ以上の一過性または非一過性の命令またはデータ構造を格納する単一の媒体または複数の媒体(例えば、集中型または分散型のデータベース、および/または関連するキャッシュおよびサーバー)を含むものとすることができる。「機械可読媒体」という用語はまた、機械によって実行されるための一過性または非一過性の命令を格納、符号化または運搬することが可能であり、機械に、本発明の主題の方法論のいずれか1つまたはそれ以上を実行させるか、またはそのような命令によって利用されるか、またはそのような命令に関連するデータ構造を格納、符号化または運搬することが可能である任意の有形媒体を含むと解されるものとする。
上記の詳細な説明は、詳細な説明の一部を形成する添付図面への参照を含む。図面は、図示のためではあるが、限定するものではないが、本発明の主題を実施することができる特定の実施形態を示している。これらの実施形態は、本明細書では「実施例」とも呼ばれる。そのような実施例は、図示されたまたは記載されたものに加えて、要素を含むことができる。しかしながら、本開示は、図示されたまたは記載された要素のみが提供される実施例も想定しうる。更に、本開示はまた、特定の実施例(またはその1つまたはそれ以上の態様)に関して、または、本明細書に示されたまたは記載された他の実施例(またはその1つまたはそれ以上の態様)に関して、図示されたまたは記載されたそれらの要素の任意の組み合わせまたは順列を使用する実施例も想定しうる。
本明細書で参照される、すべての出版物、特許、および特許文書は、個々が参照により組み込まれているが、参照によりその全体が本明細書に組み込まれる。本明細書と、参照により組み込まれた文書との間に一貫性のない用法がある場合、参照により組み込まれた文書での用法は、本明細書の用法を補足するものと見なされ、矛盾する用法については、本明細書の用法が支配する。
本明細書では、用語「a」、「an」、「the」、「said」は、特許文書で一般的であるように、本発明の主題の態様の要素を導入するときに使用され、「少なくとも1つの」または「1つまたはそれ以上の」のいかなる他の例または使用法とは無関係に、1つまたはそれ以上の要素よりも1つまたはそれ以上を含む。本明細書では、用語「または(or)」は、「AまたはB(A or B」が、そうでないと示されない限り、「Aを含むがBを含まない(A but not B)」、「Bを含むがAを含まない(B but not A)」、「AおよびB(A and B)」を含むように、非排他的であることを指すために使用される。
添付の特許請求の範囲において、用語「including(含む)」および「in which(その中で)」は、それぞれの用語「comprising(含む)」および「wherein(ここで)」の平易な英語の等価物として使用される。また、以下の特許請求の範囲において、用語「含む(comprising)」、「含む(including)」、「含む(having)」、は、オープンエンドであることを意図し、請求項のそのような用語(例えば、「含む(comprising)」、「含む(including)」、「含む(having)」)の後に列挙されている要素に追加した要素を含むものが、依然としてその請求項の範囲内にあるとみなされる。さらに、以下の特許請求の範囲では、「第1の」、「第2の」、および「第3の」などの用語は、単なるラベルとして使用されており、それらの対象に数値要件を課すことを意図していない。
本発明の主題はまた、本明細書の操作を実行するために適合され、構成され、または操作されるコンピューティングシステムに関する。このシステムは、必要な目的のために特別に構成することも、コンピュータに格納されたコンピュータプログラムによって選択的にアクティブ化または再構成された汎用コンピュータを含むこともできる。本明細書において図示および説明される本発明の実施形態における動作の実行または実行の順序は、特に指定されない限り、必須ではない。すなわち、特に明記しない限り、操作は任意の順序で実行でき、本発明の実施形態は、本明細書に開示されているものよりも多いまたは少ない操作を含むことができる。例えば、別の操作の前、同時、または後に特定の操作を実行または実行することは、本発明の主題の態様の範囲内であると考えられる。
上記記載を考慮すれば、本発明の主題のいくつかの目的が達成され、他の有利な結果が得られることが分かるであろう。本発明の主題の態様を詳細に説明したが、添付の特許請求の範囲で定義される本発明の態様の範囲から逸脱することなく、修正および変更が可能であることは明らかであろう。本発明の主題の態様の範囲から逸脱することなく、上記の構造、製品、および方法に様々な変更を加えることができるので、上記の説明に含まれ、添付の図面に示されるすべての事項は、例示として、かつ、限定的な意味ではないと、解釈されるべきである。
本明細書に記載された例は、様々な実施形態で実施することができる。例えば、一実施形態は、処理ハードウェア(例えば、プロセッサまたは他の処理回路)およびそこに具現化された命令を含むメモリハードウェア(例えば、記憶装置または揮発性メモリ)を含むコンピューティングデバイスを含み、そのような命令は、処理ハードウェアによって実行されると、コンピューティングデバイスに、これらの技術およびシステム構成のための電子的な操作を実装、実行、または調整することを引き起こす。本明細書で論じられる別の実施形態は、機械可読媒体または他の記憶装置によって具現化されるようなコンピュータプログラム製品を含み、それは、これらの技術およびシステム構成のための電子的操作を実施、実行、または調整するための命令を提供する。本明細書で論じられる別の実施形態は、これらの技術およびシステム構成のための電子的操作を実施、実行、または調整するために、コンピューティングデバイスの処理ハードウェア上で操作可能な方法を含む。
更なる実施形態において、上述した電子的操作の態様を実施する論理、命令、または命令は、デスクトップまたはノートブック型パーソナルコンピュータ、タブレット、ネットブック、スマートフォンのようなモバイルデバイス、クライアント端末、およびサーバーホストマシンインスタンスのようなコンピューティングシステム用の任意の数のフォームファクタを含む、分散型または集中型コンピューティングシステムで提供することができる。本明細書で議論される別の実施形態は、本明細書で議論される技術を、そのような技術の機能を実行するためのそれぞれの手段を有する装置を含む、プログラムされた論理、ハードウェア構成、または特殊なコンポーネントまたはモジュールの他の形態に組み込むことを含む。このような技術の機能を実装するために使用されるそれぞれのアルゴリズムは、上述した電子的操作の一部または全部のシーケンス、または添付の図面および以下の詳細な説明に描かれている他の側面を含むことができる。
上記の説明は、例示を意図したものであり、限定を意図したものではない。例えば、上述の実施例(または1つまたはそれ以上の態様)は、互いに組み合わせて使用することができる。さらに、本発明の主題の範囲から逸脱することなく、特定の状況または材料を本発明の教示に適合させるために、多くの修正を行うことができる。本明細書に記載された寸法、材料の種類、および例示的なパラメータ、機能、および実施形態は、本発明の主題のパラメータを定義することを意図しているが、それらは決して限定的なものではなく、例示的な実施形態である。上記の説明を検討すれば、他の多くの実施形態が当業者には明らかであろう。したがって、本発明の主題の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられる等価物の全範囲とともに決定されるべきである。
また、上記の詳細な説明では、開示を簡素化するために、さまざまな機能をグループ化することがある。これは、クレームされていない開示された機能がクレームに不可欠であることを意図するものとして解釈されるべきではない。むしろ、発明の主題は、特定の開示された実施形態のすべての特徴より少ない場合がある。したがって、以下の請求項は、これにより詳細な説明に組み込まれ、各請求項は別個の実施形態としてそれ自体で成立する。本発明の主題の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられる均等物の全範囲とともに決定されるべきである。
本明細書において「Goffset cbct2ct」は次の数28で示す文字を表すものとする。
Claims (18)
- コーンビームコンピュータ断層撮影(CBCT)画像から合成のコンピュータ断層撮影(sCT)画像を生成するためのコンピュータ実装方法であって
前記方法は、
被検体のCBCT画像を受け取るステップと、
生成モデルを使用して、前記CBCT画像に対応するsCT画像を生成するステップであって、前記生成モデルは、敵対的生成ネットワーク(GAN)における1つまたはそれ以上の変形可能なオフセット層に基づいてトレーニングされ、前記CBCT画像を入力として処理し、前記sCT画像を出力として提供し、前記1つまたはそれ以上の変形可能なオフセット層は、座標オフセットを導入し、補間を使用して画像を再サンプリングするように構成されているステップと、
前記被検体の医療分析のために、前記sCT画像の表示を生成するステップと
を有する
ことを特徴とするコンピュータ実装方法。 - 請求項1記載の方法において、
前記敵対的生成ネットワークは、識別モデルを使用して前記生成モデルをトレーニングするように構成され、
前記生成モデルおよび前記識別モデルによって適用される値が、前記識別モデルと前記生成モデルの間の敵対的トレーニングを使用して確立され、
前記生成モデルと前記識別モデルは、それぞれ畳み込みニューラルネットワークを有する
ことを特徴とする方法。 - 請求項2記載の方法において、
前記敵対的トレーニングは、
与えられたCBCT画像に前記1つまたはそれ以上の変形可能なオフセット層の第1のセットを適用することにより、前記与えられたCBCT画像から第1のsCT画像を生成するために、前記生成モデルをトレーニングするステップと、
前記与えられたCBCT画像に前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットを適用することなく、前記与えられたCBCT画像から第2のsCT画像を生成するために、前記生成モデルをトレーニングするステップと、
前記第1のsCT画像を合成のまたは本物のコンピュータ断層撮影(CT)画像として分類するために前記識別モデルをトレーニングするステップと
を有し、
前記生成モデルの出力は、前記識別モデルをトレーニングするために使用され、前記識別モデルの出力は、前記生成モデルをトレーニングするために使用される
ことを特徴とする方法。 - 請求項3記載の方法において、
前記GANは、前記生成モデルと前記識別モデルを有するサイクル敵対的生成ネットワーク(CycleGAN)を用いてトレーニングされ、
前記生成モデルは、第1の生成モデルであり、前記識別モデルは、第1の識別モデルであり、
前記CycleGANは、
与えられたCT画像を入力として処理し、
前記1つまたはそれ以上の変形可能なオフセット層の第2のセットを前記与えられたCT画像に適用することにより、第1の合成のCBCT画像を出力として提供し、
前記1つまたはそれ以上の変形可能なオフセット層の前記第2のセットを前記与えられたCT画像に適用することなく、第2の合成のCBCT画像を出力として提供する
ようにトレーニングされた第2の生成モデルと、
前記第1の合成のCBCT画像を、合成のまたは本物のCBCT画像として分類するようにトレーニングされた第2の識別モデルと
を有する
ことを特徴とする方法。 - 請求項4記載の方法において、
前記CycleGANは、第1の生成モデルをトレーニングするための第1の部分を有し、
前記第1の生成モデルは、第1および第2の入力インターフェースと第1の共有生成器部を含み、
前記第2の生成モデルは、第3および第4の入力インターフェースと第2の共有生成器部を含み、
前記第1の部分は、
本物のCT画像とペアになったトレーニングCBCT画像を取得し、
前記トレーニングCBCT画像を、第1のパスおよび第2のパスを介して前記第1の生成モデルの入力に送信して、前記第1のsCT画像および前記第2のsCT画像をそれぞれ出力し、
前記第1のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットと、1つまたはそれ以上の畳み込み層の第1のセットとを含む、前記第1の入力インターフェースを有し、
前記第2のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットを含まず、前記1つまたはそれ以上の畳み込み層を含む、第2の入力インターフェースを有し、
前記第1の識別モデルの入力で前記第1のsCT画像を受け取り、前記第1のsCT画像を前記合成のまたは本物のCT画像に分類し、
前記第2の生成モデルの入力で第1のsCT画像および第2のsCT画像を第3のパスおよび第4のパスを介して受け取り、サイクル-コンシステンシー(cycle-consistency)損失を計算するために第1のサイクルCBCT画像および第2のサイクルCBCT画像をそれぞれ生成し、
前記第3のパスは、前記1つまたはそれ以上の変形可能なオフセット層の第2のセットと、前記1つまたはそれ以上の畳み込み層の第2のセットとを含む前記第3の入力インターフェースを有し、
前記第4のパスは、前記1つまたはそれ以上の変形可能なオフセット層の第2のセットを含まず、前記1つまたはそれ以上の畳み込み層の第2のセットを含む前記第4の入力インターフェースを有する
ようにトレーニングされている
ことを特徴とする方法。 - 請求項5記載の方法において、
前記CycleGANは、第2の部分を有し、
前記第2の部分は、
前記本物のCT画像を、第5のパスおよび第6のパスを介して前記第2の生成モデルの前記入力に送信して第1の合成のCBCT画像および第2の合成のCBCT画像をそれぞれ出力し、
前記第5のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第2のセットと、前記1つまたはそれ以上の畳み込み層の前記第2のセットとを含む第3の入力インターフェースを有し、
前記第6のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第2のセットを含まず、前記1つまたはそれ以上の畳み込み層の前記第2のセットを含む第4の入力インターフェースを有し、
前記第2の識別モデルの前記入力で前記第1の合成のCBCT画像を受け取り、前記第1の合成のCBCT画像を合成のまたは本物のCBCT画像として分類し、
前記第1の合成のCBCT画像および前記第2の合成のCBCT画像を、第7のパスおよび第8のパスを介して、前記第1の生成モデルの前記入力で受け取り、サイクル-コンシステンシー損失を計算するための第1のサイクルCT画像および第2のサイクルCT画像を生成し、
前記第7のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットと、前記1つまたはそれ以上の畳み込み層の前記第1のセットとを含む前記第1の入力インターフェースを有し、
前記第8のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットを含まず、前記1つまたはそれ以上の畳み込み層の前記第1のセットを含む前記第2の入力インターフェースを有する
ようにトレーニングされている
ことを特徴とする方法。 - 請求項6記載の方法において、
前記サイクル-コンシステンシー損失は、
前記第1のサイクルCBCT画像および前記第2のサイクルCBCT画像と前記トレーニングCBCT画像との比較と、前記第1のサイクルCT画像および前記第2のサイクルCT画像と前記本物のCT画像との比較とに基づいて生成され、
前記第1の生成モデルは、前記第2のsCT画像を用いて第1のピクセルベースの損失項を最小化または低減するようにトレーニングされ、前記第1のピクセルベースの損失項は、複数の合成のCT画像と、それぞれペアになった本物のCT画像との間の差の期待値を表し、
前記第2の生成モデルは、前記第2の合成のCBCT画像を用いて、第2のピクセルベースの損失項を最小化または低減するようにトレーニングされ、前記第2のピクセルベースの損失項は、複数の合成のCBCT画像と、それぞれペアになった本物のCBCT画像との間の差の期待値を表す
ことを特徴とする方法。 - 請求項7記載の方法において、
前記CycleGANは、前記第1ピクセルベースの損失項および第2のピクセルベースの損失項にメトリックを適用するようにトレーニングされ、前記メトリックは、CBCT画像と本物のCT画像のペアと同じサイズを有するマップに基づいて生成され、前記マップの各ピクセル値は、与えられたCBCT画像と、前記与えられたCBCT画像とペアになっている与えられた本物のCT画像との間の類似性レベルを表し、
前記CycleGANは、前記メトリックに閾値を適用するようにトレーニングされ、前記類似性レベルが前記閾値を超えたときには、前記メトリックが前記第1のピクセルベースの損失項および第2のピクセルベースの損失項に適用され、そうでないときには、ゼロ値が前記第1のピクセルベースの損失項および第2のピクセルベースの損失項に適用される
ことを特徴とする方法。 - 請求項1乃至8のいずれか1項に記載の方法において、
前記CycleGANは、複数のメトリックのうちの1つを前記第1のピクセルベースの損失項および前記第2のピクセルベースの損失項に適用するようにトレーニングされ、前記メトリックは、異なる画像解像度またはビューレベルでの前記ペアのCBCT画像およびCT画像のローのパスフィルタリングおよびダウンサンプリングを用いて生成される
ことを特徴とする方法。 - コーンビームコンピュータ断層撮影(CBCT)画像から合成のコンピュータ断層撮影(sCT)画像を生成するために、モデルをトレーニングするコンピュータ実装方法であって
前記方法は、
被検体のCBCT画像を生成モデルの入力として受け取るステップと、
前記生成モデルを、第1および第2のパスを介して、生成的敵対ネットワーク(GAN)内でトレーニングし、前記CBCT画像を処理して、前記生成モデルの出力として、前記CBCT画像に対応する第1の合成のコンピュータ断層撮影(sCT)画像および第2の合成のコンピュータ断層撮影(sCT)画像を提供するステップであって、前記第1のパスは、1つまたはそれ以上の変形可能なオフセット層の第1のセットと、1つまたはそれ以上の畳み込み層の第1のセットを含み、前記1つまたはそれ以上の変形可能なオフセット層は、座標オフセットを導入し、補間を使用して画像を再サンプリングするように構成され、前記第2のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットを含まず、前記1つまたはそれ以上の畳み込み層の前記第1のセットを含むステップと
を有する
ことを特徴とする方法。 - 請求項10記載の方法において、
前記GANは、前記生成モデルと識別モデルを有するサイクル敵対的生成ネットワーク(CycleGAN)を用いてトレーニングされ、
前記生成モデルは、第1の生成モデルであり、前記識別モデルは、第1の識別モデルであり、
前記方法は、
第2の生成モデルをトレーニングして、生成された第1のsCT画像および第2のsCT画像を入力として処理し、第3のパスおよび第4のパスを介して、第1のサイクルCBCT画像および第2のサイクルCBCT画像をそれぞれ出力として提供するステップであって、前記第3のパスは、前記1つまたはそれ以上の変形可能なオフセット層の第2のセットと、前記1つまたはそれ以上の畳み込み層の第2のセットとを含み、前記第4のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第2のセットを含まずに、前記1つまたはそれ以上の畳み込み層の第2のセットを含むステップと、
前記第1のサイクルCBCT画像を合成のCBCT画像または本物のCBCT画像として分類するために前記第1の識別モデルをトレーニングするステップと
を更に有する
ことを特徴とする方法。 - 請求項11記載の方法において、
前記CycleGANは、前記第1の生成モデルをトレーニングするための第1の部分および第2の部分を有し、
前記方法は、
本物のCT画像とペアになったトレーニングCBCT画像を獲得するステップと、
前記トレーニングCBCT画像を、前記第1のパスおよび第2のパスを介して、前記第1の生成モデルの前記入力に送信し、前記第1の合成のCT画像および第2の合成のCT画像を出力するステップと、
前記第1の識別モデルの前記入力で、前記第1の合成のCT画像を受け取るステップと、
前記第1の識別モデルを用いて、前記第1の合成のCT画像を合成のCT画像または本物のCT画像として分類するステップと、
前記第2の生成モデルの前記入力で、前記第3のパスおよび第4のパスを介して、前記第1の合成のCT画像および第2の合成のCT画像を受け取り、サイクル-コンシステンシー損失を計算するための前記第1のサイクルCBCT画像および第2のサイクルCBCT画像を生成するステップと、
前記本物のCT画像を、第5のパスおよび第6のパスを介して、前記第2の生成モデルの前記入力に送信して、第1の合成のCBCT画像および第2の合成のCBCT画像を出力するステップであって、前記第5のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第2のセットと、前記1つまたはそれ以上の畳み込み層の前記第2のセットとを含み、前記第6のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第2のセットを含まずに、前記1つまたはそれ以上の畳み込み層の前記第2のセットを含むステップと、
第2の識別モデルの入力に、前記第1の合成のCBCT画像を受け取るステップと、
前記第2の識別モデルを用いて、前記第1の合成のCBCT画像を合成のCBCT画像または本物のCBCT画像として分類するステップと、
前記第1の生成モデルの入力で、前記第1の合成のCBCT画像および第2の合成のCBCT画像を、第7のパスおよび第8のパスを介して受け取り、サイクル-コンシステンシー損失を計算するために第1のサイクルCT画像および第2のサイクルCT画像を生成するステップであって、前記第7のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットと、前記1つまたはそれ以上の畳み込み層の前記第1のセットとを含み、第8のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットを含まず、前記1つまたはそれ以上の畳み込み層の前記第1のセットを含むステップと、
前記第2のsCT画像を用いて、第1のピクセルベースの損失項を最小化または低減するように前記第1の生成モデルをトレーニングするステップであって、前記第1のピクセルベースの損失項は、複数の合成のCT画像と、それぞれペアになった本物のCT画像との間の差の期待値を表すステップと、
前記第2の合成のCBCT画像を用いて、第2のピクセルベースの損失を最小化または低減するように、前記第2の生成モデルをトレーニングするステップであって、前記第2のピクセルベースの損失項は、複数の合成のCBCT画像と、それぞれペアになった本物のCBCT画像との間の差の期待値を表すステップと
を更に有する
ことを特徴とする方法。 - コーンビームコンピュータ断層撮影(CBCT)画像から合成のコンピュータ断層撮影(sCT)画像を生成するためのシステムであって、
前記システムは、
少なくとも1つのプロセッサを有する処理回路と
前記少なくとも1つのプロセッサによって実行されると、前記プロセッサにオペレーションを実行させる命令を有する記憶媒体とを有し、
前記オペレーションは、
被検体のCBCT画像を受け取るオペレーションと、
生成モデルを使用して、前記CBCT画像に対応するsCT画像を生成するオペレーションであって、前記生成モデルは、敵対的生成ネットワーク(GAN)における1つまたはそれ以上の変形可能なオフセット層に基づいてトレーニングされ、前記CBCT画像を入力として処理し、前記sCT画像を出力として提供し、前記1つまたはそれ以上の変形可能なオフセット層は、座標オフセットを導入し、補間を使用して画像を再サンプリングするように構成されているオペレーションと、
前記被検体の医療分析のために、前記sCT画像の表示を生成するオペレーションと
を有する
ことを特徴とするシステム。 - 請求項13記載のシステムにおいて、
前記1つまたはそれ以上の変形可能なオフセット層は、前記1つまたはそれ以上の変形可能なオフセット層の第1のセットであり、
前記敵対的生成ネットワークは、識別モデルを使用して前記生成モデルをトレーニングするように構成され、
前記生成モデルと前記識別モデルにより適用される値は、前記識別モデルと前記生成モデルの間の敵対的な学習によって確立され、
前記生成モデルと前記識別モデルは、それぞれ、畳み込みニューラルネットワークで構成されており、
前記敵対的トレーニングは、
与えられたCBCT画像に前記1つまたはそれ以上の変形可能なオフセット層の第1のセットを適用することにより、前記与えられたCBCT画像から第1のsCT画像を生成するために、前記生成モデルをトレーニングするステップと、
前記与えられたCBCT画像に前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットを適用することなく、前記与えられたCBCT画像から第2のsCT画像を生成するために、前記生成モデルをトレーニングするステップと、
前記第1のsCT画像を合成のまたは本物のコンピュータ断層撮影(CT)画像として分類するために前記識別モデルをトレーニングするステップと
を有し、
前記生成モデルの出力は、前記識別モデルをトレーニングするために使用され、前記識別モデルの出力は、前記生成モデルをトレーニングするために使用される
ことを特徴とするシステム。 - 請求項14記載のシステムにおいて、
前記GANは、前記生成モデルと前記識別モデルを有するサイクル敵対的生成ネットワーク(CycleGAN)を用いてトレーニングされ、
前記生成モデルは第1の生成モデルであり、前記識別モデルは第1の識別モデルであり、
前記CycleGANは、
与えられたCT画像を入力として処理し、
前記1つまたはそれ以上の変形可能なオフセット層の第2のセットを前記与えられたCT画像に適用することにより、第1の合成のCBCT画像を出力として提供し、
前記1つまたはそれ以上の変形可能なオフセット層の前記第2のセットを前記与えられたCT画像に適用することなく、第2の合成のCBCT画像を出力として提供する
ようにトレーニングされた第2の生成モデルと、
前記第1の合成のCBCT画像を、合成のまたは本物のCBCT画像として分類するようにトレーニングされた第2の識別モデルと
を有する
ことを特徴とするシステム。 - 請求項15記載のシステムにおいて、
前記CycleGANは、第1の生成モデルをトレーニングするための第1の部分を有し、
前記第1の部分は、
本物のCT画像とペアになったトレーニングCBCT画像を取得し、
前記トレーニングCBCT画像を、第1のパスおよび第2のパスを介して前記第1の生成モデルの前記入力に送信して、前記第1のsCT画像および前記第2のsCT画像をそれぞれ出力し、
前記第1のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットと、前記1つまたはそれ以上の畳み込み層の第1のセットとを含み、
前記第2のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットを含まず、前記1つまたはそれ以上の畳み込み層を含み、
前記第1の識別モデルの前記入力で、前記第1のsCT画像を受け取り、前記第1のsCT画像を前記合成のまたは本物のCT画像に分類し、
前記第2の生成モデルの前記入力で、前記第1のsCT画像および前記第2のsCT画像を第3のパスおよび第4のパスを介して受け取り、サイクル-コンシステンシー損失を計算するために第1のサイクルCBCT画像および第2のサイクルCBCT画像をそれぞれ生成し、
前記第3のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第2のセットと、前記1つまたはそれ以上の畳み込み層の前記第2のセットとを含み、
前記第4のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第2のセットを含まず、前記1つまたはそれ以上の畳み込み層の前記第2のセットを含む
ようにトレーニングされている
ことを特徴とするシステム。 - 請求項16記載のシステムにおいて、
前記CycleGANは、第2の部分を有し、
前記第2の部分は、
前記本物のCT画像を、第5のパスおよび第6のパスを介して、前記第2の生成モデルの前記入力に送信して第1の合成のCBCT画像および第2の合成のCBCT画像をそれぞれ出力し、
前記第5のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第2のセットと、前記1つまたはそれ以上の畳み込み層の前記第2のセットとを含み、
前記第6のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第2のセットを含まず、前記1つまたはそれ以上の畳み込み層の前記第2のセットを含み、
前記第2の識別モデルの前記入力で前記第1の合成のCBCT画像を受け取り、前記第1の合成のCBCT画像を合成のまたは本物のCBCT画像として分類し、
前記第1の合成のCBCT画像および前記第2の合成のCBCT画像を、第7のパスおよび第8のパスを介して、前記第1の生成モデルの前記入力で受け取り、サイクル-コンシステンシー損失を計算するための第1のサイクルCT画像および第2のサイクルCT画像を生成し、
前記第7のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットと、前記1つまたはそれ以上の畳み込み層の前記第1のセットとを含み、
前記第8のパスは、前記1つまたはそれ以上の変形可能なオフセット層の前記第1のセットを含まず、前記1つまたはそれ以上の畳み込み層の前記第1のセットを含む
ようにトレーニングされている
ことを特徴とするシステム。 - 請求項16記載のシステムにおいて、
前記サイクル-コンシステンシー損失は、
前記第1のサイクルCBCT画像および前記第2のサイクルCBCT画像と前記トレーニングCBCT画像との比較と、前記第1のサイクルCT画像および前記第2のサイクルCT画像と前記本物のCT画像との比較とに基づいて生成され、
前記第1の生成モデルは、前記第2のsCT画像を用いて第1のピクセルベースの損失項を最小化または低減するようにトレーニングされ、前記第1のピクセルベースの損失項は、複数の合成のCT画像と、それぞれペアになった本物のCT画像との間の差の期待値を表し、
前記第2の生成モデルは、前記第2の合成のCBCT画像を用いて、第2のピクセルベースの損失項を最小化または低減するようにトレーニングされ、前記第2のピクセルベースの損失項は、複数の合成のCBCT画像と、それぞれペアになった本物のCBCT画像との間の差の期待値を表す
ことを特徴とするシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962858156P | 2019-06-06 | 2019-06-06 | |
US62/858,156 | 2019-06-06 | ||
PCT/US2019/039538 WO2020246996A1 (en) | 2019-06-06 | 2019-06-27 | Sct image generation using cyclegan with deformable layers |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022536107A JP2022536107A (ja) | 2022-08-12 |
JP7245364B2 true JP7245364B2 (ja) | 2023-03-23 |
Family
ID=67303525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021572324A Active JP7245364B2 (ja) | 2019-06-06 | 2019-06-27 | 変形可能な層を有するCycleGANを用いたsCT画像生成 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220318956A1 (ja) |
EP (1) | EP3980972A1 (ja) |
JP (1) | JP7245364B2 (ja) |
CN (1) | CN114072845A (ja) |
AU (1) | AU2019449137B2 (ja) |
WO (1) | WO2020246996A1 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021105765A1 (en) * | 2019-11-27 | 2021-06-03 | Sinha Pavel | Systems and methods for performing direct conversion of image sensor data to image analytics |
US11599980B2 (en) * | 2020-02-05 | 2023-03-07 | Google Llc | Image transformation using interpretable transformation parameters |
KR102159052B1 (ko) * | 2020-05-12 | 2020-09-23 | 주식회사 폴라리스쓰리디 | 영상 분류 방법 및 장치 |
WO2022120661A1 (zh) * | 2020-12-09 | 2022-06-16 | 深圳先进技术研究院 | 一种用于多任务医学图像合成的先验指导型网络 |
CN112561782B (zh) * | 2020-12-15 | 2023-01-03 | 哈尔滨工程大学 | 一种提高海上场景仿真图片真实度的方法 |
KR102330981B1 (ko) | 2020-12-30 | 2021-12-02 | 이마고웍스 주식회사 | 딥러닝을 이용한 ct 영상의 악안면골 자동 분할 방법 |
CN113140019B (zh) * | 2021-05-13 | 2022-05-31 | 电子科技大学 | 一种基于融合弥补生成对抗网络的文本生成图像的方法 |
EP4095796A1 (de) | 2021-05-29 | 2022-11-30 | Bayer AG | Maschinelles lernen im bereich der kontrastmittelverstärkten radiologie |
CN113487657B (zh) * | 2021-07-29 | 2022-02-01 | 广州柏视医疗科技有限公司 | 一种基于深度学习的模态转换方法 |
US11900534B2 (en) * | 2021-07-30 | 2024-02-13 | The Boeing Company | Systems and methods for synthetic image generation |
US11651554B2 (en) * | 2021-07-30 | 2023-05-16 | The Boeing Company | Systems and methods for synthetic image generation |
US11775606B2 (en) * | 2021-10-29 | 2023-10-03 | Weld North Education LLC | Inter-browser presentation control |
CN114359310B (zh) * | 2022-01-13 | 2024-06-04 | 浙江大学 | 一种基于深度学习的3d心室核磁共振视频分割优化系统 |
CN114820730B (zh) * | 2022-03-08 | 2023-04-07 | 安徽慧软科技有限公司 | 一种基于伪ct的ct与cbct配准方法 |
KR102700996B1 (ko) * | 2022-05-26 | 2024-08-29 | 연세대학교 원주산학협력단 | 사이클 gan 기반 영상 화질 개선 학습 시스템 및 방법 |
CN115170424B (zh) * | 2022-07-07 | 2023-04-07 | 北京安德医智科技有限公司 | 一种心脏超声影像伪影去除方法及装置 |
CN116071401B (zh) * | 2023-01-28 | 2023-08-01 | 中日友好医院(中日友好临床医学研究所) | 基于深度学习的虚拟ct图像的生成方法及装置 |
CN116503505B (zh) * | 2023-06-20 | 2024-04-05 | 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) | 一种cbct图像的伪影去除方法、装置、设备及介质 |
CN116523983B (zh) * | 2023-06-26 | 2023-10-27 | 华南师范大学 | 融合多路径特征与器官形态导向的胰腺ct图像配准方法 |
CN116630466B (zh) * | 2023-07-26 | 2023-10-24 | 济南大学 | 基于生成对抗性网络的脊柱ct到mr转换方法及系统 |
CN117078612B (zh) * | 2023-08-09 | 2024-06-14 | 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) | 一种基于cbct图像的快速三维剂量验证方法及装置 |
CN117934869B (zh) * | 2024-03-22 | 2024-06-18 | 中铁大桥局集团有限公司 | 一种目标检测方法、系统、计算设备以及介质 |
CN118070107B (zh) * | 2024-04-18 | 2024-06-18 | 南京信息工程大学 | 一种面向深度学习的网络异常检测方法、装置、存储介质及设备 |
CN118194932B (zh) * | 2024-05-16 | 2024-08-16 | 中国人民解放军国防科技大学 | 一种基于循环生成网络的对抗攻击生成方法和系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018048507A1 (en) | 2016-09-06 | 2018-03-15 | Han Xiao | Neural network for generating synthetic medical images |
US20180374245A1 (en) | 2017-06-26 | 2018-12-27 | Elekta, Inc. | Image quality in cone beam computed tomography images using deep convolutional neural networks |
US20190114818A1 (en) | 2017-10-16 | 2019-04-18 | Adobe Systems Incorporated | Predicting Patch Displacement Maps Using A Neural Network |
-
2019
- 2019-06-27 EP EP19740461.9A patent/EP3980972A1/en active Pending
- 2019-06-27 WO PCT/US2019/039538 patent/WO2020246996A1/en active Application Filing
- 2019-06-27 AU AU2019449137A patent/AU2019449137B2/en active Active
- 2019-06-27 CN CN201980098267.XA patent/CN114072845A/zh active Pending
- 2019-06-27 US US17/594,438 patent/US20220318956A1/en active Pending
- 2019-06-27 JP JP2021572324A patent/JP7245364B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018048507A1 (en) | 2016-09-06 | 2018-03-15 | Han Xiao | Neural network for generating synthetic medical images |
US20180374245A1 (en) | 2017-06-26 | 2018-12-27 | Elekta, Inc. | Image quality in cone beam computed tomography images using deep convolutional neural networks |
US20190114818A1 (en) | 2017-10-16 | 2019-04-18 | Adobe Systems Incorporated | Predicting Patch Displacement Maps Using A Neural Network |
Non-Patent Citations (1)
Title |
---|
LIANG, Xiao et al.,Generating Synthesized Computed Tomography (CT) from Cone-Beam Computed Tomography (CBCT) using CycleGAN for Adaptive Radiation Therapy,arXiv:1810.13350,2018年,インターネット: <URL: https://arxiv.org/abs/1810.13350> |
Also Published As
Publication number | Publication date |
---|---|
AU2019449137B2 (en) | 2023-03-02 |
WO2020246996A1 (en) | 2020-12-10 |
AU2019449137A1 (en) | 2022-02-03 |
CN114072845A (zh) | 2022-02-18 |
US20220318956A1 (en) | 2022-10-06 |
EP3980972A1 (en) | 2022-04-13 |
JP2022536107A (ja) | 2022-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7245364B2 (ja) | 変形可能な層を有するCycleGANを用いたsCT画像生成 | |
JP7039153B2 (ja) | 敵対的生成ネットワークを使用した画像強調 | |
JP7145233B2 (ja) | 敵対的生成ネットワークを用いた放射線治療計画モデリング | |
US10762398B2 (en) | Modality-agnostic method for medical image representation | |
JP7181963B2 (ja) | 深層学習を用いたアトラスベースセグメンテーション | |
US11491348B2 (en) | Real-time patient motion monitoring using a magnetic resonance linear accelerator (MRLINAC) | |
US11547874B2 (en) | Machine learning approach to real-time patient motion monitoring | |
US11386592B2 (en) | Tomographic image analysis using artificial intelligence (AI) engines | |
JP2022542826A (ja) | 機械学習を用いた放射線治療計画の最適化 | |
EP4315246A1 (en) | Dual domain tracking of target structures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230310 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7245364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |